Commits

La aplicación de triaje de correo aprende sola de tus decisiones

Una aplicación que aprende de tus decisiones

Una aplicación que aprende de tus decisiones

Hoy he terminado la pieza que le faltaba a la aplicación de triaje de correo: que aprenda sola cómo empiezas a tratar el correo y te proponga las reglas que aplicará mañana.

La idea es sencilla y, al mismo tiempo, no trivial. Cada vez que marcas un correo como «eliminar», «archivar» o «avisar siempre», eso es una opinión sobre quien te envía correo. Si el mismo remitente aparece diez veces, el patrón es evidente y la regla se puede proponer sola. Si, en cambio, solo lo has marcado una vez, no hay nada que aprender todavía: el motor no propone nada, y hace bien.

La diferencia entre mis primeras versiones y la versión que ha quedado es que el motor nunca hace nada por su cuenta. Propone, explica con qué confianza y con qué evidencia, y espera que alguien lo apruebe. Lo he verificado con los correos reales que ya había tratado: de dieciséis registros, quince se habían quedado sin remitente y eran inútiles para aprender. Los he vuelto a rellenar consultando solo los encabezados —sin tocar ningún mensaje— y el motor ya ha propuesto las tres primeras reglas, todas pendientes de aprobación.

Lo que hace que funcione: la memoria corta

Una regla que va bien hoy puede estar equivocada mañana, y una regla que va mal hoy puede perjudicar el trabajo. Por eso cada regla memoriza cuántas veces la has confirmado, cuántas la has corregido y cuánto tiempo pasa desde que no la usas. Dos correcciones, o sesenta días sin usarla, y la regla se suspende sola.

Y había una cosa que me pareció importante: las correcciones humanas tienen más peso que las automáticas. Si el motor propone una regla y tú la modificas, eso no cuenta como una confirmación más: cuenta como una corrección. Es lo que evita que el sistema se autoalimente y termine amplificando sus errores.

Las reglas no se duplican

La parte que me costó más fue evitar que el motor propusiera lo que ya tenía. El problema es que las reglas que ya existían no coincidían de manera exacta con las que genera el motor: las antiguas se guardaban con fragmentos del remitente y el motor propone la dirección completa. Comparadas como texto, parecen diferentes, y el resultado es una lista de reglas donde está el mismo remitente tres veces.

La solución fue tratarlas como lo que son: el mismo remitente, y ya. Ahora, con las cuarenta y una reglas que ya existían, el motor no propone ni una sola duplicada.

Darse de baja de un boletín electrónico, sin dejar la puerta abierta

Esta parte es la que más me ha ocupado, y no porque sea difícil, sino porque hacerla mal es peligroso.

La URL para darse de baja de un boletín electrónico la escribe el remitente. Si la aplicación hace la petición sin mirar, un remitente podría dirigir la baja hacia la red interna de quien la ejecuta. Valido el esquema, resuelvo el nombre de dominio y rechazo las direcciones privadas, las de bucle local y las reservadas.

Pero había otro punto de entrada: validar la URL y después dejarla en manos de la biblioteca HTTP estándar no cierra la brecha, porque esta vuelve a resolver el nombre de dominio cuando conecta (y entonces el dominio puede cambiar) y sigue las redirecciones sin volver a validarlas (un 302 puede apuntar a la dirección de metadatos del proveedor de nube).

Ahora la conexión se hace a la IP ya validada, el certificado se comprueba contra el nombre de dominio que solicitó el remitente, y cada redirección se valida antes de seguirla.

Y la parte que más me gusta: esta funcionalidad está desactivada por defecto. Es la parte de la aplicación con más riesgo —una petición hacia el exterior, a una dirección escrita por el remitente—, y no tiene sentido que se active sola. Cuando quieres que funcione, lo pides explícitamente.

Un error que parecía un detalle

Una revisión entre compañeros encontró que la petición de baja solo enviaba la ruta de la URL y omitía la parte de los parámetros. Y esto no es un detalle: las URL de baja a menudo llevan el token dentro de los parámetros. Si el servidor recibe la petición sin el token, igualmente responde como si todo estuviera bien, y la aplicación daba la baja por hecha sin que se hubiera dado de baja de nada. Una baja fallida que parece correcta es peor que una baja que falla y lo dice.

Ahora la petición incluye la ruta y los parámetros, también después de una redirección, y hay pruebas que fallan sin la corrección y pasan con ella.

Antes de poder enseñarlo: limpiar el repositorio

El proyecto nació en mi máquina, y eso se nota. El código estaba limpio, pero el historial no: había nombres de empresas, dominios de la empresa, la dirección de la red de casa y correos electrónicos personales repartidos por veintiún commits.

He escrito un procedimiento que reescribe el historial en una copia, sustituye esos datos por ejemplos y sustituye los nombres de los autores —que son la historia del equipo y en un portafolio son un activo, no un problema— por una dirección de GitHub que no corresponde a nadie. Después hay una verificación automática que busca patrones, no nombres conocidos: así no depende de una lista de nombres que siempre queda corta.

Con todo esto, el repositorio seguirá siendo privado. No se publica nada hasta que el proyecto esté completo, y cuando se haga será en un repositorio nuevo, sin reescribir el que ya tenemos.

Lo que aún falta

  • La baja automática existe y está probada, pero no se ha probado contra una cuenta real: hay que hacerlo con la máquina al lado.
  • Las reglas se aprueban manualmente. Ahora mismo no hay nada que las apruebe solo.
  • La interfaz todavía es un solo archivo grande. Funciona, pero no es la forma en que se presenta un proyecto en un portafolio.

Una segunda opinión sobre la limpieza

El procedimiento para reescribir el historial ya existía y daba cero líneas sospechosas. Pero había una cosa que me inquietaba: buscaba los datos por nombres conocidos —el dominio de la empresa, el correo personal, la IP de casa—. Y buscar por nombres conocidos siempre deja algo fuera, porque la lista de nombres que ya conoces no es la lista de nombres que hay.

Ocurrió de verdad: en el repositorio había tres correos de autor diferentes, uno de ellos del dominio de casa, y ninguno de los dos scripts de limpieza lo había detectado. No porque el saneamiento estuviera mal hecho, sino porque un patrón que busca lo que sabes siempre va un paso por detrás de lo que hay.

He escrito una auditoría que no busca lo que sabe, sino la forma de cada cosa: un correo se examina por su dominio frente a una lista de dominios publicables, los autores de los commits se revisan aparte (un correo real en la firma es un problema aunque el contenido esté limpio), las direcciones privadas y de bucle local se tratan como datos —porque una IP de casa revela la topología de la red—, y se buscan rutas absolutas y tokens con forma de secreto.

Aplicada a las dos copias, el resultado ha sido el mismo: el repositorio original tenía cuatro problemas reales, y la copia ya limpia no tenía ninguno. Dos métodos distintos, mismo veredicto.

Y al hacerlo me topé con algo que merece la pena explicar, porque es fácil hacerlo mal: la auditoría se detectaba a sí misma. Llevaba dentro los dominios que buscaba, y al auditarse se encontraba a sí misma —de manera que el procedimiento de publicación marcaba como sucio un repositorio que estaba limpio—. Ahora los patrones se construyen por partes, para que el texto completo no exista dentro del archivo.

También he aprendido a distinguir dos lugares donde un nombre real no es un problema: dentro de un mensaje de commit puede ser la explicación de que se sustituyó, y una IP de metadatos puede ser el ejemplo del ataque que se bloqueó. Lo que importa es el contenido de los archivos.

Hacia el repositorio nuevo

Ahora que el trabajo privado avanza, hay que dejarlo decidido y por escrito: no se publicará nada hasta que el proyecto esté completo, y se hará en un repositorio nuevo, sin reescribir el que ya tenemos. He cambiado el procedimiento porque proponía un force-push al repositorio privado —irreversible para quien lo tenga clonado— y ahora propone un push normal a un repositorio vacío, con la copia limpia ya preparada para servir de punto de partida.

Lo que queda abierto

  • La baja automática sigue desactivada por defecto y sin probar contra una cuenta real. Es lo que hay que probar con la máquina al lado.
  • Las reglas las sigue aprobando alguien manualmente, una por una. Ahora mismo no hay nada que las apruebe solo.
  • La interfaz todavía está en un solo archivo grande. Funciona, pero no es como se presenta un proyecto en un portafolio.

Como referencia, el repositorio privado queda con ciento cuarenta y seis pruebas en verde y la verificación de limpieza es automática en dos pasos: el que busca nombres conocidos y el que busca la forma.