Commits

L'aplicació de triaje de correu aprèn sola de les teves decisions

Una aplicació que aprèn de les teves decisions

4c2c68d · triage-web · commit

Una aplicació que aprèn de les teves decisions

Avui he acabat la peça que li faltava a l'aplicació de triatge de correu: que aprengui sola de comences a tractar el correu i et proposi les regles que aplicarà demà.

La idea és senzilla i alhora no-trivial. Cada vegada que marques un correu com a «esborra», «arxiva» o «avisem sempre», això és una opinió sobre qui t'envia correu. Si el mateix remitent apareix deu vegades, el patró és evident i la regla es pot proposar sola. Si en canvi només l'has marcat un cop, no hi ha res aprenible encara: el motor no proposa res, i fa ben fet.

La diferència entre les meves primeres versions i la que ha quedat és que el motor mai no fa res per la seva conta. Proposa, explica amb quina confiança i amb quina evidència, i espera que algú l'aprovi. Ho he verificat amb els correus reals que ja havia tractat: de setze registres, quinze havien quedat sense remitent i eren inútils per aprendre. Els he tornat a omplir consultant només les capçaleres — sense tocar cap missatge — i el motor ja ha proposat les tres primeres regles, totes pendents d'aprovació.

El que fa que funcioni: la memòria curta

Una regla que va bé avui pot estar equivocada demà, i una regla que va malament avui pot害ar la feina. Per això cada regla memto quantes vegades l'has confirmada, quantes l'has corregida i quant fa que no la fas servir. Dues correccions, o seixanta dies sense fer-la servir, i la regla se suspèn sola.

I hi ha una cosa que em va semblar important: les correccions humanes tenen més pes que les automàtiques. Si el motor proposa una regla i tu la mous, això no compta com a una confirmació més: compta com a una correcció. És el que evita que el sistema s'autoalimenti i acabi amplificant errors seus.

Les regles no es dupliquen

La part que em va costar més va ser evitar que el motor proposi el que ja tenia. El problema és que les regles que ja existien no coincideixen de manera exacta amb les que el motor genera: les antigues es guardaven amb fragments del remitent i el motor proposa l'adreça sencera. Comparades com a text, semblen diferents, i el resultat és una llista de regles on hi ha el mateix remintent tres vegades.

La solució va ser tractar-les com el que són: el mateix remitent, i prou. Ara, amb les quaranta-una regles que ja existien, el motor no en proposa ni una de duplicada.

Baixar-se d'una newsletter, sense deixar la porta oberta

Aquesta part és la que més m'ha ocupat, i no perquè sigui difícil, sinó perquè fer-la mal és perillós.

La URL on et baixa d'una newsletter l'escriu el remitent. Si l'aplicació fa la petició sense mirar, un remitent podria apuntar la baixa cap a la xarxa interna de qui l'executa. Valido l'esquema, resolc el nom de domini i rebutjo les adreces privades, les de loopback i les reservades.

Però hi havia una finestra més: validar l'URL i després deixar-la a la mans de la biblioteca HTTP estàndard no tanca el forat, perquè aquesta torna a resoldre el nom de domini quan connecta (i aleshores el domini pot canviar) i segueix les redireccions sense tornar-les a validar (un 302 pot apuntar a l'adreça de metadades del proveïdor de núvol).

Ara la connexió es fa a la IP ja validada, el certificat es comprova contra el nom que va demanar el remitent, i cada redirecció es valida abans de seguir-la.

I la part que més m'agrada: aquesta funcionalitat està apagada per defecte. És la part de l'aplicació amb més risc —una petició cap fora, a una adreça que escriu el remitent—, i no té sentit que s'activi sola. Quan vols que funcioni, ho demanes explícitament.

Un bug que semblava un detall

Una revisió companya va trobar que la petició de baixa només enviava el camí de la URL i es deixava la part dels paràmetres. I això no és un detall: les URLs de baixa sovint porten el token dins dels paràmetres. Si el servidor rep la petició sense el token, igualment respon amb tot bé, i l'aplicació donava la baixa per feta sense que s'hagués donat de baixa de res. Una baixa fallida que sembla correcta és pitjor que una baixa que falla i ho diu.

Ara la petició hi va amb camí i paràmetres, també després d'una redirecció, i hi ha proves que fallen sense la correcció i passen amb ella.

Abans de poder-ho ensenyar: netejar el repositori

El projecte ha nascut a la meva màquina, i això es nota. El codi era net, però el historial no: hi havia noms de companyes, dominis de l'empresa, l'adreça de la xarxa de casa i correus electrònics personals repartits per vint-i-un commits.

He escrit un procediment que reescriu l'historial en una còpia, substitueix aquelles dades per exemples i deixa els noms d'autors —que són l'història de l'equip i en un portafoli són un actiu, no un problema— amb una adreça de GitHub que no correspon a ningú. Després hi ha una verificació automàtica que busca paternies, no noms coneguts: així no depèn d'una llista de noms que sempre queda curta.

Tot plegat, el repositori seguirà privat. No es publica res fins que el projecte estigui complet, i quan ho faci serà en un repositori nou, no reescriure el que ja tenim.

El que encara falta

  • La baixa automàtica existeix i està provada, però no s'ha provat contra un compte real: cal fer-ho amb la màquina al costat.
  • Les regles s'aproven a mà. Ara mateix no hi ha res que les aprovi sol.
  • L'interfície encara és un sol fitxer gran. Funciona, però no és la manera com es presenta un projecte en un portafoli.

Una segona opinió sobre el netejat

El procediment per reescriure l'historial ja existia i donava zero línies sospitoses. Però hi ha una cosa que em ratllava: buscava les dades per noms coneguts — el domini de l'empresa, el correu personal, la IP de casa. I buscar per noms coneguts sempre deixa alguna cosa fora, perquè la llista de noms que ja coneixes no és la llista de noms que hi ha.

Ho va passar de veritat: al repositori hi havia tres correus d'autor diferents, un d'ells del domini de casa, i cap dels dos scripts de netejat l'havia atrapat. No perquè el saneig estigués mal fet, sinó perquè un patró que cerca el que saps sempre va un pas per darrere del que hi ha.

He escrit una auditoria que no cerca el que sap, sino la forma de cada cosa: un correu es mira pel seu domini contra una llista de publicables, els autors dels commits es revisen a part (un correu real a la signatura és un problema encara que el contingut estigui net), les adreces privades i de loopback es tracten com a dades —perquè una IP de casa en ofereix la topologia de la xarxa—, i es busquen rutes absolutes i tokens amb forma de secret.

Aplicada a les dues còpies, el resultat ha estat el mateix: el repositori original tenia quatre problemes reals, i la còpia ja netejada no en tenia cap. Dos mètodes diferents, mateix veredicte.

I en fer-ho he topat amb una cosa que val la pena explicar, perquè és fàcil de fer mal: l'auditoria es detectava a si mateixa. Portava dins els dominis que buscava, i en auditar-se trobava a ella mateixa — de manera que el procediment de publicació marcava com a brut un repositori que estava net. Ara els patrons es construeixen per peces, perquè el text complet no existeixi dins el fitxer.

També he après a distingir dos llocs on un nom real no és un problema: dins un missatge de commit pot ser l'explicació de que es va substituir, i una IP de metadades pot ser l'exemple de l'atac que es va tancar. El que importa és el contingut dels fitxers.

Cap al repositori nou

Ara que el treball privat avança, fa falta deixar-ho decidit i escrit: no es publicarà res fins que el projecte estigui complet, i es farà en un repositori nou, no reescrivint el que ja tenim. He canviat el procediment perquè proposava un force-push al repositori privat —irreversible per a qui el tingui clonat— i ara proposa un push normal a un repositori buit, amb la còpia netejada ja preparada per fer de punt de partida.

El que queda obert

  • La baixa automàtica continua apagada per defecte i sense provar contra un compte real. És el que toca provar amb la màquina al costat.
  • Les regles les continua aprovant algú a mà, una a una. Ara mateix no hi ha res que les aprovi sol.
  • La interfície encara viu en un sol fitxer gran. Funciona, però no és com es presenta un projecte en un portafoli.

Com a referència, el repositori privat queda amb cent quaranta-sis proves en verd i la verificació de netejat és automàtica en dos passos: el que cerca noms coneguts i el que cerca la forma.