Algoritmes conscients i enginyeria social
Doctora en sociologia, experta en transformació digital i impacte social, EsadeM’agradaria poder comptar quants algoritmes creuen la nostra rutina en un dia qualsevol. Em refereixo al munt de decisions automàtiques que prenen determinats programes basats en una combinació de dades personals i comportaments digitals. N’hem pres consciència amb la publicitat programàtica i individualitzada, quan busquem informació per comprar uns vols, i durant setmanes ens persegueixen anuncis dels destins anhelats cada vegada que entrem al correu o llegim el diari.
Aquestes mateixes fórmules estimen que si ets dona i tens entre 30 i 35 anys, t’interessen els tests d’embaràs. Els càlculs diuen que ja aniria tocant, però a la probabilitat no li preocupa si ja en tens cinc o has decidit no tenir-ne cap. Això, que pot ser més o menys anecdòtic, té implicacions profundes quan és constant, perquè comporta que algunes decisions automàtiques donin forma al nostre futur. Imaginem dos joves buscant carrera per a l’any que ve: al noi difícilment li apareixeran propostes d’infermeria. La noia en canvi rebrà més infermeria i menys enginyeria, perquè els anunciants saben quants clics tindran (i cobraran) en cada cas. L’efecte immediat de reproduir els prejudicis equival a més ingressos privats, mentre l’efecte social a mitjà termini és la perpetuació del biaix.
La cosa es complica amb el 'machine learning' o aprenentatge automatitzat. Es generen algoritmes més potents i amb capacitat d’aprendre. El que fan és entrenar-los amb milions i milions de registres, diferents bases de dades acumulades, i dotar-los d’una capacitat extraordinària per calcular si un perfil de persona és més probable que faci A o faci B. Cada vegada més empreses i governs s’apunten a utilitzar aquest tipus de computació per prendre decisions importants. Com diu Zeynep Tufekci, el perill és que els fem preguntes més complicades que als algoritmes simples però seguim esperant respostes senzilles i aïllades del context.
Tot això ha obert un debat sobre l’ètica dels algoritmes que amb l’expansió de la intel·ligència artificial no ha fet res més que créixer. Estem acostumats a sentir que un algoritme “decideix” qui pot optar a un programa d’ajudes d’un govern, “esbrina” l'orientació sexual o “prediu” qui patirà depressió amb mesos d’antelació. Podran ser fantàstics calculant probabilitats, però el decidir, l’esbrinar i el predir depèn del punt de vista dels que els programen.
Als Estats Units utilitzen softwares policials predictius. Per cada persona fitxada calculen quina probabilitat té de reincidir, encara que sigui per un crim menor com robar una bicicleta. Li assignen un número dins d’una escala de risc i la conclusió principal és que sent d’origen afroamericà la reincidència és altament probable. Un estudi de ProPublica va seguir diferents casos durant dos anys i va desvelar que el model encaixa amb els prejudicis però no amb la realitat. Primer apunt.
La segona complicació ve perquè l’automatització aparta la vista humana del procés, i a mesura que els algoritmes van aprenent, generen nous criteris de decisió que s’allunyen de la programació inicial. Fa un any Facebook entrenava dos bots de subhasta en tècniques de regateig. De partida tenien informació sobre objectes de subhasta, però al cap d’unes quantes tongades de negociació van desenvolupar el seu propi llenguatge, que ni tan sols els enginyers podien desxifrar. Davant de la pèrdua de control van decidir posar fi a les proves, però el debat sobre les implicacions d'aquest fet continua obert.
És un error creure que és un debat tecnològic, quan en realitat no va de programar codi, sinó d’una dansa entre la capacitat tècnica com a mitjà i l’ètica com a salvaguarda. Fins ara els algoritmes són poderosos i opacs, unes caixes negres supremes que patim de forma passiva quan el que hauríem d’aconseguir és que estiguin al servei dels nostres propòsits com a societat. Ja hem vist què passa quan la potència està alimentada per un avui imperfecte i desigual. En aquest sentit, Microsoft ha posat fil a l’agulla creant un equip interdisciplinari (AI Now Institute) per acompanyar l’Ajuntament de Nova York a crear algoritmes que siguin ètics i socialment responsables.
És fonamental que reclamem el nostre dret a preguntar i demanar explicacions, volem saber com es calcula el nostre futur i quan es decideix sobre la nostra llibertat. No ens interessa la intel·ligència inconscient. Perquè si els algoritmes són més ideològics que neutrals, tenim el dret i el deure de reclamar més responsabilitat i transparència.