Algoritmes que aprenen ‘massa bé’
La intel·ligència artificial (IA) té un potencial extraordinari. Les oportunitats que s’obren són moltes, però també cal tenir en compte l’allau de qüestions ètiques que plantegen. Qüestions com el tractament de les dades personals o l’impacte ambiental del món digital ja s’estan fent lloc en el debat social.
Un altre repte de primer ordre té a veure amb les implicacions ètiques dels algoritmes, tema abordat en un estudi sobre ètica algorítmica i perspectiva de gènere finançat per l’Àrea Metropolitana de Barcelona i dut a terme per la Càtedra Ethos de la Universitat Ramon Llull.
Mentre vivim, deixem rastre d’allò que fem a la xarxa i aquest rastre evoca el que som, el que desitgem, les nostres prioritats i gustos, també les nostres rutines. La IA permet processar aquesta ingent quantitat de dades amb temps i costos reduïts. Els algoritmes són la clau d’aquest processament, així com de l’automatització de certes tasques. En darrer terme, s’obre la possibilitat que les decisions basades en el tractament de les dades siguin preses pels mateixos algoritmes.
Però els algoritmes no són mai neutres axiològicament, ja que se sustenten sobre bases de dades d’aprenentatge. Això pot donar lloc a la reproducció de biaixos, com li passarà a un algoritme de reconeixement visual que només aprengui a partir d’imatges de subjectes blancs. Si les dades contenen traces de discriminació, l’algoritme tindrà un comportament discriminatori.
L’esmentat estudi se centra en el reclutament laboral. Les direccions de recursos humans cada cop empren més solucions d’intel·ligència artificial, per exemple, per filtrar i seleccionar automàticament documents com els curricula vitae. L’any 2015, Amazon va posar en marxa un sistema per analitzar les candidatures a les seves ofertes de treball. Va resultar que el sistema descartava per si mateix les candidatures de dones a favor de les dels homes. Ho feia així perquè havia estat entrenat a partir de les dades de l’organigrama dels empleats d’Amazon, on el vuitanta-cinc per cent dels efectius eren masculins. Revelada aquesta informació, Amazon va abandonar aquest instrument, però el cas il·lustra un risc sistèmic: la precisió estrictament tècnica en el disseny dels algoritmes és només la punta de l’iceberg; són també claus les bases de dades amb què s’entrena la IA, l’ús que en fan les corporacions (incloent si els processos són totalment automatitzats o amb supervisió humana), i el grau de transparència i de control sobre els resultats. I és que els algoritmes, en la seva extrema opacitat, poden esdevenir un límpid mirall de la realitat; els algoritmes aprenen massa bé en un món encara travessat per recalcitrants biaixos de gènere. Un simple exemple: un algoritme entrenat per prioritzar perfils laborals amb disponibilitat per viatjar reproduirà la discriminació d’aquelles que majoritàriament sostenen les tasques de maternatge i cura. Cal advertir, a més, que el filtratge de candidatures i la verificació de credencials són només algunes de les tasques delegades en algoritmes. També està esdevenint una pràctica habitual la valoració de les competències dels i les candidates per mitjà de diferents tipus de tests o videojocs. O l’anàlisi d’entrevistes enregistrades, en què, a partir de dades biomètriques, s’infereixen estats d’ànim, trets de personalitat o, fins i tot, l’orientació sexoafectiva.
En conseqüència, tot i la utilitat de la intel·ligència artificial en l’àmbit del reclutament, cal que els algoritmes incorporin mesures antibiaix i que els processos siguin transparents i revisables, tant per qui ofereix com per qui cerca feina. Altrament, la utilitat d’aquests sistemes estarà travessada per relacions de poder discriminatòries. L’esmentat estudi dibuixa un horitzó d’accions (ni totes, ni preferentment, tecnològiques) que afavoririen l’equitat en el disseny i la implementació dels algoritmes. Per exemple, atesa l’acusada masculinització del sector de la programació (i de l’anomenada “geek culture ”), l’augment de la diversitat (de gènere, però no només) dels equips de treball ja es traduiria en el disseny d’algoritmes menys esbiaixats.
No negarem que estem davant d’un ecosistema molt complex. La temptació a evitar, però, és abonar-se al mite de Skynet, una IA autònoma i omnipotent que eclipsa la cadena de responsabilitats, encara molt humanes, que poden incidir en una aplicació de la tecnologia més transparent, democràtica i justa.
Autors: Francesc Torralba, Núria Tria, Guillem Martí i Mar Rosàs
