Cap a un control públic dels algoritmes

BarcelonaEns disposem a comprar un producte online i se'ns anuncien articles que ja hem consultat abans. Fem like en una publicació a Instagram i, poc després, ens apareixen continguts similars. Spotify ens proposa escoltar l'últim disc d'un cantant i és el mateix artista que vam escoltar fa uns dies per primer cop. És el resultat dels algoritmes d'intel·ligència artificial (IA) que cercadors i aplicacions utilitzen per personalitzar els continguts. Però el problema arriba quan aquests processos de segmentació, majoritàriament opacs, provoquen un biaix en funció del gènere, la raça o la condició socioeconòmica. I no només a les xarxes: empreses privades i administracions públiques automatitzen amb algoritmes decisions sensibles com la concessió de préstecs, assegurances o prestacions socials, la preselecció de currículums per a llocs de treball o la identificació de ciutadans com a potencials delinqüents. Qui controla que no hi hagi errors tècnics o males praxis? ¿Es pot garantir que no es produeixen discriminacions? 

L'Agència Espanyola de Supervisió de la Intel·ligència Artificial (AESIA), que tindrà la seva seu a la Corunya i serà la primera a la UE d'aquestes característiques, està cridada a abordar aquesta qüestió. El seu objectiu, avançant-se a la futura normativa europea en la matèria –que exigirà als estats membres una autoritat supervisora–, serà "minimitzar els riscos que pot comportar la IA en els camps de la seguretat, la intimitat i la salut de les persones, i sobre la resta de drets fonamentals". Són diversos els casos en què aquests riscos ja s'han convertit en prejudici, com ha passat amb el bo social elèctric espanyol. La prestació s'assigna mitjançant un algoritme i l'organització Civio va demostrar el 2019 que es negava l'ajuda a persones que tenien dret a accedir-hi. També els riders van denunciar l'any passat discriminacions arran dels algoritmes que utilitzen empreses de repartiment a domicili, que assignen més feina als treballadors que tarifen els seus serveis a la baixa. "Existeix el risc que la IA accentuï desigualtats i perpetuï opressions", alerta Judith Membrives i Llorens, tècnica de digitalització de LaFede.cat, una de les entitats promotores de la xarxa IA Ciutadana. 

Que l'AESIA aconsegueixi posar fi a situacions com aquestes dependrà de com es concretin les seves actuacions i, segons fonts de la secretaria d'estat de Digitalització i Intel·ligència Artificial, s'acabaran de fixar quan entri en vigor la regulació europea. De moment, l'esborrany del reglament de la UE defineix una escala de riscos en l'ús dels sistemes d'IA, que va del risc mínim a l'inacceptable. Aquest últim nivell és el d'aquells sistemes que suposen una "clara amenaça per a la seguretat, els mitjans de vida i els drets de les persones", com els que busquen "manipular" el comportament humà. "Un cop es publiqui la normativa i es fixin els riscos, s'establiran les mesures concretes de les agències estatals", assenyalen des de la secretaria.

Expertes en IA defensen que una de les funcions essencials hauria de ser forçar la "transparència" dels processos algorítmics que utilitzen entitats públiques i privades. "Cal promoure un registre públic d'algoritmes i l'obligatorietat de declarar-los quan tinguin un impacte social", destaca Gemma Galdon, directora d'Eticas Tech, des d'on s'ha impulsat un observatori que ja ha analitzat 146 sistemes algorítmics a tot el món que ens afecten en el dia a dia. D'aquests, més d'una desena s'apliquen a l'estat espanyol, com el que utilitza el ministeri de l'Interior per fer el seguiment de casos de violència masclista i protegir a les víctimes –el VioGén, l'eficàcia del qual ha estat recentment qüestionada–, el del Servei Públic d’Ocupació Estatal (SEPE), que determina les ajudes i serveis que han de rebre els aturats, o el que es fa servir a les presons catalanes per avaluar el risc de reincidència dels presos. "Cal comunicar a la ciutadania on són aquests algoritmes, explicar de manera gens tècnica què fan i per què estan en aquest servei públic o aquella empresa", afegeix Karma Peiró, cofundadora i directora de Visualization for Transparency Foundation. "Quan ho saps, pots protegir els teus drets", diu Galdon.

Les veus consultades coincideixen que l'agència també hauria de tenir capacitat sancionadora en cas d'abusos o discriminacions. "Hauria d'aplicar sancions i promoure mecanismes de rendició de comptes i de justícia restaurativa a les persones i comunitats afectades", diu Membrives. Des de la secretaria de Digitalització i IA expliquen que la tasca de l'agència serà "essencialment la supervisió i, si escau, la sanció" d'acord amb el que estipuli la normativa europea, però afegeixen que ara mateix no hi ha una "base legal" que prevegi "infraccions". D'entrada, afegeixen, s'apostarà per la "formació en organismes, ens públics i empreses sobre els bons comportaments en relació amb la IA".

La "ciutat sense llei" a les xarxes socials

"Estem travessant una pandèmia de trastorns de conducta alimentària". La frase és d'Íñigo Errejón. La va pronunciar al Congrés de Diputats fa dos mesos, i va afegir que "això no té una sola causa" però que "ningú no pot negar que les xarxes socials i els seus algorismes hi juguen un paper fonamental".

Errejón demanava posar-hi remei accelerant la posada en marxa de l'AESIA, a la qual el govern espanyol es va comprometre precisament amb Més País a canvi del suport als pressupostos del 2022. Però no està clar exactament com es farà el control d'aquest tipus de continguts. Galdon remarca que s'haurien d'"auditar". "El problema no és que algú digui una cosa fora de to o promogui imatges poc sanes del cos de les dones, sinó quan la plataforma ho amplifica", diu, i aposta per crear mecanismes per "assegurar que aquests missatges que poden danyar no es reprodueixin". Peiró, en canvi, és escèptica amb la capacitat de control de l'Agència en aquest camp: "No sé si tindria prou força per limitar el poder de les xarxes socials".