Els fiascos de la IA

Costa una mica de creure que, fa poc més d’un any, un grup de destacats investigadors demanessin una pausa de sis mesos en el desenvolupament de grans sistemes d’intel·ligència artificial per por que esdevinguessin massa poderosos. I preguntaven: “¿Ens hem d’arriscar a perdre el control de la nostra civilització?”

No es va fer cap pausa. Però ara, un any després, la pregunta ja no és si la IA és massa intel·ligent i s’apoderarà del món. La qüestió és si la IA és massa estúpida i poc fiable per ser d’alguna utilitat. Penseu en l’anunci que ha fet aquesta setmana el director executiu d’OpenAI, Sam Altman, quan va prometre que presentaria “unes novetats” que “a mi em semblen màgia”. Però només es tractava d’una actualització més aviat rutinària per fer el ChatGPT més barat i ràpid.

Té tot l’aire de ser un indici més que la IA no està ni de bon tros a l’altura de les expectatives generades. Des del meu punt vista, en lloc d’un ésser totpoderós, sembla més aviat un becari poc eficient que fa una feina tan poc fiable que sovint val més la pena que ens la fem nosaltres mateixos. Aquesta constatació té importants repercussions en la manera com tots plegats, els nostres empresaris i el nostre govern, hem de reaccionar davant de la ultimíssima i fascinant novetat sorgida de Silicon Valley. Reconèixer les limitacions de la IA ens podria ajudar a invertir els nostres recursos amb més eficiència i també a centrar la nostra atenció en solucions més realistes.

Altres veus expressen preocupacions semblants. Molly White, investigadora i crítica especialitzada en criptomonedes, escrivia el mes passat a la seva newsletter: “Crec que, en el fons, les meves sensacions sobre la IA s’assemblen força a les que em desperten les cadenes de blocs de les criptomonedes: no funcionen gens bé la majoria de vegades que les volem utilitzar, no són capaces de fer les coses que els seus creadors afirmen que algun dia podrien fer, i moltes de les coses per a les quals sí que estan capacitades potser no són gaire beneficioses".

Donem una ullada a les investigacions més recents.

Aquests últims deu anys la IA ha après a dominar moltes tasques que abans eren inimaginables, com ara identificar imatges, escriure frases completes coherents i transcriure àudio. Gràcies a la IA, un cantant que havia perdut la veu ha pogut treure al mercat una cançó nova mitjançant intel·ligència artificial entrenada amb enregistraments d’antigues cançons seves.

Tot i així, fa l’efecte que alguns dels èxits més sonats de la IA s’han exagerat molt. Alguns de vosaltres potser recordareu que, fa un any, el model d’IA ChatGPT-4 va superar el uniform bar exam (l’examen que s’ha d’aprovar als EUA per exercir l’advocacia). Resulta, però, que, a diferència del que afirma OpenAI, la seva puntuació es va situar en el percentil 48, no en el 90, segons ha descobert l’investigador del MIT Eric Martínez. ¿I l’afirmació de Google que ha trobat més de dos milions de nous compostos químics per mitjà de la IA? Una nova anàlisi a càrrec d’uns químics especialitzats en materials experimentals de la Universitat de Califòrnia, a Santa Bàrbara, ha detectat “escasses proves de compostos que compleixin el triplet de novetat, credibilitat i utilitat”.

Mentrestant, en molts àmbits s’ha descobert que la IA sovint té problemes per respondre preguntes molt senzilles, sigui en temes jurídics i mèdics o d’informació electoral. Fins i tot s’ha detectat que la IA no sempre millora la qualitat de la programació informàtica, una tasca en què en teoria hauria de sobresortir.

Crec que no passa el mateix que en el camp de les criptomonedes, on va resultar que el rebombori publicitari era només una tapadora per a una sèrie de trames il·legals que van portar uns quants famosos a la presó. Però també ha quedat força clar que estem molt lluny de la promesa d’Altman quan va afirmar que la IA es convertiria en ”la tecnologia més potent mai inventada per la humanitat”.

Fixem-nos, per exemple, en el Devin, un “enginyer de software creat amb IA” que els mitjans tecnològics van promocionar amb gran entusiasme. Vet aquí, però, que un desenvolupador de programari de carn i ossos, Carl Brown, va decidir enfrontar-se al Devin. Brown va fer en només 36 minuts una tasca que a l’agent fruit de la IA generativa li va costar més de sis hores. A més, el Devin no se’n va sortir gens bé, perquè va executar un llenguatge de programació molt lent i obsolet en un procés força complicat. Com conclou Brown al seu vídeo de YouTube: “En aquests moments la situació de la IA generativa és que no va bé; funciona d’una manera complicada i enrevessada que només ens fa treballar més a tots els altres”.

Cognition, l’empresa que ha creat el Devin, va reconèixer en la seva resposta que el Devin no va donar els resultats que se li havien demanat i afegia que estaven oberts a rebre més comentaris per poder millorar el seu producte. No cal dir que les empreses d’IA sempre prometen que està a punt d’arribar una versió molt més útil de la seva tecnologia. “El GPT-4 és de bon tros el model més totxo que mai haureu fet servir”, va dir fa poc Altman parlant del GPT-5 en un seminari de la Universitat de Stanford.

La realitat és que els models d’IA solen ser capaços d’elaborar un primer esborrany acceptable. Però soc conscient que, quan faig servir la IA, he de dedicar gairebé tant de temps a corregir i revisar els seus resultats com el que m’hauria costat a mi fer la feina.

I plantegeu-vos per un moment la possibilitat que la IA no millori gaire en un futur pròxim. Al cap i a la fi, les empreses d’IA s’estan quedant sense dades noves per entrenar els seus models i també sense l’energia necessària per alimentar la seves màquines d’IA, assedegades d’electricitat. Mentrestant, diversos autors i mitjans de comunicació (com ara The New York Times) impugnen la legalitat de la introducció de les seves dades en els models d’IA sense el seu consentiment, cosa que podria acabar obligant a retirar informació de qualitat d’aquests models.

Ateses totes aquestes limitacions, em sembla força probable que la IA generativa acabi com la Roomba, el mediocre robot aspiradora que fa una neteja acceptable si estàs sola a casa, però no si esperes convidats.

Les empreses que poden anar tirant amb un treball de la qualitat de la Roomba intentaran substituir els treballadors, esclar. Però als llocs de treball en què la qualitat és important –i en què els empleats estan sindicats, com és el cas de guionistes i infermeres– la IA potser no farà uns avenços gaire considerables.

I si els models d’IA queden relegats a produir resultats mediocres, haurien de competir en matèria de preu més que no pas de qualitat, cosa que mai és bona per als marges de benefici. En aquest context, pot ser que els escèptics com Jeremy Grantham –un inversor conegut per pronosticar cracs borsaris– tinguin raó quan parlen de la probabilitat que la bombolla de la IA punxi aviat.

De tota manera, la principal pregunta que planteja un futur poblat per una IA mediocre és existencial. ¿Hem d’invertir, com a societat, milers de milions de dòlars, la nostra valuosa electricitat, que podria servir per abandonar els combustibles fòssils, i una generació de les ments més brillants de les matemàtiques i la ciència, en millores incrementals d’una cosa tan vulgar com l’escriptura de correus electrònics?

No podem deixar d’esforçar-nos per millorar la IA. La tecnologia, per poc brillant que sigui, ha vingut per quedar-se, i la farem servir. Però hem de tenir en compte la possibilitat que estiguem invertint en un futur ideal que potser no es materialitzarà.

Copyright The New York Times