Uno de los enigmas más antiguos de la investigación en inteligencia artificial involucra a coches y gatos. Durante más de una década, los investigadores se han preguntado por qué una tecnología temprana de Google parecía tratar a los coches como gatos y viceversa.

Esta tecnología de Google, Inception, podía identificar con precisión objetos comunes en fotografías digitales. Pero cuando los investigadores analizaron la infinidad de cálculos matemáticos que sustentaban el sistema, no lograron comprenderlo. Las matemáticas que identificaban un automóvil se parecían mucho a los cálculos que reconocían a un gato.

Este mes, un investigador de IA afirmó haber resuelto este enigma. Tras examinar detenidamente la gran cantidad de datos que maneja la tecnología de IA de Google, el investigador, Nick Cammarata, observó que uno de estos cálculos señalaba una forma de "V" que aparecía tanto en la parte delantera de un coche como en la cara de un gato.

La solución propuesta por el Sr. Cammarata reabrió un antiguo debate en el mundo de la investigación en inteligencia artificial, y no solo por lo que dijo sobre automóviles y felinos. Esta revelación fue solo una pequeña parte de un tratado de 26 000 palabras en el que el Sr. Cammarata, antiguo investigador de OpenAI, argumentó que el problema de la "interpretabilidad" de la IA —el esfuerzo por comprender por qué los modelos de IA hacen lo que hacen— podría ser mucho más fácil de resolver de lo que la mayoría de la gente cree.

A medida que los sistemas de IA se han vuelto cada vez más potentes en los últimos años, descifrar su funcionamiento interno se ha vuelto más difícil. En 2014, la tecnología Inception de Google abarcaba varios millones de "neuronas", los cálculos matemáticos fundamentales que impulsan un sistema de IA. Los sistemas más recientes abarcan billones.

El problema es que nadie parece saber qué hace cada neurona. Cuando un sistema de IA aprende un concepto concreto —como reconocer un coche, un gato o una corbata—, distribuye estas ideas entre múltiples neuronas de maneras que ni siquiera los expertos pueden comprender. Los investigadores lo llaman «superposición». Y si no logran desentrañar este fenómeno, las consecuencias podrían ser profundas.

En los próximos años, muchas empresas, gobiernos y particulares podrían mostrarse reacios a adoptar las tecnologías de IA debido a su desconocimiento del funcionamiento de estos sistemas. Si no comprenden el motivo de una decisión concreta, podrían desconfiar de ella. Y si depositan su confianza en la IA, podrían incurrir en responsabilidad legal si la tecnología comete errores graves, especialmente cuando se utiliza en áreas sensibles, como el diagnóstico de enfermedades en hospitales o la identificación de delincuentes a partir de fotografías.

Cuando el Sr. Cammarata inició un proyecto de interpretabilidad en OpenAI hace tres años, estimó que menos del 2 % de las neuronas dentro de un sistema de IA podían comprenderse correctamente. Ahora que tiene una nueva perspectiva del problema —que implica un fenómeno que él llama "generalización recursiva"— cree que puede comprender el comportamiento de más del 90 % de las neuronas.

Argumenta que, a medida que los sistemas de IA se vuelven más complejos, sus neuronas comienzan a asociarse con conceptos específicos, como formas, sílabas y sonidos. Cree que, mediante sus métodos, él y otros investigadores podrán resolver el problema de la interpretabilidad.

Pero otros investigadores argumentan que su ensayo plantea más preguntas de las que responde.

'Muchos ejemplos hermosos'

Las redes neuronales —sistemas matemáticos que aprenden analizando enormes cantidades de datos— impulsan las principales tecnologías de IA. Por ejemplo, al identificar patrones en noticias, artículos de Wikipedia, programas informáticos y otros textos digitales recopilados de internet, una red neuronal puede aprender a generar texto por sí misma.

Los sistemas actuales dedican meses a analizar todo ese texto, y mucho más . En el proceso, descubren billones de patrones textuales que acaban determinando su funcionamiento. Cada patrón es un cálculo matemático distinto.

En conjunto, estos cálculos determinan las palabras, los números y el código informático que genera un chatbot como GPT de OpenAI o Claude de Anthropic. Sin embargo, los científicos no pueden identificar los cálculos responsables de un texto específico. No pueden controlar el comportamiento de un bot simplemente activando o desactivando los cálculos.

Así como los neurocientíficos aún se esfuerzan por comprender el funcionamiento del cerebro, los investigadores de la interpretabilidad no logran explicar cómo un sistema de IA decide generar un párrafo, un gráfico o un programa informático en particular. Esta es una de las principales razones por las que algunos tecnólogos temen que la IA no pueda controlarse por completo y que pueda causar graves daños .

Hoy en día, cualquiera puede examinar el texto que genera un sistema de IA. Así fue como OpenAI y otros investigadores intentaron determinar qué falló cuando los agentes de IA de la compañía hackearon inesperadamente la infraestructura de una empresa de IA llamada Hugging Face. Pero el texto que generan los sistemas de IA no siempre es fiable .

Cuando un agente explica el motivo de una decisión, su explicación puede ser completamente falsa. A veces, un sistema de IA dirá que hizo algo que en realidad no hizo .

«Dadas las capacidades de estos sistemas y el comportamiento que exhiben», dijo Marius Mosbach, profesor de la Universidad de Saarland en Alemania y director científico del Centro Alemán de Investigación en Inteligencia Artificial, especializado en la interpretabilidad de la IA, «resulta cada vez más importante —casi urgente— comprenderlos mejor».

En los últimos años, los investigadores coincidieron en general en que la superposición es el principio rector de las redes neuronales. En otras palabras, cuando una red neuronal capta una característica específica, como una forma, codifica este concepto en múltiples neuronas. Sin embargo, en su ensayo, el Sr. Cammarata, quien ahora trabaja para una empresa emergente llamada Goodfire, defendió una hipótesis más sencilla.

Su argumento principal era que, una vez que la red alcanza un tamaño suficiente, cada neurona comienza a asociarse con una característica específica. En otras palabras, las redes neuronales están más organizadas de lo que él creía.

Si las redes neuronales están más organizadas, "básicamente se puede hacer ciencia con ellas", dijo Tom McGrath, científico jefe de Goodfire. "Y la humanidad es bastante buena en la ciencia".

Dado que el Sr. Cammarata ha estado a la vanguardia de la investigación sobre interpretabilidad durante años, algunos vieron en su ensayo un nuevo motivo de optimismo. Diversos inversores de capital riesgo y emprendedores de Silicon Valley elogiaron su artículo, entre ellos Sam Altman , director ejecutivo de OpenAI.

Pero muchos investigadores experimentados afirmaron que la importancia de su ensayo estaba sobrevalorada. Esto se debía, en parte, a que el Sr. Cammarata aportaba escasas pruebas para su teoría, y en parte a que la investigación sobre la interpretabilidad aún está muy lejos de comprender el funcionamiento interno de una red neuronal.

«Esta publicación se basa principalmente en las impresiones de Nick: muchos ejemplos bonitos, pero sin resultados empíricos reales», dijo Constantin Venhoff, fundador de World Mechanics, una empresa emergente dedicada a la interpretabilidad. «Eso es un problema, porque el mayor obstáculo de la investigación sobre interpretabilidad es la falta de pruebas empíricas sólidas y contundentes que demuestren su veracidad».

Un desafío en miles de dimensiones

El problema radica en que la investigación sobre interpretabilidad pretende brindar a las personas una comprensión de los sistemas tecnológicos que se basa en mucha más información de la que el cerebro humano podría procesar. Los humanos solo pueden pensar en tres dimensiones: altura, anchura y profundidad. Pero las redes neuronales operan en miles de dimensiones, realizando miles de cálculos diferentes en el mismo espacio matemático.

En su ensayo, el Sr. Cammarata afirmó que, tras analizar la tecnología Inception de Google desde una nueva perspectiva, comprendió la función de casi todas las neuronas. Sin embargo, Inception es una tecnología antigua con un número relativamente pequeño de neuronas. Y aunque los investigadores puedan comprender la función de cada neurona, eso no significa que puedan entender por qué un sistema de IA toma una decisión en particular.

«Aunque podamos interpretar las neuronas, todavía tenemos miles de millones de ellas», dijo Tom Dupré la Tour, quien trabaja en investigación sobre interpretabilidad en OpenAI. «Seguimos teniendo circuitos gigantescos de neuronas interconectadas, y ese circuito gigante es muy difícil de comprender».

(El New York Times ha demandado a OpenAI y Microsoft , alegando que utilizaron material protegido por derechos de autor del Times para entrenar sus sistemas de IA. Las empresas han negado estas acusaciones).

Muchos investigadores aún conservan la esperanza de poder resolver el problema. O, al menos, creen que pueden lograr algún progreso. Después de todo, examinar y manipular un sistema de IA es más fácil que inspeccionar el cerebro.

“La interpretabilidad es como la neurociencia, solo que mucho más prometedora”, dijo Sonia Joseph, ex investigadora de Meta que fundó World Mechanics junto con el Sr. Venhoff.

Investigadoras como la Sra. Joseph pueden "analizar" fácilmente un sistema de IA, midiendo los cálculos que realiza cada neurona. Pueden realizar "ablaciones", desactivando ciertas neuronas para observar cómo esto modifica el comportamiento del sistema. Incluso pueden generar "variedades", reduciendo los cálculos de una red a solo dos o tres dimensiones, de miles a miles, para que los humanos tengan al menos la posibilidad de comprender cómo encaja todo.

Su objetivo es descifrar el funcionamiento interno de los sistemas de IA por razones científicas. Al igual que otros científicos, sienten curiosidad. Pero si logran comprender una red neuronal, tendrán mayores posibilidades de controlarla.

“Cuando intentas diseñar algo”, dijo el Dr. McGrath, “generalmente es mejor si puedes entenderlo”.