Escribir una sola palabra le cuesta a una IA 26.000 millones de cuentas
A mano, a una cuenta por segundo y sin dormir, tardarías 824 años en escribir la siguiente palabra. La aritmética que hay detrás de cada token, y por qué nadie sabe por qué eligió esa palabra.
Coge papel y boli. Haz una multiplicación por segundo, sin parar a dormir, sin fines de semana, sin vacaciones. Cuando termines de calcular a mano lo que una inteligencia artificial hace para escribir una sola palabra, habrán pasado más de ochocientos años.
No es una exageración de titular. Es una división.
Dos cuentas por parámetro y por palabra
Hay una regla que se usa desde 2020 para estimar cuánto cálculo consume un modelo de lenguaje cada vez que escupe un token, que viene a ser una palabra o un trozo de palabra: unas dos operaciones por cada parámetro que tiene el modelo. Una multiplicación y una suma. La fórmula aparece en el trabajo de Kaplan y su equipo sobre leyes de escala y sigue siendo la servilleta con la que todo el mundo hace estos cálculos.
Así que la cuenta es directa. Un modelo de 13.000 millones de parámetros —de los medianitos, de los que caben en un ordenador potente de casa— gasta unos 26.000 millones de operaciones para decidir la siguiente palabra.
26.000 millones de segundos son 824 años.
Y esa es la palabra siguiente. Solo una. Para una frase de veinte palabras, multiplica.
Lo primero que pasa es que tu palabra deja de existir
Escribes «Sol». El modelo no ve «Sol» en ningún momento. Lo primero que hace es buscar esa palabra en una tabla y sustituirla por una lista de miles de números decimales. Cuatro mil, cinco mil, depende del modelo.
Ninguno de esos números significa nada por separado. No hay uno que sea «es una estrella» y otro que sea «está lejos». El significado, si es que esa palabra sirve aquí, está repartido entre todos ellos de una forma que nadie ha conseguido desenredar del todo.
A partir de ahí empieza la carnicería aritmética: esa lista de números se multiplica contra matrices gigantescas, se cruza consigo misma para mirar qué palabras de la frase se relacionan entre sí, se vuelve a multiplicar, y el resultado entra en la siguiente capa. Y en la siguiente. Los modelos de hoy tienen entre treinta y ochenta capas. Todo lo anterior, repetido decenas de veces.
Y al final, un dado
Después de los 26.000 millones de cuentas, el modelo no tiene una respuesta. Tiene una lista de probabilidades: un número para cada palabra posible de su vocabulario, que suelen ser más de cien mil.
Entonces tira un dado.
Literalmente: elige entre las más probables con un sorteo ponderado. Por eso el mismo modelo, con la misma pregunta, no siempre contesta igual. Esa parte no es un fallo, es el diseño. Si eligiera siempre la más probable, escribiría textos repetitivos y planos, y eso se comprobó hace años.
La parte que descoloca
Le preguntas cuál es el planeta más cercano al Sol. Contesta Mercurio. Acierta.
Y ni tú, ni quien te lo enseña, ni el equipo que entrenó el modelo puede señalar en qué punto de esos 26.000 millones de cuentas se decidió que la respuesta era Mercurio y no Venus. No hay una línea de código con la respuesta. No hay una casilla en una base de datos. Hay una montaña de números que salieron de leer medio internet, y la respuesta emerge de multiplicarlos en el orden correcto.
Hay una disciplina entera dedicada a esto, la interpretabilidad, y su estado actual se parece bastante a la neurociencia: sabemos abrir el cráneo, sabemos medir qué zonas se encienden, y seguimos sin poder explicar una decisión concreta.
Un dato extra para el grupo de WhatsApp
Todo eso que acabas de leer —los 26.000 millones de operaciones, las decenas de capas, el sorteo final— ocurre en el tiempo que tardas en parpadear. Y luego otra vez, para la palabra siguiente. Y otra vez. Mientras tú miras cómo aparece el texto en la pantalla y piensas que va un poco lento.