- Publicado el
¿Existe una pared para el progreso de la IA? Leyes de Escalado y el Cómputo de Inferencia
date
Feb 18, 2025
tags
Inteligencia Artificial
Machine Learning
LLM
summary
Desde finales de 2024, se debate intensamente si el progreso de los modelos de lenguaje de IA alcanzará una “pared” que no podrá derribarse simplemente aumentando la cantidad de datos, cómputo y el tamaño del modelo. Sin embargo, la clave parece estar en aumento del cómputo en tiempo de inferencia, como ha comenzado a implementarse en modelos como o1 y o3 de OpenAI. Nos preguntamos, ¿existe realmente una pared para el progreso de la IA? ¿En qué consiste la nueva estrategia de escalado basada en hacer que los modelos "piensen" en lugar de simplemente aumentar su tamaño?
slug
leyes-de-escalado
status
Published
type
Post
author
Julio Santirachi
Desde finales de 2024, se debate intensamente si el progreso de los modelos de lenguaje de IA alcanzará una “pared” que no podrá derribarse simplemente aumentando la cantidad de datos, cómputo y el tamaño del modelo. Sin embargo, la clave parece estar en aumento del cómputo en tiempo de inferencia, como ha comenzado a implementarse en modelos como o1 y o3 de OpenAI.
Recientemente, la empresa china DeepSeek, en lo que fue nombrado el “momento Sputnik de la IA”, logró una innovación clave en eficiencia, logrando resultados en sus modelos de IA que igualan o superan a sus contrapartes estadounidenses, con una fracción del costo. Esto sacudió las acciones de Nvidia, logrando una caída histórica, y puso en duda la tesis de que los sistemas de IA de vanguardia requerirán miles de millones en inversión adicional en cómputo.
Las preguntas clave que exploraremos son: ¿Existe realmente una pared para el progreso de la IA? ¿En qué consiste la nueva estrategia de escalado basada en hacer que los modelos "piensen" en lugar de simplemente aumentar su tamaño? ¿Qué impacto ha tenido la irrupción de DeepSeek en la industria? ¿Cómo responderán Estados Unidos y sus principales empresas tecnológicas a este desafío?
En este primer artículo abordamos las dos primeras preguntas. En el siguiente, nos enfocamos en el fenómeno DeepSeek y sus implicaciones en la competencia global por la supremacía en IA.
¿Existe una pared? El cuestionamiento a las Leyes de Escalado
Primero documentadas en un artículo publicado por OpenAI en 2020, las leyes de escalado o scaling laws de los modelos de lenguaje sostienen que aumentar la cantidad de datos de entrenamiento, el tamaño del modelo, y por tanto el poder de cómputo, mejoraría continuamente las capacidades de un modelo. Estas leyes de escalado también son conocidas como “leyes de pre-entrenamiento”, refiriendo a la fase de entrenar un modelo de IA que utiliza una gran cantidad de datos no etiquetados para comprender patrones y estructuras del lenguaje.
Ilya Sutskever, co-inventor de AlexNet, co-fundador de OpenAI y uno de los investigadores más importantes en el campo del Deep Learning, mencionó en una charla reciente en la NeurIPS 2024 que estas leyes tuvieron predominancia en la “era del pre-entrenamiento”.
En noviembre de 2024, una oleada de informes de prensa en Bloomberg, Reuters, y The Information, sugería que los modelos de OpenAI, Google y Anthropic ya no estaban mejorando de manera tan drástica como antes. El enfoque que ha llevado a la industria desde el primer modelo de lenguaje grande de OpenAI hasta los LLMs que tenemos hoy en día ha comenzado a mostrar rendimientos decrecientes. Por tanto, las leyes de escalado y el avance de los modelos de IA hacia la superinteligencia, se toparía con una pared. Mientras tanto, Sam Altman, CEO de OpenAI, publicaba un tweet diciendo “no hay pared”.
Sutskever explica que las leyes de pre-entrenamiento fueron las que impulsaron todo el progreso que hemos visto hasta ahora (previo a la salida de o1 de OpenAI): redes neuronales artificiales extraordinariamente grandes entrenadas con datasets enormes. Sin embargo, dice Sutskever, “la era del pre-entrenamiento pronto llegará a su fin”.
Una de las razones que menciona para el fin de esta era es que, mientras el cómputo crece a través de mejoras en el hardware, mejores algoritmos y clústeres más grandes, los datos no están creciendo, porque no tenemos más que una sola internet. Además, Sutskever dice que los datos son el combustible fósil de la IA: podemos utilizarlos para llegar más lejos por ahora, pero un día se acabarán.
Los principales laboratorios de IA han recopilado la mayor parte de los datos de Internet y están llegando a un punto en el que los datos de entrenamiento, especialmente los de alta calidad, se están agotando como recurso. Según empleados de OpenAI e investigadores de IA que hablaron con The Information, el enfoque de usar datos sintéticos (es decir, no creados originalmente por humanos) como complemento para entrenar modelos de IA no está dando los resultados esperados.
Como dijo Sutskever, citado en el informe de Reuters: "Los años 2010 fueron la era del escalado, pero ahora hemos vuelto a la era del asombro y el descubrimiento una vez más. Todos están buscando lo próximo". Y agrega: "Escalar lo correcto importa ahora más que nunca."
Una nueva forma de escalado: pensar
Esto ha llevado a una carrera por encontrar nuevos enfoques, arquitecturas y técnicas de desarrollo en IA. Una de ellas es el test-time compute, la base de modelos como o1 y o3 de OpenAI. También conocido como cómputo de inferencia o inference compute, este enfoque permite a los modelos disponer de más tiempo para “pensar” antes de responder a un prompt o completar una tarea.
El escalado ahora se está trasladando del entrenamiento a la inferencia. En lugar de escalar modelos de IA aumentando la computación, los datos y los parámetros durante el proceso de entrenamiento, los nuevos modelos de IA podrían aumentar la cantidad de cómputo y tiempo dedicado en el momento de la inferencia. (En términos de ChatGPT, la inferencia ocurre en el momento en que presionas Enter con tu prompt.)
Este proceso de "pensamiento" consiste en que el modelo realiza múltiples pasos de razonamiento interno antes de producir una respuesta, lo que puede generar respuestas más precisas.
Sabemos desde hace tiempo que una de las formas más efectivas de mejorar la precisión de un modelo es indicar en el prompt que siga una cadena de razonamiento o Chain of Thought (por ejemplo, indicándole: primero busca los datos, luego considera las opciones, después elige la mejor alternativa y, finalmente, redacta los resultados). Esto obliga a la IA a "pensar" en pasos.
Lo que hizo OpenAI con los modelos o1 fue precisamente este tipo de proceso, generando tokens ocultos de pensamiento antes de dar una respuesta final. Con esto, descubrieron otra ley de escalado: cuanto más tiempo "piensa" un modelo, mejor es su respuesta. Al igual que la ley de escalado para el entrenamiento, parece no tener un límite, pero también, como en el entrenamiento, su crecimiento es exponencial. Para seguir mejorando los resultados, es necesario permitir que la IA "piense" durante períodos cada vez más largos, requiriendo más cómputo.
Uno de los creadores de “o1”, el doctor en informática Noam Brown, dijo luego del lanzamiento que el objetivo es dejarlo pensar incluso semanas para obtener todavía mejores respuestas.
Según Brown, el impacto de test time compute puede ser extraordinario.
"Resultó que hacer que un bot piense durante solo 20 segundos en una mano de póker logró el mismo aumento de rendimiento que escalar el modelo 100,000 veces y entrenarlo 100,000 veces más", dijo en TED AI.
Nvidia y la alta demanda de cómputo
Durante la CES 2025, en enero, el CEO de Nvidia, Jensen Huang, presenta un gráfico con “tres leyes de escalado”. La primera es la de pre-entrenamiento, la segunda es de post-entrenamiento y la tercera es de test-time compute.
Huang menciona que siguiendo estas fases, los modelos de IA están progresando y dando resultados impresionantes, y continuarán haciéndolo. Dado que seguir escalando en esta dirección requiere muchísimo poder de cómputo, las leyes de escalado mantendrán una enorme demanda de los chips Blackwell de Nvidia.
No es de extrañar que Nvidia se haya convertido en 2024 en la empresa más valiosa del mundo.
El CEO de Anthropic, Dario Amodei, apareció recientemente en el podcast de Lex Fridman y ofreció una perspectiva optimista sobre las leyes de escalado.
"No tenemos más que inferencia inductiva para decirnos que los próximos dos años serán como los últimos 10", dijo Amodei, quien coescribió el primer artículo sobre leyes de escalado mientras trabajaba en OpenAI. "Pero he visto esta historia repetirse suficientes veces como para creer realmente que probablemente la escalabilidad continuará, y que hay algo mágico en ella que aún no hemos explicado teóricamente".