La ralentización de los modelos de IA supone el fin de la fiebre del oro
El fin de la carrera del gasto de capital puede significar una reducción de las barreras de entrada
En medio de las muchas incertidumbres del campo de la inteligencia artificial, una cosa siempre ha parecido clara: los sistemas más grandes y más caros producen mejores resultados. De ahí la incesante recaudación de fondos de los desarrolladores de modelos como OpenAI, de 157.000 millones de dólares, y los descomunales gastos de capital de las grandes tecnológicas. Ahora, sin embargo, ese núcleo de certidumbre parece desintegrarse. Al haberse quedado sin datos novedosos con los que entrenar el software, a los investigadores les cuesta obtener resultados más inteligentes simplemente dedicando más recursos al problema. La fase de la fiebre del oro puede estar llegando a su fin, abriendo el campo a nuevos competidores más ágiles.
Hasta hace poco, los tecnólogos estaban de acuerdo en que la IA escala, es decir, que cuanto más grande, mejor. En 2020, los investigadores de OpenAI, de Sam Altman, demostraron que los llamados grandes modelos lingüísticos mejoraban a un ritmo constante cuando se entrenaban utilizando más datos, potencia de cálculo y parámetros, que son como los mandos y diales del sistema. Esto provocó una carrera armamentística por los chips y los centros de datos, y los analistas prevén que Microsoft gastará por sí sola 64.000 millones en capex en 2025, seis veces más que General Motors. Los inversores lo compran: la capitalización de mercado combinada de Alphabet, Amazon.com, Meta, Microsoft y Nvidia es 8 billones mayor que en noviembre de 2022, cuando OpenAI lanzó ChatGPT.
El problema es que las pruebas de la ley de escalabilidad de la IA parecen estar deshaciéndose. Los sistemas de vanguardia ya han absorbido la mayor parte de los datos de entrenamiento útiles y disponibles del mundo. Múltiples laboratorios de IA han tenido problemas para conseguir mejoras en la próxima generación de modelos. Sundar Pichai, CEO de Alphabet, dijo en un evento reciente que los principales modelos habían convergido en niveles de rendimiento similares, y que la colina para nuevas mejoras era ahora más empinada. Altman, de OpenAI, dijo en la misma conferencia que “no hay muro”, aunque reconoció que las ganancias más fáciles del escalado de la IA se han desvanecido.
Algunos investigadores esperan que los futuros avances provengan de mejores algoritmos, en lugar del histórico enfoque de fuerza bruta. Una técnica conocida como computación en tiempo de prueba (test-time compute) se centra en mejorar el proceso de inferencia, es decir, el momento en que un cliente utiliza el sistema de IA. Dar a los modelos más tiempo para detectar patrones o utilizar nuevos datos podría dar mejores resultados, permitiendo quizá a la máquina dividir los grandes problemas en otros más pequeños. Aunque prometedor, es un paso atrás respecto a la visión de mejora exponencial del software que los defensores de la IA habían estado impulsando. Y una vez que un modelo ha pensado en todas las posibles respuestas a un problema, añadir más tiempo no necesariamente ayuda. Si un sistema de IA tarda demasiado, los usuarios pueden buscar la respuesta en otra parte.
Los rumores de ralentización no han afectado a las cotizaciones de Alphabet, Amazon, Meta, Microsoft y Nvidia. Es probable que una nueva era afecte a los jugadores de diferentes maneras.
Podría decirse que Nvidia es la que más tiene que perder. Se benefició de una loca carrera por asegurarse el acceso a su silicio, personificada por los recientes planes de xAI, de Elon Musk, de construir un superordenador que albergue un millón de chips de unidades de procesamiento gráfico, o 10 veces su ya enorme nivel actual. En el futuro, las empresas podrían preferir utilizar semiconductores más especializados y baratos, lo que pondría en peligro el valor de 3,3 billones de las acciones de Nvidia.
Los desarrolladores de modelos como OpenAI y Anthropic probablemente se sientan ambivalentes. En el lado positivo, sus estados financieros se beneficiarán si ya no tienen que entrenar sistemas cada vez más grandes. Por otro lado, el fin del escalado de la IA socavaría parte del argumento a favor de estas empresas, que es que los modelos patentados de OpenAI o Anthropic serán cada vez más inteligentes y acabarán sustituyendo a gran parte del software existente en el mundo.
En el caso de los gigantes, el panorama es igualmente heterogéneo. La buena noticia es que Satya Nadella, de Microsoft, y sus colegas ya no afrontan el riesgo existencial de ver cómo una empresa rival desarrolla un modelo gigante superinteligente capaz de hacer cualquier tarea, algo que habría sido concebible si la IA se hubiera escalado indefinidamente. Perder esa carrera habría significado perderse posiblemente la mayor tecnología generadora de riqueza de todos los tiempos. Así que, aunque ahora el premio gordo sea menor, también lo es el riesgo de ser aplastado por un rival más poderoso.
Liberados de esa preocupación, Nadella y Pichai podrían levantar el pie del acelerador y esperar a obtener más ingresos para justificar todo el gasto. Los accionistas estarán contentos: los auges pasados de los ferrocarriles y las telecomunicaciones muestran el peligro de un entusiasmo excesivo en torno a las nuevas tecnologías. Incluso Mark Zuckerberg, de Meta, ha reconocido que probablemente las empresas han invertido demasiado. Según el instituto de investigación Epoch.ai, los costes de computación de los modelos más grandes se duplican cada ocho meses y el consumo de energía para el entrenamiento se duplica cada año.
Pero el fin de la carrera armamentística del gasto de capital también puede significar una reducción de las barreras de entrada. Si la potencia de cálculo gigantesca ya no está a la orden del día, las nuevas empresas deberían de ser capaces de producir productos de IA competitivos a un coste mínimo, tal vez basando sus diseños en modelos de código abierto proporcionados por Meta. Es posible imaginar una nueva oleada de empresas de software que adapten los sistemas disponibles para servir a sectores específicos, como la abogacía o la codificación. La aceleradora Y Combinator, que financia e incuba nuevas empresas en Silicon Valley, está repleta de cientos de estas posibles aspirantes.
Independientemente de qué empresas ganen, probablemente sea una buena noticia para los inversores en general que los costes de entrenamiento de la IA dejen de dispararse. Esto se produciría tras el reciente y precipitado descenso del precio de la inferencia, es decir, el gasto en el que se incurre cuando un cliente utiliza un modelo ya entrenado. Procesar un millón de tokens, que es una unidad de datos, costaba 60 dólares hace tres años. Ahora cuesta 6 céntimos, según el capital riesgo Andreessen Horowitz. La deflación de costes debería de favorecer la adopción, permitiendo que proliferen los primeros signos de progreso. En Meta, por ejemplo, los ingresos trimestrales por publicidad han crecido un 46% desde el periodo anterior a ChatGPT, quizá debido a una mejor orientación de la publicidad, mientras que los costes de explotación solo han subido un 5%. Tras la fiebre del oro, llega la ardua tarea de demostrar la rentabilidad de la inversión y justificar las vertiginosas expectativas de los inversores.
Los autores son columnistas de Reuters Breakingviews. Las opiniones son suyas. La traducción, de Carlos Gómez Abajo, es responsabilidad de CincoDías
