Elon Musk admitió que xAI usó en parte modelos de OpenAI para entrenar a Grok y reabrió el debate sobre la llamada "destilación" entre empresas de IA
Elon Musk admitió que xAI utilizó parcialmente modelos de OpenAI para entrenar a Grok, su chatbot de inteligencia artificial integrado a X. La declaración colocó en el centro del debate una práctica conocida como "destilación", usada para desarrollar nuevos modelos a partir de respuestas generadas por otros sistemas.
Durante su comparecencia ante un tribunal federal de California el jueves 30 de abril, Musk fue consultado sobre si xAI había usado técnicas de destilación en modelos de OpenAI. El empresario respondió primero que se trataba de una práctica común entre empresas de inteligencia artificial. Cuando se le preguntó si eso significaba "sí", Musk contestó: "En parte".
La declaración ocurre en el juicio iniciado por Musk contra OpenAI, su director ejecutivo Sam Altman y el presidente de la empresa, Greg Brockman. La demanda sostiene que los directivos violaron la misión original sin fines de lucro de OpenAI al convertir la entidad en una empresa con fines de lucro.
[img1]
Musk exige una indemnización de 130,000 millones de dólares y pide que OpenAI regrese a su estructura original sin fines de lucro, además de la destitución de Altman y Brockman de la junta directiva.Cabe recordar que Musk fue uno de los fundadores de OpenAI junto a Altman y Brockman en 2015.
La destilación en el mundo de la inteligencia artificial (especialmente en Deep Learning y LLMs) es una técnica de optimización y compresión que consiste en transferir el conocimiento de un modelo de IA grande y complejo (el "profesor" o teacher) a un modelo más pequeño y ligero (el "estudiante" o student).
El objetivo principal es lograr que el modelo estudiante imite las predicciones y el comportamiento del modelo maestro, manteniendo un rendimiento alto pero siendo mucho más rápido, barato y eficiente en recursos computacionales.
El caso puso en el centro de la escena cómo los laboratorios de inteligencia artificial entrenan sus sistemas, sobre todo después de que OpenAI y Anthropic emprendieran una ofensiva contra terceros que usan chatbots y API públicas para entrenar modelos mediante destilación.
Varias plataformas han avanzado en una iniciativa mediante el Frontier Model Forum para compartir información sobre intentos de extracción de datos atribuidos a China. Estos intentos suelen incluir consultas sistemáticas a modelos con el fin de entender su funcionamiento interno.
Hasta hace un tiempo, esa conversación se había concentrado en empresas chinas que emplean estas técnicas para crear modelos de peso abierto. Estos modelos pueden acercarse al desempeño de desarrollos estadounidenses, pero con costos menores.
Sin embargo, el testimonio de Musk amplió el alcance del debate hacia laboratorios estadounidenses. La práctica preocupa a los grandes desarrolladores de IA porque reduce la ventaja obtenida mediante grandes inversiones en infraestructura informática. Por medio de la destilación, otros equipos pueden crear modelos casi igual de capaces con menores costos de entrenamiento. Ante las declaraciones de Musk, OpenAI no ha hecho comentarios.