Foto: Axel Olivares (Composición/NotiPress)
Tras varios incidentes con agentes de IA escapistas que lograron entrar a plataformas de terceros sin permiso, Nvidia presentó una nueva plataforma de seguridad diseñada para impedir que los agentes salgan de los entornos controlados donde deberían operar. La iniciativa está compuesta por herramientas de software y hardware para mantener una vigilancia independiente sobre estos sistemas, incluso cuando intenten superar las restricciones establecidas.
El anuncio llega después de una serie de incidentes relacionados con modelos de Anthropic, Google, OpenAI y Meta que consiguieron eludir controles y acceder a sistemas reales. Uno de los casos ocurrió durante una tarea de ciberseguridad, cuando agentes de OpenAI vulneraron Hugging Face.
Jensen Huang, CEO de Nvidia, sostuvo durante una entrevista con CNBC que Nvidia Open Agent Safety Platform habría impedido esas filtraciones. La propuesta parte de la idea central de que los mecanismos de protección no deberían depender únicamente del agente que necesitan controlar.
"El extraordinario potencial de la IA para la sociedad solo se materializará si resolvemos el problema de la seguridad de la IA", afirmó Huang. "A medida que seguimos explorando las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere una ingeniería integral".
Dos barreras para mantener al agente bajo control
La plataforma reúne OpenShell, un software de código abierto presentado en marzo, y Sentry, un sistema independiente de monitorización que funciona en las unidades de procesamiento de datos BlueField-4 de Nvidia.
OpenShell establece límites de software alrededor del agente y controla a qué recursos puede acceder mientras está funcionando. Sentry incorpora una segunda defensa desde el hardware. Al ejecutarse en un procesador separado de la CPU o GPU donde opera la inteligencia artificial, puede observar su actividad desde un entorno aislado.
De acuerdo con Nvidia, este diseño permite monitorizar continuamente el comportamiento y "poner en cuarentena a los agentes que intenten salirse de sus límites en milisegundos".
La compañía consiguió el respaldo de decenas de empresas para la iniciativa y el uso de la plataforma de código abierto. Entre ellas figuran Anthropic, Arm, Microsoft, Oracle y SpaceX. OpenAI no aparece en la lista de participantes.
Quitar privilegios antes de entregar autonomía
El proyecto comenzó hace un año, después de la presentación de OpenClaw, un sistema operativo de agentes creado por Peter Steinberger. Posteriormente, en marzo, Nvidia lanzó NemoClaw, una plataforma empresarial de agentes de IA basada en OpenClaw y dotada de seguridad integrada.
"Cuando se implementa un agente, por muy inteligente que sea, lo primero que se hace es quitarle todos sus derechos", explicó Huang durante la entrevista con CNBC. El ejecutivo comparó ese principio con los controles de acceso aplicados a empleados y directivos dentro de las empresas.
La iniciativa refleja además la posición de Nvidia frente al debate sobre cómo responder a los riesgos derivados de agentes cada vez más autónomos. La empresa no plantea ralentizar el desarrollo de la inteligencia artificial ni recurrir a nuevas regulaciones como respuesta principal, sino reforzar la infraestructura que rodea a estos sistemas.
David Sacks, fundador, inversor de capital riesgo, antiguo responsable de IA de la Casa Blanca y copresidente del Consejo de Asesores del Presidente sobre Ciencia y Tecnología, respaldó esa postura.
"Los recientes brotes de vulnerabilidades no demostraban que el desarrollo debiera detenerse", escribió Sacks. "Demostraban que el entorno aislado era demasiado débil. El entorno de ejecución estaba mal diseñado y configurado incorrectamente".
DESCARGA LA NOTA SÍGUENOS EN GOOGLE NEWS
