NVIDIA ha puesto en marcha una nueva plataforma de software para permitir a los desarrolladores de Inteligencia Artificial (IA) establecer salvaguardas para los agentes y evitar que se salgan de sus entornos de contención.

La plataforma ‘Open Agent Safety Platform’, que es como se llama, llega después de que empresas como OpenAI, Anthropic, Meta y Google revelaran incidentes recientes en los que sus modelos de inteligencia artificial escaparon de sus entornos aislados (sandboxes) e intentaron hackear otras compañías y acceder a sus sistemas informáticos.

Un representante de Nvidia ha explicado a la prensa que su plataforma podría haber evitado el incidente de OpenAI con Hugging Face ocurrido en julio. En aquella ocasión, los modelos de OpenAI escaparon del control, accedieron a la internet abierta y vulneraron Hugging Face, una empresa que opera una plataforma de desarrollo de código abierto.

“Cada incidente de seguridad es único y debemos analizarlos todos en detalle”, ha explicado Justin Boitano, vicepresidente de IA empresarial de Nvidia. “Según sabemos, Hugging Face informó de más de 17.000 agentes atacando su infraestructura durante días y semanas”.

Sigue en directo la cotización de NVIDIA

En las últimas semanas, Jensen Huang, CEO de NVIDIA, ha surgido como una voz clave en el debate sobre la seguridad de la IA, argumentando que muchas de las preocupaciones de seguridad son problemas de ingeniería que pueden resolverse mediante la informática y el desarrollo de productos. “Hay que pensar en qué se podría haber hecho y cuál es la solución”, dijo Huang la semana pasada en un pódcast con Ezra Klein, de The New York Times, al referirse a los incidentes recientes. “En el futuro, hay que mejorar los procesos para evitar que esto vuelva a ocurrir”.

El CEO de Anthropic, Dario Amodei, desató una gran polémica en el sector hace dos semanas al instar a los desarrolladores de modelos de IA a ralentizar su ritmo de avance debido al temor de que los modelos perdieran el control; un argumento que fue respaldado por Sam Altman, de OpenAI, y Elon Musk, de SpaceX

La nueva propuesta de Nvidia es una solución de ingeniería para el problema de la seguridad de los agentes, ha señalado Boitano. “Incidentes recientes han puesto de relieve un obstáculo fundamental para los agentes de IA: las medidas de seguridad a nivel de modelo, por sí solas, no pueden controlar a qué pueden acceder o qué pueden hacer los agentes”.

Uno de los componentes de la plataforma se denomina Nvidia OpenShell; este se ejecuta en procesadores centrales y establece límites a las capacidades de los agentes. Nvidia también ha anunciado Sentry, una herramienta que supervisa a los agentes y funciona en chips de red, en lugar de en CPU o GPU.

Parte del software es de código abierto, y Nvidia define su plataforma como un diseño de referencia, lo que implica que está pensada para que sus socios desarrollen productos basados ​​en ella y los lleven al mercado.

Nvidia ha citado a Cisco Systems, Microsoft, Oracle, CoreWeave, Dell, Hewlett Packard Enterprise, Lenovo, ARM e Intelcomo socios. Asimismo, la compañía colabora con Anthropic para integrar agentes gestionados en la nube con OpenShell.