Nvidia lanza una nueva plataforma de seguridad para evitar que los agentes de IA "se descontrolen"
Nvidia presentó el lunes un nuevo sistema de seguridad que, según la propia compañía, puede impedir que los agentes de IA vulneren sus entornos de prueba y accedan sin autorización a sistemas externos. El anuncio llegó apenas unas semanas después que el CEO del fabricante de chips de IA, Jensen Huang, minimizara la preocupación por las recientes brechas de seguridad y rechazara la necesidad de frenar el desarrollo de la IA.

Siladitya Ray

Datos clave

  • En un comunicado, Nvidia afirmó que su "Plataforma abierta de seguridad de agentes" es un sistema de referencia diseñado para reforzar la seguridad de la IA, tanto durante las pruebas como en el despliegue de nuevos agentes.
  • La compañía señaló que los "recientes incidentes de seguridad" dejaron en evidencia la necesidad de un sistema de este tipo, que permita a las empresas de IA "ejercer un mayor control sobre los agentes que llevan mucho tiempo funcionando".
  • Aunque el anuncio no precisó ningún incidente en particular, un funcionario de Nvidia declaró a varios medios que la nueva plataforma podría haber evitado que un agente de OpenAI violara los protocolos de prueba en julio y vulnerara Hugging Face sin que recibiera instrucciones para hacerlo.
  • El sistema de seguridad consta de dos partes: "Nvidia OpenShell", que establece "límites para los agentes" que operan en las CPU, y "Sentry", que funciona en los chips BlueField de la propia compañía y "pone en cuarentena y detiene" cualquier intento de los agentes de IA de superar los límites establecidos.
  • El anuncio mencionó a varias empresas, entre ellas Microsoft, Palantir, SpaceXAI y CrowdStrike, como ejemplos de compañías que trabajan con los nuevos sistemas de seguridad de Nvidia, aunque OpenAI no apareció entre las compañías mencionadas.
  • El fabricante de chips aseguró que colaboró con Anthropic para incorporar "capas adicionales de seguridad y control" al conjunto de agentes de IA de Claude.

¿Qué dijo Huang recientemente sobre la seguridad de la IA?

Huang se mostró en contra de la presión para aumentar la regulación gubernamental sobre las empresas de IA y de los intentos por coordinar una desaceleración en el desarrollo de sistemas avanzados. A principios de este mes, durante el evento anual Dreamforce de Salesforce, afirmó que elegir entre seguridad y velocidad en la IA planteaba una disyuntiva "falsa".

"Definitivamente se pueden tener ambas cosas al mismo tiempo", aseguró. Luego añadió: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones".

Huang también respaldó a Donald Trump cuando el presidente norteamericano lo llamó en vivo durante la Cumbre All-In, en San Francisco, y descartó los temores sobre la seguridad de la IA como un engaño. 

En la llamada, Trump sostuvo que quienes se oponían a la IA y a la construcción de centros de datos estaban "cayendo en la trampa" de los escépticos y de China, y afirmó: "No vamos a permitir que eso suceda". Huang le respondió al presidente: "Tenés razón. No vamos a permitir que eso suceda, señor".

Ante los temores de que una IA avanzada pudiera provocar la extinción humana antes de que termine la década, Huang declaró a CBS News que existía un "0% de probabilidad" de que eso ocurriera.

Valoración de Forbes

Según las estimaciones de Forbes, Huang posee un patrimonio neto de US$ 194.900 millones, una fortuna que lo ubica como la séptima persona más rica del mundo. Su empresa, Nvidia, es la compañía con mayor valor de mercado a nivel mundial, con una capitalización bursátil de US$ 5,42 billones.

*Este artículo fue publicado originalmente por Forbes.com.