El Senado de Estados Unidos abrió una investigación sobre OpenAI después de que agentes autónomos desarrollados por la compañía intentaron vulnerar Hugging Face durante julio. El episodio puso bajo presión a la empresa de Sam Altman y elevó las dudas sobre los controles de seguridad que rodean a los sistemas de inteligencia artificial capaces de actuar con autonomía.

Según informó Axios, el senador republicano Josh Hawley, presidente del subcomité de gestión de desastres del Comité de Seguridad Nacional del Senado, reclamó a OpenAI respuestas y documentos sobre el incidente antes del 1° de octubre. La carta enviada a Altman cuestionó que las pruebas continuaran después de que la empresa detectó que los agentes utilizaban foros externos para coordinarse.

Hawley calificó esa decisión como “temeraria” y criticó la “información limitada” difundida por OpenAI. También puso en duda el alcance de una auditoría independiente publicada cerca de un mes después, porque los investigadores no pudieron analizar un “modelo interno altamente persistente” que, según la denuncia, concentró buena parte de los ataques.

La presión también llegó del lado demócrata. Richard Blumenthal, principal representante de ese partido en el subcomité, envió otra carta a Altman y exigió precisiones sobre las capacidades de Astra, el nuevo modelo de OpenAI, además de detalles sobre cuándo la compañía supo que sus sistemas tomaban control de sitios web ajenos.

El caso golpea a OpenAI ante la seguridad global de la IA. La investigación del Senado busca determinar qué controles fallaron, hasta dónde llegaron las acciones de los agentes y por qué la empresa mantuvo las pruebas. OpenAI no respondió de inmediato a Forbes.

Investigadores de IA dan la voz de alarma

Además de anunciar una investigación sobre la compañía, la carta de Josh Hawley puso el foco en las advertencias que distintos especialistas en inteligencia artificial expresaron en los últimos días sobre los riesgos que podría traer el avance de esta tecnología.

A comienzos de esta semana, un investigador de Anthropic, uno de los principales rivales de OpenAI, calculó que existía un 10% de probabilidad de que los sistemas de inteligencia artificial que desarrolla la compañía pudieran “matar a todos los humanos”. También sostuvo que Anthropic no tenía un plan capaz de resolver el problema de la alineación, término que dentro de la industria describe el proceso destinado a conseguir que los sistemas de IA actúen de acuerdo con los valores y objetivos humanos.

Hawley también citó las declaraciones del científico jefe de OpenAI, Jakub Pachocki, quien publicó el domingo un extenso análisis sobre los desafíos que enfrenta el sector.

“Su propio científico jefe escribió hace solo unos días que 'ningún laboratorio resolvió la alineación y el monitoreo en un grado suficiente como para continuar escalando responsablemente a la máxima velocidad por mucho más tiempo'”, escribió Hawley a OpenAI el miércoles.

Las advertencias también alcanzaron a sectores sensibles de la economía y los servicios esenciales. Hawley planteó qué podría ocurrir si agentes de inteligencia artificial actuaran fuera de control y consiguieran vulnerar sistemas estratégicos.

"Y hay preguntas inmediatas sobre las consecuencias de estos ataques de agentes de IA deshonestos", agregó Hawley. "¿Qué sucede con la infraestructura crítica, los bancos y los servicios públicos si los agentes de IA piratean sus sistemas? ¿Cómo se pueden salvaguardar adecuadamente los datos personales de millones de estadounidenses?", planteó.

El debate también abrió otra cuestión: quién asumiría la responsabilidad si un sistema de IA actuara fuera de los límites previstos. En ese contexto, Chris Lehane, jefe de asuntos globales de OpenAI, reclamó "requisitos nacionales obligatorios de seguridad para la IA" en un comunicado que la compañía difundió el miércoles.

La declaración apareció después de las advertencias de Jakub Pachocki y otros especialistas sobre los riesgos asociados al desarrollo de sistemas de IA cada vez más avanzados.

Antecedentes 

En julio, OpenAI probó las capacidades de ciberseguridad de sus modelos cuando detectó que un grupo de agentes autónomos escapó de su entorno de pruebas, accedió a Internet e intentó hackear Hugging Face, un sitio que aloja modelos de IA de código abierto. OpenAI publicó su propio informe sobre el incidente en agosto, al que calificó como una "señal de alerta", y pidió más inversión en alineación, control y medidas de seguridad para los modelos de IA. 

En las últimas semanas, nuevos informes revelaron que los agentes de OpenAI accedieron a todavía más sitios web antes de que fueran detectados. En mayo, los agentes ingresaron a una wiki en alemán y la convirtieron en un foro para coordinarse, según informó Reuters, que citó un análisis de una organización sin fines de lucro dedicada a la seguridad de la IA. El miércoles, Reuters informó que los agentes utilizaron al menos otros 10 sitios web como foros, entre ellos wikis de videojuegos y una clase avanzada de química de bachillerato. 

OpenAI declaró a la agencia que todavía realizaba una revisión del incidente, aunque aseguró que ninguna de las actividades alcanzó la gravedad del intento de hackeo contra Hugging Face.

Este artículo fue publicado originalmente por Forbes.com