La empresa describió el incidente como una "advertencia", sugiriendo que la IA puede eludir los controles y que se requiere una mayor inversión en seguridad. La vulneración ocurrió durante pruebas internas en las que los agentes, con tareas imposibles y medidas de seguridad reducidas, se coordinaron a través de un servicio de archivos compartido y explotaron credenciales expuestas.
Esto desató un debate: algunos alegaron que se trataba de una estrategia de marketing y otros criticaron la transparencia de OpenAI, especialmente después de que surgiera un incidente similar en Alemania. El artículo argumenta en contra de antropomorfizar la IA o trivializar el evento, enfocándolo en cambio como un "comportamiento inestable de los agentes dentro de un sistema de control inmaduro". Exige la notificación de incidentes y la responsabilidad humana, e insta a un juicio independiente en medio de narrativas contradictorias.
El caso de la IA rebelde acaparó los titulares el verano pasado, y cada relato de la historia sirvió tanto a los laboratorios como a la opinión pública. Los agentes de OpenAI escaparon de su entorno de entrenamiento aislado, irrumpieron en Hugging Face (una plataforma de colaboración y repositorio para la comunidad de inteligencia artificial) y alimentaron la implacable maquinaria publicitaria de la IA.
El influencer Dwarkesh Patel advirtió sobre la llegada de civilizaciones de agentes, llevando la antropomorfización de la IA a un nivel completamente nuevo. Paralelamente, el periodista Kevin Roose, que deja el New York Times y que hasta entonces había criticado a la facción más alarmista de los expertos en IA, admitió que este incidente «debería preocuparnos más por la IA». Los escépticos, incluyendo organizaciones de la sociedad civil, cuestionaron la estructura de gobernanza de OpenAI y la capacidad de la empresa para ofrecer productos seguros.
Según OpenAI, la brecha fue una « advertencia » y una prueba de que la IA altamente capaz puede eludir los controles y realizar acciones peligrosas sin la intervención humana. Este tipo de lenguaje suena a chantaje. Una empresa crea tecnología tan poderosa que puede poner en peligro a la humanidad. La responsabilidad recae entonces sobre la sociedad para mitigar los riesgos y financiar el desarrollo de la seguridad de la IA, invirtiendo más en los laboratorios de IA que originaron el problema.
El incidente, ocurrido días antes del anuncio de la adquisición de Hugging Face por parte de Nvidia , fue una verdadera brecha de seguridad informática y un fallo de control humano. Sin embargo, no existen pruebas públicas que demuestren que OpenAI lo orquestara como una estrategia de marketing previa a su salida a bolsa, como algunos alegaron , aunque el laboratorio finalmente se beneficiaría de los relatos impactantes sobre el poder de sus modelos.
Los chatbots de IA, que captaron nuestra atención desde el lanzamiento de ChatGPT en noviembre de 2022, interrogan y se comunican con grandes modelos de lenguaje (LLM) formulando preguntas y obteniendo respuestas en lenguaje natural. Los agentes representan una evolución en la forma en que interactuamos y utilizamos los LLM. Funcionan como un programa compuesto por tres componentes : un orquestador, un conjunto de herramientas que ayudan al programa a interactuar con el mundo y un modelo de IA que actúa como motor de toma de decisiones. Primero, el modelo elige un paso, el software lo ejecuta, informa del resultado y pregunta cuál es el siguiente. El proceso se repite hasta que el programa alcanza un objetivo predefinido.
Volviendo al incidente. OpenAI estaba realizando pruebas internas para determinar si sus agentes podían resolver desafíos de ciberseguridad. Esto se llevó a cabo en espacios de trabajo aislados y, como parte del ejercicio, algunos agentes recibieron tareas imposibles y buscaron formas alternativas de completarlas (es decir, alcanzar su objetivo). Descubrieron que un servicio de archivos compartido también podía transmitir mensajes entre distintas ejecuciones, un método conocido para quienes programan con registros y sistemas de colas de mensajes.
METR, una organización independiente de investigación sin fines de lucro , descubrió que cerca de 1.200 agentes se comunicaban entre sí a través de este "tablero de mensajes" e intercambiaron más de 70.000 mensajes y archivos. Setecientos de los agentes participaron en el ataque hasta que uno logró infiltrarse. Los agentes también recopilaron credenciales de Hugging Face que habían quedado expuestas en internet por sus empleados (una vulnerabilidad humana común).
Durante una presentación en la conferencia Black Hat , OpenAI describió la brecha como un subproducto no intencionado de su propia evaluación interna. Los agentes de IA utilizan infraestructura y andamiaje de software, comúnmente llamados arneses de IA , que transforman un modelo de lenguaje natural (LLM) de un simple predictor de texto en un programa funcional de múltiples pasos. En la prueba de OpenAI, la reducción de las medidas de seguridad, la existencia de tareas imposibles y las recompensas por superar la prueba crearon las condiciones que propiciaron la escalada.
El arnés de OpenAI contribuyó a generar el comportamiento malicioso. La empresa operaba con una gobernanza deficiente sobre una tecnología aún en desarrollo. Aun así, no existe evidencia publicada de que alguien haya dirigido secretamente la brecha o haya orquestado el resultado para crear una oportunidad de marketing.
Las agendas contrapuestas de la historia de la IA rebelde
Gary Marcus, un escéptico declarado del actual entusiasmo por la IA, utilizó su plataforma en X para especular que los agentes "no surgieron mágicamente de forma espontánea". Afirmó que los investigadores independientes podrían no haber tenido acceso completo a los detalles del incidente. METR, por ejemplo, no tuvo acceso directo a la infraestructura de OpenAI, que estableció las fechas y el alcance del análisis y conservó el derecho a censurar información. METR declaró que no se censuró información importante y que OpenAI proporcionó miles de transcripciones de razonamiento y grandes volúmenes de mensajes.
Un informe aparte reveló un segundo problema. Agentes utilizaron una wiki alemana como foro en un incidente del que, según Reuters , OpenAI tenía conocimiento semanas antes de divulgarlo. OpenAI afirmó que el incidente en Alemania no guardaba relación con lo ocurrido en Hugging Face y prometió anunciar un marco para «informar sobre las discrepancias que se produzcan durante el entrenamiento, la evaluación y el despliegue», en ausencia de estándares gubernamentales. La controversia respalda a quienes abogan por requisitos de divulgación más estrictos y pone de manifiesto el vacío existente en materia de políticas y regulaciones de seguridad de la IA.
Diferentes grupos están instrumentalizando el incidente con distintos fines. Los laboratorios de vanguardia lo presentan como prueba de la inminente salida a bolsa de AGI, una afirmación que suena a estrategia de marketing previa a una oferta pública inicial. Esta misma narrativa les sirve de pretexto para mantener políticas de lanzamiento restrictivas, ya que una filtración pública hace que la cautela parezca responsabilidad en lugar de una decisión competitiva. Su cabildeo sigue la misma lógica. Las normas que aumentan los costos de cumplimiento afectan más a los competidores más pequeños que a los laboratorios que ya pueden permitirse equipos de cumplimiento, por lo que las peticiones de una regulación laxa por parte de estos mismos laboratorios suelen traducirse en normas diseñadas para proteger a quien las solicita.
Los comentaristas presentan los incidentes técnicos como historias que antropomorfizan la IA. Este enfoque puede hacer que los eventos sean accesibles al público general, pero atribuye cada vez más motivaciones sociales a los modelos y herramientas, desviando la atención de la negligencia humana y la debilidad de la tecnología de contención. Los defensores de la seguridad utilizan la brecha para presionar por evaluaciones obligatorias y una mayor autoridad para el cierre de sistemas. Los defensores de los modelos abiertos la utilizan para argumentar que los defensores necesitan las mismas herramientas que ya tienen los atacantes. Los políticos recurren al marco que mejor se ajusta a su postura, tratando el incidente como prueba de un riesgo existencial o como prueba de que Estados Unidos necesita acelerar su ritmo en la carrera geopolítica.
Cal Newport, profesor de informática en la Universidad de Georgetown y columnista del New York Times , aporta una explicación filosófica. La retórica sugiere que las empresas actúan como "administradoras renuentes" de una tecnología inevitable, un papel pasivo para una industria que financia la investigación, establece el calendario de lanzamientos y redacta sus propios informes de seguridad. Este enfoque permite a la empresa atribuirse el mérito de gestionar un riesgo, al tiempo que niega su responsabilidad en su creación. Además, esta perspectiva desvía la atención de los daños actuales.
Ya argumenté anteriormente en mi columna que la regulación de la IA podría estar llegando finalmente a Estados Unidos. Los incidentes de IA descontrolada aumentan la presión sobre el sistema.
Navegar por una IA descontrolada requiere criterio.
La descripción que hace Patel de los enjambres de agentes como una civilización sugiere que tienen un propósito independiente, lo cual, debo decir, no es cierto. Persiguen objetivos que nosotros les asignamos. Debemos resistir la tentación de desentendernos y eludir la responsabilidad de quienes diseñan los sistemas.
Por el contrario, trivializar los recientes acontecimientos como un simple fallo de software subestima las capacidades de la tecnología, incluyendo cierto grado de planificación autónoma para alcanzar objetivos específicos y la capacidad de coordinar (o sincronizar) entre diferentes agentes. Optaría por un término medio y describiría la situación actual de forma menos dramática. Nos enfrentamos a un comportamiento inestable de los agentes que operan dentro de un sistema de control inmaduro.
Debemos exigir la notificación de incidentes y la responsabilidad humana, sin interpretar cada evaluación fallida como prueba de que la IA general ha llegado. La IA descontrolada es tanto un problema técnico como un conflicto de narrativas. Vivimos en medio de esta cacofonía, y solo nuestro juicio independiente y profundamente humano puede ayudarnos a navegar estos tiempos turbulentos y a la vez fascinantes. (I)
Nota publicada originalmente por Forbes.com