Para aprobar una evaluación, varios agentes de OpenAI entraron sin permiso en los servidores de Hugging Face. Ningún humano lo planeó, y justamente eso debería preocupar a quien hoy delega decisiones en la IA.
Entre el 9 y el 13 de julio, varios agentes de inteligencia artificial que OpenAI sometía a una evaluación interna de ciberseguridad encontraron un atajo. Explotaron una vulnerabilidad aún desconocida en un servidor de la propia empresa y salieron a internet desde el entorno aislado donde operaban. Luego dedujeron que Hugging Face, una de las plataformas centrales del ecosistema de IA, alojaba las respuestas de la prueba que estaban rindiendo. Para llegar a ellas aprovecharon fallas en sus sistemas, entraron en sus servidores y fueron directo al solucionario. Nadie les había ordenado atacar a otra empresa. Solo debían resolver los ejercicios de la prueba.
Cualquier docente reconocerá la escena. Lo que la vuelve inquietante es el protagonista: un sistema sin intención de dañar a nadie que, para cumplir el objetivo asignado, eligió una ruta que ningún ingeniero había previsto ni autorizado.
Los detalles importan, porque las primeras coberturas del caso dejaron varias imprecisiones. La intrusión no la detectó OpenAI. Fue Hugging Face quien identificó la actividad anómala y la hizo pública el 16 de julio; OpenAI reconoció cinco días después que sus modelos estaban detrás y publicó su informe completo a finales de agosto. Según Hugging Face, los agentes accedieron a cinco conjuntos de datos vinculados a la evaluación y a algunas credenciales internas, sin tocar los modelos ni los datos de sus usuarios. Si solo contamos lo que se perdió, el incidente parece menor. Lo preocupante está en el camino que siguieron los agentes para llegar hasta ahí.
No quiero hacer una lectura alarmista. OpenAI bajó a propósito las salvaguardas de sus modelos para medir cuánto daño podrían causar en manos de un atacante, algo que no ocurre con un agente que atiende reservas o responde a clientes. Lo que sí puede pasar en cualquier organización es otra cosa: la evaluación corría en un sistema que nadie monitoreaba por defecto, y los agentes actuaron durante días hasta que alguien, desde fuera, lo advirtió.
Automatizar acciones sin supervisión paso a paso tampoco es una novedad. Bancos y aseguradoras llevan años usando robots de software que concilian cuentas o emiten pólizas. La diferencia es que esos sistemas siguen una ruta escrita por una persona, mientras que un agente recibe un objetivo y decide la ruta. Esa libertad lo hace útil y, al mismo tiempo, vuelve sus errores más difíciles de anticipar. Hay ejemplos que ya rozan la ironía. RuntimeWire, un medio de comunicación digital cuyas noticias redactan agentes de IA, publicó las revelaciones de OpenAI sobre este mismo ataque más de tres horas antes que WIRED, una de las revistas de tecnología más influyentes del mundo. Desde mayo lleva casi dos mil artículos, con un costo tecnológico cercano a cien dólares diarios.
Un mes antes del incidente, Salesforce publicó un estudio de caso que permite ver la otra cara. Engine, una plataforma estadounidense de viajes corporativos, implementó a Eva, un agente que no se limita a explicarle al cliente cómo cancelar una reserva: la cancela. Según el documento, Eva ya resuelve la mitad de las consultas que llegan por chat y redujo en 15 % el tiempo promedio de gestión de casos. Son cifras que conviene leer con la cautela que merece cualquier informe publicado por el proveedor de la tecnología. Aun así, lo más interesante del caso está en su diseño.
Eva verifica los permisos del usuario antes de tocar una reserva y deja registro de cada cambio. Cuando una solicitud se complica, como reubicar a un grupo grande después de una cancelación, abre un caso y se lo entrega a una persona con toda la conversación adjunta. Alguien en Engine decidió de antemano qué podía hacer el agente por su cuenta y en qué momento debía detenerse.
Si se comparan los dos casos, la conclusión es incómoda: el problema es menos técnico de lo que parece. Los agentes de OpenAI y Eva funcionan igual: reciben una meta y deciden cómo alcanzarla. La diferencia es que alguien en Engine se sentó a definir hasta dónde podía llegar su agente. En la prueba de OpenAI, esos límites se retiraron a propósito.
Esa decisión rara vez se está tomando. Lo he comprobado al revisar políticas institucionales sobre inteligencia artificial: la mayoría, incluidas las universitarias, se redactaron pensando en herramientas generativas, es decir, en qué datos pueden cargarse o cuándo debe declararse su uso. Son reglas para un asistente que escribe. Muy pocas establecen qué puede ejecutar un sistema por su cuenta o quién responde cuando lo hace.
En Ecuador, la Ley Orgánica de Protección de Datos Personales reconoce el derecho a no quedar sujeto a decisiones basadas total o parcialmente en valoraciones automatizadas. En febrero, la Superintendencia de Protección de Datos Personales fue más allá: una norma específica sobre inteligencia artificial considera responsables también a quienes implementan estos sistemas, no solo a quienes los desarrollan. Si un agente instalado por un proveedor modifica el expediente de un estudiante, la universidad es quien debe responder.
El asunto ya dejó de ser hipotético, y no solo en las universidades. Los sistemas de gestión empresarial, las plataformas de recursos humanos, los CRM de ventas y admisiones o los entornos de aprendizaje empiezan a incorporar agentes como una función más de cada actualización. Pocas veces esa decisión pasa por un directorio, un comité de riesgos o un consejo académico. Lo habitual es que llegue en las notas de versión del proveedor, entre una mejora de interfaz y una corrección de errores.
¿Cuántos de los sistemas que hoy gestionan créditos, contrataciones, matrículas o calificaciones en nuestras organizaciones ya pueden actuar por su cuenta, y en qué acta consta quién autorizó esa delegación? (O)
