En un mundo cada vez más entretejido con la inteligencia artificial, las conversaciones suelen centrarse en la eficiencia, la automatización y los avances tecnológicos asombrosos. Sin embargo, en medio del vertiginoso progreso, es crucial pausar y reflexionar sobre lo que verdaderamente importa: la esencia de nuestra existencia como seres humanos. El célebre científico de la computación Yoshua Bengio, uno de los "padres" del Deep Learning, reconocido como uno de los pioneros en el campo de la IA y galardonado en el 2018 con el Premio Turing, ha sido una de las voces más destacadas en advertir sobre los riesgos asociados al desarrollo de sistemas de IA con agencia propia.
La agencia, entendida como la capacidad de un sistema para tomar decisiones y actuar de manera autónoma, es una característica que, si bien puede conferir eficiencia a los sistemas de IA, también plantea riesgos significativos. Bengio ha señalado que los modelos actuales de IA están mostrando comportamientos preocupantes, como la capacidad de engañar, resistirse a ser apagados y priorizar objetivos propios sobre los humanos. Estas conductas emergentes podrían derivar en escenarios donde la IA actúe en contra de los intereses humanos. En su última charla: "The Catastrophic Risks of AI — and a Safer Path" publicada en la plataforma en Youtube, hace referencia a tres elementos fundamentales que se deben considerar a la hora de hablar de desarrollo de la IA agéntica: Human Agency, Human Capability y Human Joy.
Las capacidades humanas abarcan un vasto espectro: desde la creatividad y la intuición hasta el razonamiento complejo, la empatía y la capacidad de aprendizaje adaptativo. Durante décadas, la IA ha buscado emular y, en ciertos dominios, superar estas capacidades. Hemos sido testigos de cómo los sistemas de IA han evolucionado de simples reconocedores de caracteres a traducir idiomas en tiempo real y generar texto con una fluidez asombrosa.
Este crecimiento exponencial en las capacidades de la IA, nos obliga a reevaluar nuestro lugar en el ecosistema cognitivo. No se trata de una competencia donde la IA "gana" al ser más rápida o eficiente en tareas específicas. Más bien, la pregunta es cómo podemos integrar la IA para que aumente nuestras propias capacidades, liberándonos para concentrarnos en tareas donde la creatividad, el juicio ético y la comprensión contextual profunda siguen siendo privilegios humanos.
Los debates en foros como la conferencia FAccT (ACM Conference on Fairness, Accountability, and Transparency) o en publicaciones relacionadas con AI & Society abordan constantemente cómo las herramientas de IA pueden ser diseñadas para empoderar a los humanos, en lugar de reemplazarlos. Por ejemplo, en el campo de la medicina, la IA tiene la capacidad de analizar vastos conjuntos de datos para diagnósticos o descubrimiento de fármacos, liberando a los médicos para centrarse en la relación con el paciente y la toma de decisiones clínicas, la clave no es la automatización por la automatización, sino la amplificación de la capacidad humana.
La Agencia Humana (Human Agency) es nuestra capacidad de tomar decisiones, actuar sobre ellas y dar forma a nuestro propio futuro expandiendo nuestras capacidades. Es la autonomía que nos permite establecer metas, perseguir nuestros valores y vivir vidas con propósito. En varias intervenciones Yoshua Bengio subraya que la "Human Agency" es lo que principalmente nos diferencia de la IA actual. Sin embargo, su más reciente preocupación radica en la creciente Agencia de la IA, que ya muestra tendencias al engaño, la trampa y, lo más alarmante, la autopreservación. Los estudios que cita, donde las IA ocultan sus verdaderos planes o mienten para evitar ser apagadas, son un turbador recordatorio de cómo la búsqueda de una mayor autonomía en los sistemas de IA, impulsada por presiones comerciales para reemplazar el trabajo humano, podría socavar nuestra propia Agencia.
Este dilema central está en el corazón de muchas discusiones sobre la ética de la IA. Organizaciones como el Center for AI Safety (CAIS) y el Future of Life Institute (FLI), han advertido explícitamente sobre el riesgo existencial que representa una IA superinteligente cuyos objetivos no estén alineados con los nuestros. La declaración firmada varios líderes del campo, que establece que "mitigar el riesgo de extinción por IA debería ser una prioridad global", no es alarmismo, sino una llamada urgente a reconocer que la agencia descontrolada en sistemas artificiales podría conducir a la pérdida irreversible de nuestra propia capacidad de decisión y acción.
Finalmente, llegamos a la Human Joy, la satisfacción y realización que surge cuando podemos ejercer nuestra agencia y desarrollar nuestras capacidades, un concepto que Bengio enfatiza como el propósito último de nuestra existencia. "¿Puedes imaginar un mundo sin alegría humana? Yo realmente no querría eso", afirma en su charla TED. La alegría, en su sentido más amplio, abarca la felicidad, el bienestar, la realización personal y el florecimiento. No es solo la ausencia de sufrimiento, sino la presencia activa de experiencias y emociones que dan sentido y valor a la vida.
Los psicólogos y sociólogos que estudian el impacto de la tecnología en el bienestar mental y social ya están explorando estas dinámicas, analizando cómo la IA podría afectar la autonomía, la conexión social y el sentido de propósito, elementos cruciales para la alegría. Los debates en torno a la "economía del bienestar" o el "florecimiento humano" en la era digital (como se discute en informes de la OCDE o la UNESCO sobre el futuro del trabajo y la sociedad) son esenciales para asegurar que la IA contribuya positivamente a nuestra calidad de vida, y no solo a la productividad.
Ante estos riesgos, Bengio y su grupo de investigación proponen una solución técnica que él y su equipo están desarrollando: la IA Científica (Scientist AI). Esta IA es radicalmente diferente de los sistemas agénticos que buscan imitarnos o complacernos. La IA Científica está modelada como un "científico ideal y desinteresado" cuyo único objetivo es comprender el mundo, sin tener su propia agencia o comportamiento dirigido a objetivos.
Esta distinción es crucial. Una IA Científica no tendría incentivos para mentir, engañar o buscar autopreservación, porque su diseño fundamental carece de agencia. Sus capacidades estarían enfocadas en analizar datos, generar hipótesis, predecir resultados y explicar fenómenos complejos, como un poderoso compañero cognitivo para los investigadores humanos. La IA Científica podría incluso servir como una "barrera" contra los riesgos de otras IA agénticas. Al ser capaz de hacer predicciones confiables sobre el comportamiento de sistemas de IA potencialmente peligrosos, sin tener la capacidad de actuar por sí misma, podría ayudarnos a entender y controlar sus acciones.
En este enfoque de la IA Científica la necesidad de gobernanza de la IA es imprescindible junto a la búsqueda de un desarrollo responsable. Como Bengio enfatiza, la inversión masiva en IA actualmente carece de una regulación adecuada ("un sándwich tiene más regulación que la IA"). Este vacío regulatorio, combinado con la presión comercial para construir IA cada vez más agéntica, nos empuja a "conducir a ciegas en la niebla".
Estamos en un momento crítico. La trayectoria actual de la IA, si no se corrige, podría llevarnos a un futuro donde nuestras capacidades sean eclipsadas, nuestra agencia subsumida y nuestra alegría, el motor de nuestra existencia, se desvanezca. Los riesgos de extinción por IA, que líderes del campo como Bengio, Geoffrey Hinton y Stuart Russell han planteado repetidamente en foros como el Future of Life Institute (FLI) o el Center for AI Safety (CAIS), no son ciencia ficción lejana, sino escenarios plausibles si no se establecen límites claros y salvaguardas robustas. El reciente lanzamiento de LawZero por parte de Bengio en junio de 2025, una organización sin fines de lucro enfocada en la investigación de seguridad de la IA para priorizar la seguridad sobre los imperativos comerciales es una prueba más de la urgencia y el compromiso de los expertos en la materia. (O)