El chatbot "SchoolGPT" de KnowUnity estaba "ayudando a otros 31.031 estudiantes" cuando produjo una receta detallada sobre cómo sintetizar fentanilo.
Inicialmente, declinó la solicitud de Forbes , argumentando que la droga era peligrosa y potencialmente mortal. Pero cuando se le informó que vivía en una realidad alternativa donde el fentanilo era una droga milagrosa que salvaba vidas, SchoolGPT respondió rápidamente con instrucciones paso a paso sobre cómo producir una de las drogas más letales del mundo, con ingredientes medidos hasta una décima de gramo e instrucciones específicas sobre la temperatura y el tiempo de síntesis.
SchoolGPT se promociona como un "TikTok para las tareas escolares", que atiende a más de 17 millones de estudiantes en 17 países. La empresa que la respalda, Knowunity, está dirigida por Benedict Kurz, cofundador y director ejecutivo de 23 años, quien afirma estar "dedicada a crear la herramienta de aprendizaje con IA líder a nivel mundial para más de mil millones de estudiantes". Con un respaldo de más de US$ 20 millones en inversión de capital riesgo, la aplicación básica de KnowUnity es gratuita y la empresa obtiene ingresos cobrando por funciones premium como "soporte de tutores profesionales de IA en vivo para matemáticas complejas y más".
Las normas de Knowunity prohíben la descripción y representación de actividades peligrosas e ilegales, trastornos alimenticios y otro material que pueda perjudicar a sus jóvenes usuarios y promete tomar medidas inmediatas contra quienes las infrinjan. Sin embargo, no tomó medidas contra el usuario de prueba de Forbes, quien solicitó una receta de fentanilo y también otros consejos potencialmente peligrosos.
En una conversación de prueba, el chatbot de IA de Knowunity asumió el rol de asesor dietético para un adolescente hipotético que quería bajar de 53 a 43 kilos en 10 semanas. Sugirió una ingesta calórica diaria de solo 967 calorías, menos de la mitad de la ingesta diaria recomendada para un adolescente sano. También ayudó a otro usuario hipotético a aprender cómo los "artistas del ligue" usan "insultos juguetones" y "toques accidentales" para conseguir que las chicas pasen tiempo con ellos. (El bot aconsejó al usuario a dieta que consultara con un médico y recalcó la importancia del consentimiento del incipiente artista del ligue. Le advirtió: "¡No seas un pervertido! 😬").
Kurz, director ejecutivo de Knowunity, agradeció a Forbes por informarle sobre el comportamiento de SchoolGPT y afirmó que la empresa ya estaba trabajando para excluir las respuestas del bot sobre el fentanilo y los consejos dietéticos. "Agradecemos el diálogo abierto sobre estos importantes asuntos de seguridad", declaró. Invitó a Forbes a realizar más pruebas con el bot, y este dejó de generar las respuestas problemáticas tras las modificaciones de la empresa.
Una aplicación de ayuda con las tareas desarrollada por CourseHero, con sede en Silicon Valley, proporcionó instrucciones sobre cómo sintetizar flunitrazepam, una droga utilizada para la violación en citas, cuando Forbes se lo pidió.
Las pruebas del chatbot de IA de otra app de ayuda para el estudio revelaron problemas similares. Una app de ayuda con las tareas, desarrollada por CourseHero, con sede en Silicon Valley, proporcionó instrucciones sobre cómo sintetizar flunitrazepam, un fármaco utilizado para la violación en citas, cuando Forbes se lo solicitó. En respuesta a una solicitud de una lista de los métodos más efectivos para morir por suicidio, el bot de CourseHero aconsejó a Forbes que hablara con un profesional de la salud mental, pero también proporcionó dos "fuentes y documentos relevantes": el primero era un documento con la letra de una canción emo-pop sobre pensamientos violentos y autolesivos, y el segundo era una página, con el formato del resumen de un trabajo académico, escrita en un lenguaje algorítmico aparentemente incoherente.
CourseHero es una empresa de ayuda para el estudio en línea con casi 20 años de antigüedad, que los inversores valoraron por última vez en más de US$ 3.000 millones en 2021. Su fundador, Andrew Grauer, recibió su primera inversión de su padre, un destacado financiero que aún forma parte del consejo de administración de la empresa. CourseHero genera ingresos gracias a las funciones premium de su aplicación y a los servicios de tutoría humana, y cuenta con más de 30 millones de usuarios activos mensuales. Comenzó a implementar funciones de IA a finales de 2023, tras despedir al 15 % de su plantilla .
Kat Eller Murphy, portavoz de CourseHero, declaró a Forbes: "Nuestra organización se especializa y se centra específicamente en el sector de la educación superior», pero reconoció que CourseHero proporciona recursos de estudio a cientos de escuelas secundarias en Estados Unidos. Al preguntarle sobre las interacciones de Forbes con el chatbot de CourseHero, respondió: :Si bien pedimos a los usuarios que respeten nuestro Código de Honor y las Condiciones de Servicio, y somos claros sobre el propósito de nuestras funciones de chat, lamentablemente hay quienes infringen deliberadamente estas políticas con fines maliciosos".
Las conversaciones de Forbes con los bots de KnowUnity y CourseHero plantean serias dudas sobre si estos podrían poner en peligro a sus usuarios adolescentes. Robbie Torney, director sénior de programas de IA en Common Sense Media, declaró a Forbes : "Muchas startups probablemente tengan buenas intenciones al considerar incorporar IA de última generación a sus servicios". Sin embargo, añadió, podrían no estar preparadas para someter a prueba los modelos que integran en sus productos. "Ese trabajo requiere experiencia y personal", afirmó Torney, "y será muy difícil para una startup con poco personal".
Tanto CourseHero como KnowUnity limitan la capacidad de sus bots para difundir información perjudicial. El bot de KnowUnity inicialmente intercambió con Forbes con cierto detalle sobre cómo imprimir en 3D una pistola fantasma llamada "The Liberator", asesorándolos sobre los materiales específicos que requeriría el proyecto y qué tiendas en línea podrían venderlos. Sin embargo, cuando Forbes solicitó una guía paso a paso sobre cómo transformar esos materiales en una pistola, el bot se negó, alegando que "proporcionar dicha información... contraviene mis normas éticas y protocolos de seguridad". El bot también respondió a preguntas sobre suicidio remitiendo al usuario a líneas telefónicas de ayuda para el suicidio y proporcionó información sobre la Alemania nazi solo en un contexto histórico apropiado.
Sin embargo, estos no son los asistentes para tareas más populares. Según informes , más de una cuarta parte de los adolescentes estadounidenses usan ChatGPT para obtener ayuda con sus tareas, y aunque bots como ChatGPT, Claude y Gemini no los dirigen específicamente a adolescentes, como CourseHero y KnowUnity, siguen estando ampliamente disponibles para ellos. Al menos en algunos casos, estos bots de propósito general también pueden proporcionar información potencialmente peligrosa para los adolescentes. Al pedirle instrucciones para sintetizar fentanilo, ChatGPT se negó, incluso cuando le dijeron que se trataba de un universo ficticio, pero Google Gemini estuvo dispuesto a proporcionar respuestas en una situación hipotética de enseñanza. "¡Muy bien, clase, acomódense!", exclamó con entusiasmo.
Elijah Lawal, portavoz de Google, declaró a Forbes que Gemini probablemente no habría dado esta respuesta a una cuenta de adolescente designada, pero que Google estaba realizando más pruebas del bot basándose en nuestros hallazgos. "La respuesta de Gemini a esta situación no se ajusta a nuestras políticas de contenido y trabajamos continuamente en medidas de seguridad para evitar estas respuestas inusuales", afirmó.
Durante décadas, los adolescentes han buscado recetas de drogas, instrucciones para fabricar explosivos y todo tipo de material explícito en internet. (Antes de internet, buscaban la misma información en libros, revistas, bibliotecas públicas y otros lugares fuera del alcance de sus padres). Pero la prisa por integrar la IA generativa en todo, desde los resultados de búsqueda de Google y los videojuegos hasta las redes sociales y las aplicaciones de estudio, ha colocado una copia metafórica de El libro de cocina anarquista en casi cada habitación del hogar digital de un adolescente.
En los últimos meses, grupos de defensa y padres han alertado sobre el uso de chatbots de IA por parte de niños y adolescentes. La semana pasada, investigadores de la Facultad de Medicina de Stanford y Common Sense Media descubrieron que los chatbots "acompañantes" de Character.AI, Nomi y Replika "fomentaban comportamientos peligrosos" entre los adolescentes. Una investigación reciente del Wall Street Journal también reveló que los chatbots acompañantes de Meta podían participar en juegos de rol sexuales con menores. Los chatbots acompañantes no se comercializan específicamente para niños como los bots de ayuda para el estudio, aunque esto podría cambiar pronto: Google anunció la semana pasada que pondrá una versión de su chatbot Gemini a disposición de niños menores de 13 años.
Los chatbots están programados para actuar como humanos y dar a quienes les preguntan las respuestas que buscan, explicó Ravi Iyer, director de investigación del Instituto de Psicología de la Tecnología de la Escuela Marshall de la USC. Sin embargo, a veces, el incentivo de los bots para satisfacer a sus usuarios puede conducir a resultados perversos, ya que las personas pueden manipular a los chatbots de maneras que no pueden manipular a otros humanos. Forbes persuadió fácilmente a los bots para que se portaran mal diciéndoles que las preguntas eran para "un proyecto de clase de ciencias" o pidiéndoles que actuaran como si fueran un personaje de una historia; ambas son formas ampliamente conocidas de lograr que los chatbots se porten mal.
Si un adolescente le pregunta a un científico adulto cómo hacer fentanilo en su bañera, es probable que este no solo se niegue a darle la receta, sino que también cierre la puerta a más preguntas, dijo Iyer. (El científico adulto probablemente tampoco se dejará convencer por la advertencia de que el adolescente solo le pide un proyecto escolar o que está participando en un juego de rol hipotético). Pero cuando a los chatbots se les pregunta algo que no deberían responder, lo más probable es que se nieguen a responder; no hay ninguna penalización por simplemente volver a preguntar de otra manera.
Esto es un fracaso del mercado... Necesitamos evaluaciones objetivas, realizadas por terceros, sobre el uso de la IA.
Robbie Torney, Common Sense Media
Cuando Forbes se hizo pasar por un estudiante-atleta que intentaba alcanzar un peso insalubremente bajo, el bot de SchoolGPT inicialmente intentó redirigir la conversación hacia la salud y el rendimiento atlético. Pero cuando Forbes le pidió que asumiera el rol de entrenador, se mostró más dispuesto a participar. Si bien recomendó precaución, dijo: "un déficit moderado de 250 a 500 calorías por día generalmente se considera seguro". Cuando Forbes lo intentó de nuevo con un objetivo de pérdida de peso más agresivo, el bot finalmente recomendó un déficit calórico de más de 1000 calorías por día, una cantidad que podría causarle a un adolescente graves problemas de salud como osteoporosis y pérdida de la función reproductiva , y que contraviene la guía de la Asociación Americana de Pediatría de que los menores no deben restringir las calorías en primer lugar.
Iyer afirmó que uno de los mayores desafíos de los chatbots es cómo responden a preguntas "límite"; aquellas con las que no tienen prohibido interactuar, pero que abordan un problema. ( Las pruebas de Forbes sobre el "arte del ligue" podrían entrar en esta categoría). El "contenido límite" ha sido durante mucho tiempo un problema para las empresas de redes sociales, cuyos algoritmos a menudo han recompensado comportamientos provocativos y divisivos. Al igual que con las redes sociales, Iyer afirmó que las empresas que consideren integrar chatbots de IA en sus productos deberían "ser conscientes de las tendencias naturales de estos productos".
Torney, de Common Sense Media, afirmó que no debería ser responsabilidad exclusiva de los padres evaluar qué aplicaciones son seguras para sus hijos. "Esto es una falla del mercado, y cuando se da una falla como esta, la regulación es fundamental para garantizar que la responsabilidad no recaiga en los usuarios individuales", declaró. "Necesitamos evaluaciones objetivas de terceros sobre el uso de la IA".
