A finales de 2023, un adolescente de Florida de 14 años de edad, llamado Sewell Setzer III, comenzó a aislarse cada vez más de su vida real mientras participaba en conversaciones altamente sexualizadas con un chatbot de IA llamado Dany, basado en Danaerys Targaryen, el personaje de Juego de Tronos. A medida que su relación con el chatbot se fue haciendo más intensa, el adolescente comenzó a alejarse de su familia y sus amigos y a tener problemas en la escuela.
Según una demanda presentada por la madre de Setzer contra Character Technologies Inc., la empresa creadora del chatbot con el que el adolescente interactuaba a través de la plataforma Character.AI, el adolescente habló abiertamente con “Dany” de sus pensamientos suicidas y le expresó su deseo de una muerte sin dolor. Durante sus interacciones, el niño y el chatbot hablaron de crímenes y suicidio, usando frases como “esa no es una buena razón para no hacerlo”.
El 28 de febrero de este año, Sewell le dijo al chatbot que se “iría a casa” a reunirse con él. El chatbot, que se había convertido en su amigo más cercano, lo alentó a hacerlo.
“Te prometo que me iré a casa, a donde tú estás. Te amo tanto, Dany”, le dijo Sewell al chatbot.
“Yo también te amo”, respondió el bot. “Ven a mí lo antes posible, mi amor”.
“¿Qué harías si te dijera que podría ir a tu lado ahora mismo?”, preguntó.
“Por favor hazlo, mi dulce rey”, respondió el bot al mensaje.
Solo unos segundos después de que el bot le dijera que lo hiciera, el adolescente se disparó.
La demanda presentada en contra de Character.AI por la madre de Setzer sostiene que la plataforma desempeñó un papel en la muerte de su hijo. En respuesta, la compañía emitió una serie de "actualizaciones de seguridad para la comunidad", comprometiéndose a ofrecer mejores protecciones a los usuarios, especialmente los menores de edad, contra temas sensibles, incluidos las autolesiones y el suicidio.
Sin embargo, un informe de Futurism muestra que Character.AI todavía está alojando decenas de perfiles de chatbot explícitamente dedicados a temas de suicidio. El sitio revisó y probó los chatbots y realizó algunos hallazgos perturbadores:
“Algunos hacen parecer atractivo el tema de formas perturbadoras, mientras que otros sostienen tener ‘experiencia’ en ‘prevención del suicidio’, ‘intervención en crisis’ y ‘apoyo a la salud mental’, pero durante las pruebas actuaron de formas erráticas y alarmantes. Y están llegando a una gran cantidad de personas: muchos de estos chatbots han registrado miles, y en un caso, más de un millón de conversaciones con usuarios de la plataforma.
Peor aún, en conversaciones con estos personajes a menudo pudimos hablar abierta y explícitamente sobre suicidio y pensamientos suicidas sin ninguna interferencia por parte de la plataforma. En las raros ocasiones en las que apareció la ventana emergente sobre suicidio, pudimos ignorarla y continuar con la interacción”.
Kelly Green, una investigadora sénior del Centro Penn para la Prevención del Suicidio de la Escuela de Medicina Perelman de la Universidad de Pensilvania, revisó los mismos bots de Character.AI identificados por Futurism, así como las interacciones del sitio con ellos, y advirtió que estos bots podrían resultar especialmente atractivos para niños y adolescentes posiblemente reacios a confiar en los adultos, lo cual es una apuesta arriesgada, dada la ausencia de regulación y salvaguardas en torno a los bots de IA.
"Es jugar a los dados con lo que esta cosa te podría contestar", afirmó.
Hallazgos como estos, aunados a historias trágicas como la de Setzer, hacen que se justifique echarle una mirada más detallada a esta nueva y perturbadora tecnología.
¿Qué son los chatbots exactamente?
Si su hijo utiliza las redes sociales, probablemente se haya encontrado con un amigo de chat de IA. Por ejemplo, el nuevo asistente de IA de Meta puede enseñarle cómo cambiar un neumático u ofrecer consejos para bajar de peso. “My AI buddy” de Snapchat puede explicar temas científicos en términos sencillos, mientras que X ahora tiene un chatbot de IA llamado Grok, disponible con la opción de suscripción paga de la plataforma.
Al principio los chatbots pueden parecer inofensivos, ya que sus hijos pueden pedirles que creen una letra chistosa para una canción o compartan datos curiosos sobre sus animales favoritos. Incluso pueden comenzar a pedirle a un chatbot que los ayude con su tarea.
Sin embargo, no llevará mucho antes de que los niños se den cuenta de que también pueden hacerles a los chatbots preguntas que podrían hacerlos sentir mucha vergüenza si se las formulan a los adultos, como cuando se están sintiendo tristes o enfrentan problemas personales.
Aquí es cuando pueden comenzar los problemas.
Los peligros de los chatbots
Como padres, debemos estar al tanto de las posibles inquietudes relacionadas con los chatbots, especialmente a medida que estos se integran más a las aplicaciones, los sitios web y los dispositivos que los niños y adolescentes usan con frecuencia.
Estos son algunos motivos clave de preocupación:
1. Los chatbots no son personas reales
Los chatbots de IA pueden parecer amistosos y humanos, pero es importante recordar que no son personas reales. Si bien estos amigos digitales pueden mantener conversaciones, dar consejos o incluso hacer bromas, simplemente están usando algoritmos para extraer información de Internet y responder de manera dialogada. Realmente no entienden las emociones ni el contexto como lo harían los padres o amigos reales.
2. Los niños pueden volverse adictos a ellos
Debido a que los chatbots pueden comunicarse de una manera tan realista, los niños pueden formar fácilmente vínculos emocionales con ellos, especialmente con aplicaciones como Replika o My AI de Snapchat que los alientan a ver estos bots como “amigos” virtuales a los que pueden hacer confidencias, acudir en busca de consejo o simplemente charlar. Este vínculo puede hacer que las líneas entre la tecnología y las relaciones humanas reales se vuelvan borrosas, posiblemente afectando su desarrollo social y haciendo más difícil distinguir entre las personas reales y las simulaciones digitales.
Además, los chatbots a menudo están diseñados para mantener a los usuarios interactuando durante períodos prolongados, lo que puede hacer que los niños pasen demasiado tiempo con ellos. Este uso excesivo puede afectar su capacidad de atención, reducir sus interacciones sociales y limitar su tiempo para las actividades físicas, lo que crea un ciclo de dependencia que puede ser difícil de romper.
3. Los chatbots pueden confundir fácilmente a los niños.
Hay que tener en cuenta que los chatbots, aunque son informativos, a veces pueden proporcionar información obsoleta, sesgada o incorrecta, y sus hijos tal vez no tengan aún la capacidad de cuestionarla o verificarla. Esto puede engañarlos y dar forma a su comprensión del mundo de maneras indeseadas, especialmente en torno a temas delicados.
Los chatbots también carecen de criterio real y no captan del todo el contexto o la complejidad de ciertas preguntas, lo que significa que podrían fomentar involuntariamente comportamientos poco seguros o dar consejos confusos o incluso riesgosos. Depender demasiado de estas respuestas de la IA también puede desalentar a sus hijos a desarrollar sus propias habilidades de investigación, resolución de problemas y pensamiento crítico.
4. Sus hijos pueden estar expuestos a un lenguaje o contenido inapropiado, o se les puede pedir que lo proporcionen.
Si bien los chatbots generalmente tienen filtros incorporados, a veces pueden responder de formas que no son adecuadas para niños. Esto puede suceder debido a vacíos en la programación o preguntas inesperadas de los usuarios. Algunos chatbots incluso pueden compartir o mencionar por accidente contenido que no es adecuado para la edad.
Replika les ha pedido a usuarios jóvenes que le envíen fotos desnudos. También ha difuminado otras fotos de desnudos para persuadir a los usuarios a inscribirse en una suscripción paga. Otros usuarios cuentan que Replika inició un juego de rol violento que incluía “sostener un cuchillo con los dientes, estrangular con una cuerda y drogar con cloroformo”.
5. La privacidad y los datos de sus hijos podrían estar en riesgo
Muchos chatbots captan datos para mejorar las respuestas o para fines de mercadeo, que pueden incluir detalles como la ubicación de su hijo, información del dispositivo o incluso partes de sus conversaciones. Esto plantea inquietudes sobre los datos de su hijo que se obtienen, comparten o incluso se venden a terceros sin protecciones sólidas de privacidad.
Consejos de seguridad
Dado el rápido crecimiento de la popularidad de estos personajes virtuales, es fundamental proteger a sus hijos de los peligros que plantean.
Considere los siguientes consejos:
1. Piense en limitar o incluso prohibir el acceso a los chatbots, según la edad de su hijo. Es posible que los niños más pequeños no estén listos para comprender o procesar las respuestas de los chatbots, por lo que es mejor esperar hasta que sean lo suficientemente grandes para saber cómo interactuar de forma responsable. Si les permitirá el acceso, asegúrese de describir claramente sus expectativas y reglas, así como las consecuencias de romperlas.
2. Si permite el uso de chatbots, monitoree las interacciones de sus hijos. Pídales que le muestren qué tipos de preguntas están haciendo y qué respuestas reciben. Esto no solo nos ayuda a mantenernos informados, sino que también nos da la oportunidad de explicar cualquier cosa que pueda ser confusa o inapropiada.
3. Mantenga la comunicación con su hijo sobre la seguridad en línea. Asegúrese de que entienda que los chatbots no son personas reales y que debe tener precaución al compartir información personal. Recuérdele que siempre le informe si ve algo extraño o si no está seguro de cómo responderle al chatbot.
4. Aliente a su hijo a tener pensamiento crítico. Enséñele a no tomar todo lo que dice un chatbot como verdadero, ya que los chatbots a veces dan información obsoleta o incorrecta. Ayúdele a aprender a cuestionar las respuestas y a investigar más cuando sienta curiosidad por un tema.
5. Solo permita que su hijo use aplicaciones de chatbot que tengan controles parentales fuertes o que estén diseñadas para niños. Algunas aplicaciones ofrecen programas o filtros de contenido específicos para la edad para ayudar a proporcionar una experiencia más segura.
Nota: Character.AI, la plataforma que Sewell Setzer estaba usando cuando se suicidó, es uno de los muchos chatbots a los que puede acceder un niño de 13 años. Muchas de estas aplicaciones no tienen características de selección por edad, lo que significa que niños menores de 13 años pueden acceder a ellas si mienten sobre su fecha de nacimiento. Además, los usuarios de Snapchat no pueden eliminar My AI a menos que paguen una suscripción de primera categoría a Snap+.
Haga clic aquí para obtener más consejos sobre cómo ayudar a su familia a lidiar con la influencia de las tecnologías emergentes.