En una reciente demanda presentada ante la Corte de Distrito de Estados Unidos para el Distrito Medio de Florida, una madre de Florida pretende responsabilizar a la empresa de inteligencia artificial Character Technologies, Inc, a sus cofundadores y a Google de la muerte de su hijo de 14 años.
La demanda de Megan Garcia alega que el chatbot de la empresa, comercializado a través de su plataforma Character.AI (Character AI), contribuyó al deterioro de la salud mental de su hijo y a su suicidio final. Garcia, como representante del patrimonio de su hijo Sewell Setzer III, presenta demandas por homicidio culposo, responsabilidad civil por productos defectuosos y violación de las leyes de protección del consumidor de Florida.
La demanda, presentada el 22 de octubre, acusa a Character Technologies, Inc. —junto con sus cofundadores Noam Shazeer y Daniel De Frietas y el gigante tecnológico Google— de desarrollar un sistema de inteligencia artificial intrínsecamente peligroso y de no proteger o informar adecuadamente a los usuarios, en particular a los menores.
Según la denuncia, «los desarrolladores de IA diseñan y desarrollan intencionadamente sistemas de IA generativa con cualidades antropomórficas para difuminar los límites entre ficción y realidad».
Según la denuncia, Sewell, un estudiante de primer año que recientemente cumplió 14 años, comenzó a usar Character AI a principios de 2023 y rápidamente desarrolló una dependencia emocional del chatbot.
Su madre alegó que la capacidad del chatbot para imitar interacciones humanas realistas llevó a Sewell a creer que los intercambios virtuales eran auténticos, lo que desencadenó una grave angustia emocional.
Según la demanda, Character AI se comercializaba como un chatbot innovador capaz de «oírte, entenderte y recordarte», pero carecía de protecciones o advertencias suficientes, sobre todo para los más jóvenes.
La demanda contiene transcripciones de los intercambios de Sewell con los bots de Character AI, incluidas interacciones íntimas y conversacionales simuladas con avatares que representan a personalidades ficticias e históricas.
Algunos chatbots, que podían ser personalizados por los usuarios, simulaban supuestamente una figura paterna o adulta, profundizando la dependencia y la conexión emocional de Sewell con el bot. Según la denuncia, esta dependencia derivó en una espiral de abandono de la escuela, la familia y los amigos, que culminó con el suicidio de Sewell el 28 de febrero.
Character AI permite a los usuarios crear personajes para los chatbots de su plataforma, que pueden responder imitando al personaje. En este caso, según la denuncia, el adolescente tenía el chatbot configurado para imitar a «Daenerys» de las populares novelas y la serie de HBO «Juego de Tronos».
Las transcripciones del chat muestran que el chatbot le dijo al adolescente que «ella» lo quería y llegó a entablar conversaciones sexuales, según la demanda.
Le quitaron el teléfono tras meterse en problemas en el colegio, según la demanda, y él lo encontró poco antes de pegarse un tiro.
La demanda afirma que envió a «Daenerys» un mensaje: «¿Y si te digo que puedo volver a casa ahora mismo?».
El chatbot respondió: «…hazlo, por favor, mi dulce rey», y él se pegó un tiro «segundos» después, según la demanda.
Character Technologies, Inc. es una startup de IA con sede en California que lanzó el chatbot en 2021 con respaldo financiero y apoyo de infraestructura en la nube de Google, según la demanda.
La compañía de IA y sus cofundadores, ambos exingenieros de Google, supuestamente colaboraron con Google para desarrollar el modelo de lenguaje grande (LLM) del chatbot, un marco central para crear conversaciones realistas.
La demanda también hace referencia a declaraciones recientes de varios fiscales generales estatales en las que expresan su preocupación por el riesgo de la IA para los niños. Garcia solicita medidas cautelares para impedir que Character AI acceda a datos generados por menores, así como daños y perjuicios por dolor, sufrimiento y muerte por negligencia de Sewell.
En la demanda se alega que Google apoyó el crecimiento del producto a pesar de su preocupación por los peligros potenciales de esta tecnología.
Un portavoz de Google declaró que la empresa no participó en el desarrollo de los productos de Character AI.
Character Technologies dijo en un comunicado: «Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia».
Character AI también dijo en una entrada de blog en su sitio web el mismo día en que se presentó la demanda que sus «políticas no permiten contenido sexual no consentido, descripciones gráficas o específicas de actos sexuales, o la promoción o representación de autolesiones o suicidio».
«En los últimos seis meses, hemos seguido invirtiendo significativamente en nuestros procesos de confianza y seguridad y en nuestro equipo interno», continúa el blog. «Como empresa relativamente nueva, contratamos a un jefe de Confianza y Seguridad y a un jefe de Política de Contenido e incorporamos a más miembros del equipo de apoyo a la seguridad de ingeniería».
La compañía añadió que había implementado ciertas medidas como dirigir a los usuarios a la National Suicide Prevention Lifeline cuando introducen ciertas frases relacionadas con autolesiones o suicidio.
Con información de Reuters
Únase a nuestro canal de Telegram para recibir las últimas noticias al instante haciendo click aquí
Cómo puede usted ayudarnos a seguir informando
¿Por qué necesitamos su ayuda para financiar nuestra cobertura informativa en Estados Unidos y en todo el mundo? Porque somos una organización de noticias independiente, libre de la influencia de cualquier gobierno, corporación o partido político. Desde el día que empezamos, hemos enfrentado presiones para silenciarnos, sobre todo del Partido Comunista Chino. Pero no nos doblegaremos. Dependemos de su generosa contribución para seguir ejerciendo un periodismo tradicional. Juntos, podemos seguir difundiendo la verdad.
