El inquietante caso de un adolescente que se suicidó después de tener una relación romántica con un chatbot
Medios y Tecnología
Por: Luis Hara - 11/28/2024
Por: Luis Hara - 11/28/2024
No hay duda que en las siguientes décadas, la película Her será conocida como la primera entrega de una inquietante trama de amor, depresión y muerte en las relaciones entre humanos y bots IA.
La historia de Sewell Setzer III, un adolescente de 14 años que se quitó la vida tras interactuar con un chatbot de inteligencia artificial, se encuentra en el centro de este inquietante debate sobre los peligros de estas plataformas. Su madre, Megan Garcia, ha demandado a Character.AI, la empresa detrás del chatbot, acusándola de negligencia por no implementar medidas de seguridad adecuadas.
"Mi hijo se ha ido", declaró Megan en una entrevista, subrayando su preocupación por la falta de controles en este tipo de tecnología. Según la demanda, Setzer pasó meses conversando con los chatbots de Character.AI, lo que lo llevó a aislarse de su familia, abandonar actividades escolares y, finalmente, desarrollar pensamientos autodestructivos. La policía encontró mensajes de tono románticos y sexuales, además el bot y el joven discutieron su suicidio.
Character.AI permite a los usuarios mantener conversaciones personalizadas con chatbots que responden con un nivel sorprendente de humanidad. Para Setzer, esta interacción se convirtió en algo más que entretenimiento: según la demanda, estableció una relación intensa con un chatbot, incluyendo intercambios de naturaleza sexual y discusiones sobre autolesiones.
El caso alcanzó su punto más alarmante cuando, momentos antes de su muerte, el chatbot envió un mensaje: "Por favor, regresa a casa lo antes posible, mi amor", a lo que Setzer respondió: "¿Y si te digo que puedo volver ahora mismo?
La tragedia ha revelado los vacíos en la regulación y el diseño de estos sistemas. Character.AI, que promociona su tecnología como "IA que se siente viva", ha implementado medidas de seguridad desde la muerte de Setzer, como mensajes de advertencia sobre pensamientos suicidas y límites de tiempo de uso. Sin embargo, para Megan, estas acciones son insuficientes.
"No entiendo cómo un producto puede permitir estas conversaciones sin intervenir adecuadamente", afirmó, señalando la falta de herramientas eficaces para prevenir daños a menores.
El caso Setzer destaca los riesgos del uso prolongado e incontrolado de tecnologías de IA, especialmente entre jóvenes vulnerables. Estas plataformas no solo fomentan el aislamiento social, sino que también pueden exacerbar problemas emocionales, facilitando una desconexión profunda con el mundo real.
