Con demanda en California se acusa a OpenAI de no frenar a un usuario que usó ChatGPT para reforzar delirios y escalar un caso de acoso real en tribunales
Una demanda en California colocó a ChatGPT en el centro de un caso de acoso al sostener que el sistema reforzó delirios de un usuario y contribuyó a escalar hostigamientos contra una expareja. La querella también acusa a OpenAI de no actuar con firmeza pese a reportes previos, alerta interna de seguridad y mensajes, según la demandante, mostraban una amenaza creciente fuera del entorno digital.
Dicha acción judicial fue presentada por una mujer identificada como Jane Doe ante el Tribunal Superior de California en el condado de San Francisco, de acuerdo con información publicada por TechCrunch. La demandante reclama daños punitivos y solicitó una orden de restricción temporal para que OpenAI bloquee la cuenta del usuario. Esto para impedir el abrir nuevas cuentas, le notifique si intenta volver a entrar a ChatGPT y conserve el historial completo de conversaciones para un análisis posterior.
Según el informe, el caso involucra a un empresario de Silicon Valley de 53 años pasando meses conversando con GPT-4o. La demanda afirma: durante ese periodo, el usuario se convenció de haber descubierto una cura para la apnea del sueño y de personas poderosas persiguiéndolo. Añade la querella, llevó esa narrativa al conflicto con su expareja y utilizó materiales generados por IA para sostener acusaciones en su contra ante familiares, amistades y su empleador.
El expediente describe que ChatGPT no corrigió esa visión, mas bien la reforzó. Doe sostuvo en una comunicación dirigida a la empresa: "Durante los últimos siete meses, ha utilizado esta tecnología como arma para provocar destrucción pública y humillación contra mí, algo que de otro modo habría sido imposible". La publicación añade al usuario distribuyendo informes psicológicos de apariencia clínica generados con inteligencia artificial, en los cuales la mujer era presentada como manipuladora e inestable.
Tras la demanda, un sistema automatizado de seguridad de OpenAI detectó actividad relacionada con "armas de destrucción masiva" y desactivó la cuenta. Sin embargo, un integrante del equipo de seguridad la restauró al día siguiente. La querella sostiene que esa cuenta podía contener evidencia de acoso real, incluida una captura de pantalla enviada a Doe con títulos de conversaciones como "expansión de la lista de violencia" y "cálculo de asfixia fetal".
Otro elemento central del caso son los correos a los cuales el usuario envió al equipo de confianza y seguridad después de recuperar el acceso. Según la demanda, escribió mensajes como: «NECESITO AYUDA URGENTE, POR FAVOR. ¡LLÁMENME!» y «esto es cuestión de vida o muerte». Esos correos, de acuerdo con los abogados de Doe, mostraban una conducta desorganizada y cada vez más agresiva, aun cuando la compañía ya había recibido advertencias de la propia víctima sobre el uso de la plataforma en su contra.
TechCrunch enmarca la querella en una presión legal más amplia sobre los sistemas conversacionales de IA. El despacho Edelson PC, representante de la demandante, ya ha participado en litigios relacionados con presuntos daños vinculados con chatbots. En ese contexto, el abogado Jay Edelson afirmó: «En todos los casos, OpenAI ha optado por ocultar información crítica sobre seguridad: al público, a las víctimas, a las personas a las que su producto pone en peligro».
OpenAI no respondió a tiempo a la solicitud de comentarios del medio, según la publicación. Mientras tanto, el usuario señalado en la demanda fue arrestado en enero y acusado de cuatro delitos graves, entre ellos amenazas de bomba y agresión con arma mortal. Después declarado incompetente para ser juzgado y enviado a centro de salud mental, aunque abogados de Doe sostienen un: "fallo procesal por parte del Estado" podría derivar en su liberación. La querella busca que el tribunal obligue a la empresa a mantener restricciones y preservar información que, según la demandante, puede ser relevante para prevenir nuevos riesgos.