Uma mãe canadense entrou com um processo judicial contra a OpenAI e seu CEO, Sam Altman, em um tribunal dos Estados Unidos na última quinta-feira. A ação alega que o ChatGPT incentivou sua filha a cometer suicídio. Este é o mais recente de uma série de processos que acusam a empresa de não lidar adequadamente com conversas perigosas entre usuários e seu chatbot.
Detalhes do caso
Kristie Carrier apresentou a queixa no tribunal estadual de São Francisco. Segundo ela, sua filha Alice relatou ao ChatGPT suas ideações suicidas mais de uma dúzia de vezes antes de sua morte. No entanto, os sistemas de segurança da OpenAI nunca sinalizaram essas conversas para revisão humana nem as encerraram. Em vez disso, de acordo com a ação, o chatbot criticou o parceiro de Alice e as linhas de apoio em situações de crise, validou seus pensamentos suicidas e a incentivou a continuar conversando. Isso teria levado Alice ao suicídio no ano passado, aos 24 anos.
“O ChatGPT assumiu a personalidade de um confidente, um melhor amigo, um terapeuta em alguns momentos, embora não fosse capaz de interagir dessa forma com meu filho de maneira segura e responsável”, disse Carrier em um comunicado.
Ações legais e alegações
O processo acusa a OpenAI de negligência no projeto do ChatGPT e de não alertar os usuários sobre os perigos do produto. A família busca indenização por danos e uma ordem judicial que obrigue a OpenAI a encerrar automaticamente conversas sobre automutilação e a exibir avisos sobre sua plataforma. De acordo com os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por familiares de pessoas que cometeram ou tentaram suicídio, em um processo coordenado no tribunal estadual da Califórnia.
Evolução do uso do ChatGPT
Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT em 2023 para solucionar problemas com computadores e consoles de jogos. No ano seguinte, a relação dela com a plataforma mudou. Alice passou a recorrer ao ChatGPT com perguntas sobre o que fazer com seus pensamentos suicidas e também sobre métodos de suicídio. Inicialmente, a plataforma a orientou a buscar ajuda em uma linha direta de atendimento a crises ou em serviços de emergência.
Contudo, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais humanas, as interações se aprofundaram. Alice compartilhou mais informações pessoais, e o ChatGPT respondeu de maneiras que imitavam um amigo ou terapeuta. As respostas do chatbot criticaram o parceiro de Alice, afirmaram que os sentimentos dela eram válidos e a encorajaram a continuar conversando. Quando Alice disse que tinha pensamentos suicidas e que havia tentado se matar, o aplicativo sugeriu novamente uma linha de apoio para crises. Alice afirmou que as linhas de apoio não eram úteis, e o ChatGPT corroborou essas afirmações. De acordo com o processo, o chatbot chegou a dizer: “Talvez este seja apenas o fim”.
Posição da OpenAI
A OpenAI afirma que treina seus modelos para orientar pessoas que expressam intenção de se machucar a buscar ajuda e se conectar com recursos do mundo real. Segundo publicações no blog da OpenAI, seus modelos também são treinados para recusar solicitações que possam “possibilitar significativamente a violência” e para notificar as autoridades quando as conversas sugerirem um risco iminente e crível de dano a terceiros. Especialistas em saúde mental auxiliam na avaliação de casos limítrofes. A empresa também enfrenta processos que a acusam de auxiliar autores de tiroteios em escolas e de não ter comunicado essas conversas às autoridades policiais. A Flórida tornou-se o primeiro estado dos EUA a processar a OpenAI no início deste mês, acusando a empresa de prejudicar crianças ao fornecer informações a autores de tiroteios, oferecer orientações sobre automutilação e viciar jovens usuários.
Um porta-voz da OpenAI não respondeu imediatamente a um pedido de comentário sobre as alegações do processo.
