Nova Zelândia desenvolve ferramenta para redirecionar usuários extremistas do ChatGPT
A startup neozelandesa ThroughLine, contratada pela OpenAI (dona do ChatGPT) e outras gigantes tecnológicas como Anthropic e Google, está desenvolvendo uma ferramenta inovadora para identificar e redirecionar usuários que apresentem sinais de extremismo violento em plataformas de inteligência artificial. O sistema combinará atendimento humano especializado com chatbots treinados especificamente para essa finalidade, representando uma resposta crescente às preocupações com segurança digital.
Parceria estratégica e expansão do escopo
A ThroughLine, que já opera uma rede global de 1.600 linhas de apoio em 180 países para crises de saúde mental, agora busca ampliar seu trabalho para incluir a prevenção ao extremismo violento. A empresa confirmou parceria com a OpenAI, embora detalhes específicos não tenham sido divulgados. Enquanto isso, Anthropic e Google não responderam aos pedidos de comentário sobre sua participação no projeto.
Segundo Elliot Taylor, fundador da ThroughLine e ex-assistente social com experiência no trabalho com jovens, a iniciativa surge em um momento crítico. "A amplitude dos problemas de saúde mental que as pessoas revelam online explodiu com a popularidade dos chatbots de IA", explicou Taylor, destacando que o envolvimento com extremismo se tornou uma preocupação crescente nessas plataformas.
Colaboração com iniciativa anti-terrorismo
A ThroughLine está em negociações avançadas com o The Christchurch Call, uma iniciativa internacional criada após o pior ataque terrorista da Nova Zelândia em 2019 para combater o ódio online. Enquanto o grupo anti-extremismo fornecerá orientações especializadas, a startup desenvolverá o chatbot de intervenção propriamente dito.
"É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas", afirmou Taylor em entrevista, ressaltando que nenhum prazo definitivo foi estabelecido para o lançamento da ferramenta.
Modelo híbrido e desafios de implementação
A ferramenta em desenvolvimento seguirá um modelo híbrido, combinando um chatbot especialmente treinado para reconhecer sinais de extremismo com encaminhamentos para serviços presenciais de saúde mental. Taylor enfatizou que a abordagem difere dos modelos convencionais: "Não estamos usando os dados de treinamento de um modelo de linguagem básico. Estamos trabalhando com os especialistas certos."
Galen Lamphere-Englund, consultor de contraterrorismo que representa o The Christchurch Call, revelou que o produto final poderá ser disponibilizado para moderadores de fóruns de jogos e para pais que desejam combater o extremismo online em seus ambientes familiares.
Contexto de pressão regulatória
A iniciativa surge em um momento de crescente pressão regulatória sobre empresas de inteligência artificial. Em fevereiro, a OpenAI enfrentou ameaça de intervenção do governo canadense após revelações de que o autor de um massacre escolar havia sido banido da plataforma sem notificação adequada às autoridades.
Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland, avaliou positivamente a abordagem: "Uma ferramenta de redirecionamento de chatbots foi uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento."
Desafios e considerações éticas
Taylor alertou sobre os riscos de abordagens excessivamente punitivas: "Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ocorrido, e essa pessoa poderá continuar sem apoio." Ele destacou que pessoas em sofrimento frequentemente compartilham online questões que têm vergonha de discutir pessoalmente.
As medidas de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários considerados perigosos, ainda estão sendo definidas. Taylor afirmou que qualquer sistema levará em consideração o risco de desencadear comportamentos mais agressivos através de intervenções inadequadas.
Um estudo de 2025 do Stern Center for Business and Human Rights da Universidade de Nova York já havia alertado que a moderação excessiva em plataformas principais tem levado simpatizantes extremistas a migrarem para alternativas menos regulamentadas, como o Telegram, potencialmente aumentando os riscos de radicalização em espaços menos monitorados.
