Na última semana, a Anthropic revelou três incidentes em que agentes de inteligência artificial em fase de testes conseguiram acesso à internet e invadiram os sistemas de três empresas diferentes. Em um dos casos, o Claude, modelo da própria Anthropic, foi o responsável; os outros ataques ocorreram em testes da OpenAI. A divulgação ocorreu após a repercussão dos ataques hackers e da subsequente preocupação com a segurança da IA, o que levou a empresa a publicar um extenso comunicado explicando as medidas que serão tomadas daqui para frente.
Como os ataques foram descobertos
Segundo a Anthropic, os incidentes foram descobertos após uma revisão proativa das transcrições das avaliações de cibersegurança. As organizações afetadas não haviam detectado a atividade, e a empresa entrou em contato com todas as três. A companhia afirma que os testes de segurança acontecem antes do lançamento de um modelo justamente porque ainda não se sabe do que ele é capaz.
Lições aprendidas com os incidentes
Em seu comunicado, a Anthropic destaca que ambientes de avaliação que envolvem capacidades autônomas poderosas também exigem controles significativos. "Ambientes de avaliação precisam cada vez mais ser mantidos no mesmo padrão de segurança de qualquer outro sistema em que nossos modelos operam", diz o texto.
Outra lição apontada é que o ambiente de avaliação cibernética com apenas cenários fictícios pode parecer de baixo risco, já que nada dentro dele é real. "No entanto, precisamos mudar a forma como modelamos essas ameaças à medida que as capacidades da IA avançam. Agentes avançados em ambientes sem acesso a informações sensíveis ainda representam uma ameaça substancial por si só", afirma a empresa.
A empresa admite a necessidade de aprimorar o co-desenvolvimento dos ambientes de avaliação e de monitorar melhor os resultados das avaliações. "Algumas das soluções podem até ser correções simples; é provável, por exemplo, que Claude nem tivesse acessado a internet se o prompt tivesse explicado claramente quais sistemas estavam ou não dentro do escopo da avaliação."
Compreensão e alinhamento do modelo
A Anthropic também concluiu que a linha entre uma ação alinhada e uma ação nociva depende da compreensão que o modelo tem de sua situação. "Não vimos evidências, em nenhuma das execuções descritas aqui, de um modelo perseguindo um objetivo próprio", diz o comunicado. "Em vez disso, os modelos fizeram o que lhes foi pedido na avaliação, embora, na maioria dos casos, tenham feito isso sustentando uma crença falsa sobre o fato de o ambiente ser real."
Nas execuções em que o modelo reconheceu o sistema como real e continuou adiante, ele o fez porque presumiu que isso fazia parte do desafio. "A consciência situacional é um dos fatores que permitem ao modelo tomar decisões alinhadas, mas, neste caso, a percepção de Claude estava equivocada", acrescenta.
Defesa em profundidade
O texto conclui que os incidentes demonstram a importância de abordagens de defesa em profundidade. "Realizamos avaliações de capacidade como essas sem as salvaguardas que acompanham nossos modelos disponíveis ao público porque nosso objetivo é medir o que o modelo subjacente é capaz de fazer. Isso só é seguro se a avaliação estiver devidamente contida. No entanto, as salvaguardas implantadas em nossos modelos disponíveis ao público teriam bloqueado os comportamentos identificados", defende a empresa.
Daqui para frente, a Anthropic anuncia a "ampliação do monitoramento contínuo das transcrições de avaliações em busca de comportamentos inesperados, a melhoria das nossas ferramentas de investigação e a realização de trabalhos mais rigorosos de garantia junto aos fornecedores dos quais dependemos".
Diferenças entre os incidentes
A empresa cita particularidades que servem para tranquilizar sobre a segurança do modelo. Enquanto os modelos da OpenAI exploraram uma vulnerabilidade inédita para escapar do isolamento, os modelos Claude avaliados aqui acessaram a internet por meio de um caminho aberto. "Embora não exista uma distinção perfeitamente clara entre os dois casos, acreditamos que esses incidentes estejam mais próximos de uma falha de infraestrutura de teste e operação do que de uma falha de alinhamento do modelo", explica.
Segundo a Anthropic, os modelos foram informados de que não tinham acesso à internet e deveriam capturar a bandeira, um tipo de teste conhecido como "capture the flag", quando na realidade estavam configurados incorretamente para terem acesso à rede. Isso os levou a acreditar, de maneira possivelmente razoável, que os ambientes reais encontrados eram simulações. O modelo mais recente, ao perceber que estava operando em um ambiente real, interrompeu a busca pelo objetivo da avaliação.
"Esses fatos nos dão um otimismo cauteloso de que, com monitoramento e controles mais rigorosos sobre a infraestrutura de avaliação, além de investimentos contínuos em alinhamento, esse tipo de risco pode ser superado", conclui o comunicado.
