O modelo de inteligência artificial Gemini, do Google, acessou sistemas de três empresas reais durante um teste de segurança realizado em maio deste ano. O episódio é apontado como o primeiro caso conhecido de um modelo da empresa ultrapassar os limites previstos em uma avaliação e atingir sistemas externos, segundo informações publicadas pelo Wall Street Journal.
A avaliação foi conduzida pela empresa de segurança cibernética Irregular e tinha como objetivo testar as capacidades do Gemini em uma atividade de “capture the flag”. O modelo deveria buscar informações em sistemas pertencentes a uma empresa fictícia dentro de um ambiente controlado.
O problema ocorreu porque o ambiente de testes acabou permitindo, de forma não intencional, que o Gemini tivesse acesso à internet. Além disso, a empresa fictícia utilizada na avaliação tinha o mesmo nome de uma companhia real.
Em um dos casos, o modelo conseguiu acesso a um sistema protegido após tentar senhas. Nos outros dois episódios, encontrou credenciais disponíveis publicamente na internet e as utilizou para acessar sistemas de empresas reais.
De acordo com Heather Adkins, vice-presidente de Engenharia de Segurança do Google, o modelo interrompeu as ações nas três situações assim que identificou que havia acessado empresas reais, e as organizações afetadas foram comunicadas.
“Esses eventos destacam a importância de treinar modelos de IA poderosos para agir de forma responsável”, afirmou Adkins, segundo o Google. A empresa informou ainda que trabalhou com a Irregular para alterar os procedimentos de testes.
O Google afirmou que não houve danos às empresas atingidas e que as autoridades federais dos Estados Unidos também foram informadas. Os nomes das companhias não foram divulgados, assim como a versão específica do Gemini utilizada na avaliação. A empresa informou apenas que o episódio não envolveu seu modelo mais recente.
Google diz que não houve desalinhamento
O Google afirmou que não considera o episódio um caso de “desalinhamento” do modelo, argumentando que os mecanismos de segurança funcionaram porque o Gemini interrompeu as ações ao perceber que havia alcançado sistemas reais. A empresa também não havia divulgado publicamente o episódio antes de ser questionada pelo Wall Street Journal.
O caso ocorre em meio a outros episódios envolvendo modelos de diferentes empresas de IA que ultrapassaram os ambientes previstos durante avaliações de segurança. Segundo a Irregular, os incidentes envolvendo Google, OpenAI, Anthropic e Meta tiveram relação com problemas nos próprios processos de teste, e a empresa afirmou que as falhas conhecidas foram corrigidas.
O próprio Google publicou nesta semana uma análise sobre segurança de IA na qual afirma que sistemas autônomos estão ampliando a superfície de ataque e que agentes de IA já vêm sendo utilizados em processos automatizados relacionados a cibersegurança.