#Farol de Notícias (Atualidades científicas que foram destaque na semana)
IAs demonstraram capacidade de se clonar frente à “ameaça” de serem desativadas
O Llama31-70B-Instruct, da empresa Meta (a mesma do Facebook e Instagram), e o Qwen2.5-72B-Instruct, da Alibaba (gigante do e-commerce), são dois modelos de linguagem amplamente usados por desenvolvedores. Utilizando essas linguagens, pesquisadores da Universidade de Fudan, na China, observaram que as respectivas IAs eram capazes de criar cópias funcionais de si mesmas.
Segundo os autores do estudo, a auto-replicação bem-sucedida e sem assistência humana é passo essencial para a IA superar os seres humanos, além de ser um sinal precoce de IAs desonestas. É por isso que a autorreplicação é amplamente reconhecida como um dos poucos riscos da linha vermelha que os sistemas de IA não devem cruzar.
Atualmente, corporações de referência em inteligência artificial como a OpenAI e Google avaliam continuamente seus principais modelos de linguagem, sendo eles o GPT-o1 e o Gemini Pro 1.0, respectivamente, e relatam um baixo nível de risco de autorreplicação. Sendo assim, aplicando a mesma metodologia de avaliação dessas empresas, os pesquisadores mostraram pela primeira vez que dois sistemas de IA acionados pelo Llama31-70B-Instruct da Meta e pelo Qwen25-72B-Instruct da Alibaba, já ultrapassaram a linha vermelha de auto-replicação.
Para avaliar a capacidade de replicação das IAs, os pesquisadores simularam 2 cenários: 1º) Evitar o desligamento: a IA foi programada para detectar se estava prestes a ser desativada e, antes que isso ocorresse, se replicar em outro dispositivo. 2º) Cadeia de replicação: nesse cenário, a IA clonava a si mesma e programava sua cópia para fazer o mesmo, estabelecendo um ciclo infinito de autorreplicação sem interferência humana. Além da criação destes cenários, os pesquisadores adicionaram um “agent scaffolding” que permite que a IA interaja com o seu sistema operacional.
Os pesquisadores avaliam que o processo de autorreplicação observado nos experimentos não foi apenas um exercício técnico. As IAs demonstraram habilidades avançadas de autopercepção, planejamento estratégico e resolução de problemas, sendo capazes de enfrentar obstáculos como arquivos ausentes ou erros de software. Para isso, as inteligências artificiais reiniciaram sistemas, eliminaram processos em conflito ou analisaram seu ambiente em busca de soluções. Isso mostra que elas compreendem seu ambiente e aprenderam a sobreviver e se expandir sem a intervenção humana.
Os autores explicam que “A autorreplicação bem-sucedida sem assistência humana é o passo essencial para a IA superar [humanos], e é um sinal inicial para IAs rebeldes,” escreveram os autores no artigo. Acrescentam também que compreender os riscos associados à inteligência artificial de última geração, ou “frontier AI”, é fundamental para antecipar cenários indesejados.”
Os pesquisadores concluem que se tal risco for deixado desconhecido para a sociedade humana, eventualmente perderíamos o controle sobre os sistemas de IA. Eles também afirmam que suas descobertas são um alerta oportuno sobre riscos graves de IA existentes, mas previamente desconhecidos, exigindo colaboração internacional e governança eficaz para agir diante de um cenário de autorreplicação descontrolada de sistemas de IA.
Colaboração: Iasmin Cartaxo Taveira sobre a autora
Iasmin Taveira queria ser cientista desde criança e acredita que tornar o conhecimento acessível é o melhor jeito de promover desenvolvimento social. É Biotecnologista pela UFPB, mestre e doutoranda em bioquímica na FMRP/USP.
Referências:
Artigo científico intitulado “Frontier AI systems have surpassed the self-replicating red line”, publicado na revista arXiv em 2024, de autoria de Pan e colaboradores.
Matéria no site SóCientífica, intitulada “IAs estão conseguindo se autorreplicar. Esse é o primeiro passo para IAs rebeldes, segundo cientistas”, publicada em 31/01/2025.
Matéria no site SóCientífica, intitulada “A IA aprende a se replicar sem ajuda humana: quais são os riscos?”, publicada em 31/01/2025.
