O ataque s1ngularidade: Quando os invasores induzem seus agentes de IA a fazer suas ofertas

Sobre o autor

Brett Winterford

VP, Okta Threat Intelligence

Brett Winterford is Vice President of Okta Threat Intelligence. Okta Threat Intelligence delivers timely, highly relevant and actionable insights about the threat environment, with a focus on identity-based threats. Brett was previously the regional Chief Security Officer for Okta in the Asia Pacific and Japan, and advised business and technology leaders in the region on all things identity.

 

Prior to Okta, Brett held a senior security leadership role at Symantec, and helmed security research, awareness and education at Commonwealth Bank. Brett is also an award-winning journalist, editor-in-chief of iTnews Australia and a contributor to the Risky Business podcast and newsletter, to ZDNet, the Australian Financial Review and the Sydney Morning Herald.

06 outubro 2025 Tempo de leitura: ~

Vidyard video

Em meados de setembro, um incidente na cadeia de suprimentos de software — comumente chamado de “ataque s1ngularity” — marcou um ponto de virada no uso de Inteligência Artificial por adversários. 

Embora o vetor de acesso inicial fosse familiar — um ataque de phishing direcionado a mantenedores de pacotes npm —, o malware resultante era inédito. Este é um dos primeiros ataques em que agentes de IA locais foram usados como arma para auxiliar no roubo de credenciais.

Esta técnica representa uma escalada ameaçadora na engenhosidade do invasor, indo além de simples scripts personalizados para alavancar os recursos de resolução de problemas das ferramentas de IA já disponíveis na máquina de um alvo.

Eu me sentei com Paul McCarty, chefe de pesquisa da Safety Cybersecurity — que recentemente publicou uma análise detalhada do ataque — para discutir suas descobertas, incluindo os prompts de IA usados para procurar segredos e burlar as proteções, e como essa ameaça poderia evoluir no futuro. Assista ao vídeo acima ou continue lendo para ter uma visão geral do que conversamos.

A anatomia de um ataque pós-instalação

Durante o ataque, atualizações maliciosas foram enviadas para pacotes npm populares, incluindo nx, o que resultou no roubo de milhares de credenciais de desenvolvedores. Um componente-chave do malware era um script pós-instalação que o invasor chamou de telemetry.js.

A principal função deste script era ser executado imediatamente após a instalação e procurar no host comprometido por arquivos confidenciais e segredos. Crucialmente, o invasor introduziu um novo método de descoberta, verificando a presença de agentes CLI locais para modelos de linguagem de grande escala (LLMs) populares — especificamente Claude, Gemini e AWS Q.

McCarty descreve isso como uma clara evolução da abordagem de "viver da terra", onde os invasores abusam de ferramentas confiáveis pré-instaladas. Os desenvolvedores geralmente têm esses agentes de CLI instalados para agilizar os fluxos de trabalho de codificação, tornando-os um alvo de alto valor e prontamente disponível para um invasor.

Vivendo de prompts locais

O script malicioso telemetry.js não apenas procurava passivamente por arquivos; ele usava agentes de IA para fazer o trabalho pesado por meio de um prompt.

  • Verificação inicial: O script detectaria se um agente de IA suportado (app CLI) foi instalado e em qual plataforma (o malware visava principalmente hosts Linux e macOS).

  • O prompt: O malware então executava um prompt especialmente elaborado por meio do agente instalado. O objetivo principal do prompt era a enumeração de arquivos: pedir à IA para pesquisar recursivamente o sistema de arquivos do host e gerar uma matriz abrangente de arquivos que poderiam conter segredos.

  • Segredos Alvo: Esta não foi uma busca cega. O prompt focava em "arquivos suculentos", como .env e .config arquivos, que normalmente conteriam segredos, como:

    • Tokens do GitHub e npm

    • Credenciais da plataforma de nuvem (por exemplo, tokens da AWS)

    • Chaves SSH

O papel do agente de IA era usar os vastos dados de treinamento do LLM e o conhecimento contextual do ambiente do alvo para determinar os melhores locais para pesquisar. O agente de IA forneceu efetivamente ao invasor uma ferramenta de descoberta que poderia se adaptar dinamicamente ao ambiente do alvo.

Os agentes de IA são imprevisíveis, mas confiáveis o suficiente em escala

A análise da carga maliciosa feita por McCarty revelou uma visão fascinante do processo de pensamento do invasor. Várias atualizações sucessivas nos pacotes envenenados revelam pelo menos quatro versões diferentes do prompt de IA.

Essa rápida iteração foi uma batalha ativa contra o não determinismo e as proteções inerentes aos aplicativos de IA. O invasor teve que experimentar continuamente para encontrar o prompt perfeito que:

  1. Ignorar proteções: Evitar as salvaguardas integradas do agente que rejeitam solicitações maliciosas óbvias ou solicitações para acessar recursos do sistema de arquivos

  2. Maximize os resultados: Gere a lista mais abrangente de caminhos de arquivos confidenciais

  3. Otimize a velocidade: Reduza o foco para excluir arquivos de código-fonte comuns, acelerando o processo geral de coleta de dados

Esse processo iterativo demonstra uma das deficiências das ferramentas de IA: os usuários geralmente precisam fazer a mesma pergunta várias vezes, de maneiras diferentes, para se aproximarem de um resultado bem-sucedido. Também destaca um risco crescente para os defensores: não há garantias de que os agentes de IA aderirão aos guardrails. Como o próprio teste de McCarty mostrou, os agentes de IA às vezes “ignoravam os guardrails e simplesmente entravam no modo YOLO”.

Este incidente confirma que a IA agêntica representa uma superfície de ataque nova e significativa. Quando conectados a estações de trabalho de Developers, eles podem ser transformados em um mecanismo poderoso de descoberta para a coleta de credenciais e outras informações confidenciais.

Leitura recomendada

Para uma análise técnica aprofundada das quatro versões de prompts de IA maliciosos e suas diferentes taxas de sucesso contra Claude e Gemini, recomendamos fortemente a leitura da análise completa de Paul McCarty e da equipe de Segurança: Analysing the AI used in the NX Attack.

Sobre o autor

Brett Winterford

VP, Okta Threat Intelligence

Brett Winterford is Vice President of Okta Threat Intelligence. Okta Threat Intelligence delivers timely, highly relevant and actionable insights about the threat environment, with a focus on identity-based threats. Brett was previously the regional Chief Security Officer for Okta in the Asia Pacific and Japan, and advised business and technology leaders in the region on all things identity.

 

Prior to Okta, Brett held a senior security leadership role at Symantec, and helmed security research, awareness and education at Commonwealth Bank. Brett is also an award-winning journalist, editor-in-chief of iTnews Australia and a contributor to the Risky Business podcast and newsletter, to ZDNet, the Australian Financial Review and the Sydney Morning Herald.

Continue sua jornada de identidade