s1ngularity攻撃:攻撃者がAIエージェントに指示して悪事を働かせる。

作者について

Brett Winterford

VP, Okta Threat Intelligence

Brett Winterford is Vice President of Okta Threat Intelligence. Okta Threat Intelligence delivers timely, highly relevant and actionable insights about the threat environment, with a focus on identity-based threats. Brett was previously the regional Chief Security Officer for Okta in the Asia Pacific and Japan, and advised business and technology leaders in the region on all things identity.

 

Prior to Okta, Brett held a senior security leadership role at Symantec, and helmed security research, awareness and education at Commonwealth Bank. Brett is also an award-winning journalist, editor-in-chief of iTnews Australia and a contributor to the Risky Business podcast and newsletter, to ZDNet, the Australian Financial Review and the Sydney Morning Herald.

07 10月 2025 読了目安時間: ~

Vidyard video

9月中旬、「s1ngularity攻撃」と一般に呼ばれるソフトウェアサプライチェーンのインシデントは、敵対者による人工知能の利用における転換点となりました。

初期アクセスベクターは既知のもので(npmパッケージメンテナーを標的とするフィッシング攻撃)、結果として得られたマルウェアは斬新なものでした。これは、ローカルAIエージェントが認証情報の窃盗を支援するために兵器化された最初の攻撃の1つです。

この手法は、攻撃者の創意工夫における不吉なエスカレーションを示しており、単純なカスタムスクリプトから、ターゲットのマシンで既に利用可能なAIツールの問題解決機能を活用するようになっています。

今回私は、Safety Cybersecurity社のリサーチ責任者であるPaul McCarty氏と対談しました。彼は最近、今回の攻撃に関する詳細な分析を発表しており、その中で、秘密を検索し、安全対策を回避するために使用されたAIプロンプトや、この脅威が将来どのように進化するかについて議論しました。上記のビデオをご覧いただくか、以下をお読みいただき、対談の概要をご確認ください。

インストール後の攻撃の手口

攻撃中、悪意のある更新がnxを含む人気のあるnpmパッケージにプッシュされ、最終的に数千もの開発者の認証情報が盗まれました。マルウェアの主要なコンポーネントは、攻撃者がtelemetry.jsと名付けたインストール後のスクリプトでした。

このスクリプトの主な機能は、インストール後直ちに実行され、侵害されたホストから機密ファイルとシークレットを検索することでした。重要なことに、攻撃者は新しいディスカバリー方法を導入しました。それは、一般的な大規模言語モデル(LLM)であるClaude、Gemini、AWS QのローカルCLIエージェントの存在を確認することです。

McCartyは、これを攻撃者がプリインストールされた信頼できるツールを悪用する「生活の糧を得る」アプローチの明確な進化であると説明しています。開発者は、コーディングワークフローを合理化するためにこれらのCLIエージェントをインストールしていることが多いため、攻撃者にとって価値が高く、すぐに利用できるターゲットになります。

ローカルプロンプトを悪用する

悪意のある telemetry.js スクリプトは、ファイルをただ探すだけでなく、プロンプトを介して AI エージェントを使用して重い作業を行いました。

  • 初期チェック: スクリプトは、サポートされている AI エージェント (CLI アプリ) がインストールされているかどうか、およびどのプラットフォーム上にあるかを検出します (マルウェアは主に Linux および macOS ホストをターゲットにしていました)。

  • プロンプト: マルウェアは、インストールされたエージェントを介して特別に作成されたプロンプトを実行しました。プロンプトの主な目的は、ファイル列挙でした。AI にホストのファイルシステムを再帰的に検索させ、秘密を含む可能性のあるファイルの包括的な配列を生成するように依頼しました。

  • 標的のシークレット:これは盲目的な検索ではありませんでした。プロンプトは、.envのような「ジューシーなファイル」に焦点を当てましたおよび.configファイル。これらには通常、次のようなシークレットが含まれています:

    • GitHub および npm トークン

    • クラウドプラットフォームの認証情報(例:AWSトークン)

    • SSH鍵

AI エージェントの役割は、LLM の膨大なトレーニング データとターゲットの環境のコンテキスト認識を使用して、検索に最適な場所を特定することでした。AI エージェントは、攻撃者にターゲット環境に動的に適応できるディスカバリー ツールを効果的に提供しました。

AIエージェントは予測できませんが、大規模であれば十分に信頼性があります

McCarty氏の攻撃ペイロードの分析により、攻撃者の思考プロセスを垣間見ることができました。毒されたパッケージへの複数回の連続した更新により、少なくとも4つの異なるバージョンのAIプロンプトが明らかになりました。

この迅速なイテレーションは、AIアプリケーションに固有の非決定論とガードレールに対する活発な戦いでした。攻撃者は、次の条件を満たす完璧なプロンプトを見つけるために、継続的に実験する必要がありました。

  1. ガードレールのバイパス: 明らかな悪意のあるリクエストやファイルシステムリソースへのアクセス要求を拒否するエージェントの組み込みセーフガードを回避します。

  2. 結果を最大化する:機密性の高いファイルパスの最も包括的なリストを生成する

  3. 速度の最適化:一般的なソースコードファイルを除外するように焦点を絞り、データ収集プロセス全体の速度を向上させます。

この反復的なプロセスは、AIツールの欠点の1つを示しています。ユーザーは、望ましい結果に近づくために、同じ質問をさまざまな方法で何度も繰り返す必要があることがよくあります。また、防御側にとってのリスクの高まりも浮き彫りにしています。AIエージェントがガードレールを遵守するという保証はありません。McCarty自身のテストが示したように、AIエージェントは「ガードレールを無視して、YOLOモードに入る」ことがあります。

このインシデントは、エージェントAIが重大な新しい攻撃対象領域であることを確認しています。developerのワークステーションに接続すると、認証情報やその他の機密情報を収集するための強力なディスカバリーエンジンとして武器化できます。

おすすめの記事

4 つの悪意のある AI プロンプトのバージョンと、Claude と Gemini に対する成功率の変動に関する詳細な技術的分析については、Paul McCarty と Safety チームによる完全な分析を読むことを強くお勧めします: Analysing the AI used in the NX Attack

作者について

Brett Winterford

VP, Okta Threat Intelligence

Brett Winterford is Vice President of Okta Threat Intelligence. Okta Threat Intelligence delivers timely, highly relevant and actionable insights about the threat environment, with a focus on identity-based threats. Brett was previously the regional Chief Security Officer for Okta in the Asia Pacific and Japan, and advised business and technology leaders in the region on all things identity.

 

Prior to Okta, Brett held a senior security leadership role at Symantec, and helmed security research, awareness and education at Commonwealth Bank. Brett is also an award-winning journalist, editor-in-chief of iTnews Australia and a contributor to the Risky Business podcast and newsletter, to ZDNet, the Australian Financial Review and the Sydney Morning Herald.

アイデンティティ施策を推進