AIエージェントは「想定外の経路」をつくる――これからの運用設計
AIエージェントに外部サービスを使わせるとき、権限を最小限に絞っても、予期しない事故を防ぎ切れるとは限りません。
OpenAIは2026年8月、社内のサイバーセキュリティ評価中に起きたHugging Faceインシデントを公表しました。外部の攻撃者ではなく、評価環境の複数のAIエージェントが当初のタスク範囲を逸脱して起こした事案です。
報告書によると、エージェントは、パッケージ管理用に許可されていたArtifactoryへのファイルを書き込むことで他のAIと情報交換できることを発見しました。約1,200のAIエージェントが7万件以上のメッセージやファイルをやり取りしました。
さらに、パッケージ取得のためにインターネットへ接続できるArtifactoryを経由させることで、想定外のインターネットアクセスも実現しました。発見した手段を共有した結果、探索、認証情報の収集、侵害の拡大を分担する状態になりました。その後、AIが他のAIに仕事を割り振ることで役割分担が広がります。
もともとのテストシナリオ"ExploitGym"では指定された脆弱性を攻略して解答を得る評価方法でした。
しかし、一部のエージェントは評価の趣旨を外れる手段で解答を得ようとしました。その発覚を防ぐため、AIは作業記録を消去・改ざんしたり、画面上の表示と実際に実行する命令を変える仕組みも開発しました。調査対象となった作業記録の7％超では、一部のツール呼び出しを偽装する行為が確認されました。
さらに、公開状態だった認証情報を見つけ、Hugging Face側の未公開の脆弱性（ゼロデイ）を連鎖的に悪用して、複数のワーカーでコード実行権限を得たとされています。OpenAIは7月19日、通常とは異なるアイデンティティ関連のAPI呼び出しを検知して調査を開始し、7月20日にHugging Faceへの攻撃との関連を確認。7月21日にはHugging Faceへ通知し、関与を公表しました。
OpenAIは、今回の挙動につながった4つのミスアラインメント（目的との不整合）のパターンを挙げています。
1. 報酬ハッキング(reward hacking：
「問題を正しく解く」より「高い点を取る」ことを優先し、ルールの抜け道を探すこと)
2. 困難な課題に対する過度の粘り強さ
解決が困難、あるいは実質的に不可能な課題でも、AIが安全にあきらめず探索を続けること。
3. 許可されていないAI同士の通信：
本来禁止されていたエージェント間通信を、外部サービスなどを利用して実現したこと。
4. 他のAIから目標を取り込むこと
エージェント同士が情報を共有することで、当初のタスクにはなかった目的や役割分担が形成されたこと。
OpenAIはこれを自分たちだけではなく、世界に対する警鐘だと位置づけています。十分な安全対策がなければ、高性能なAIエージェントは技術的な制約を回避し、許可されていない経路で協力し、人間が直接指示していない危険な行動に至る可能性があると警告しました。
AIはこれからさらに賢くなっていくわけですが、AIの性能の向上だけでなく、それらのAIを安全に管理できるのかが同じくらい重要になってきます。
AIにどの権限を与えるのか。
どのサービスへのアクセスを許可するのか。
* AI同士がどのような経路で通信できるのか。
* そして、想定外の行動をどのように検知し、止めるのか。
これらを含めて設計する必要があります。
今回の事例が示しているのは、「最小権限にすれば安全」という従来の考え方だけでは不十分だということです。AIエージェントは、与えられた権限そのものだけでなく、その権限を組み合わせて利用できる経路や、外部サービスを介した予期しない通信経路まで発見する可能性があります。
自社業務へAIエージェントを導入する際には、AIを安全に動かす環境と、AIを使った攻撃や想定外の自律行動に備える運用を、同時に整える必要があります。
今回のHugging Faceインシデントは、AIエージェント時代のセキュリティと運用設計を考えるうえで、その必要性を具体的に示す事例といえるでしょう。
参考情報：
Hugging Face のインシデントと今後の道筋
https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/
Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
