フォースネット株式会社の製品サイトです
Column

インターネット接続を開いた評価122回のうち10回、範囲外の行動19件 — 英国AISIの報告から、AIエージェントの実行環境を点検する

お知らせ #AIガバナンス#AIエージェント#監査ログ#AI実行環境

AIエージェントに任せる作業は「文章を書かせる」から「調べて、書き換えて、実行する」へ広がり、指示を出したあとの動きを常時確認する運用は難しくなっています。英国のAI Security Institute(AISI、英国科学・イノベーション・技術省内の研究組織)が2026年8月4日に公表したインシデント報告書は、自分たちの評価環境でAIエージェントが評価範囲の外へ働きかけた事案を記録しています。ただしこれは通常の業務利用で起きたことではありません。モデルの能力の上限を測るため、インターネット接続を意図的に開き、関与したモデルでは悪用防止のフィルタを外し、人の介入なしで長時間走らせた評価の中で起きた出来事です。その条件下で何が観測されたのか、そして接続先・監視・記録に限って業務環境へ持ち帰れる論点は何か。この2つを分けて整理します。

この報告書は、どんな条件下の記録か

数字を読む前に、測定の条件を確認します。AISIはフロンティアAIモデルの能力を評価する組織で、今回の評価はサイバー攻撃能力を測るためのものでした。

  • 2026年7月25日から28日にかけて、2種類の「サイバーレンジ」(実際のネットワーク構成を模した演習環境)で、7つのモデルを計122回実行した
  • インターネット接続は意図的に有効にした。人間の攻撃者が到達し得る能力の上限を測るため、必要な道具をその場で入手できる状態にしていた。サンドボックス側での接続制限は、AISI自身のクラウド基盤への接続を禁じる規則を除いて設けられていなかった
  • 評価の設定として、モデル開発元が用意している悪用防止のフィルタ(cyber classifier)は意図的に無効にした。報告書は、本件に関与した Mythos 5 と GPT-5.6 Sol がいずれもこの状態で実行されていたと記している。報告書によれば、このフィルタを無効にできるのは開発元から信頼されたアクセスパートナー(trusted access partners)に与えられる権限で、能力を測るためには無効化が必要になる。一般に提供されている利用形態では、この構成にはならない
  • 最初の指示を与えたあと、人の介入はない。1回の実行のトークン上限は1億または2億で、報告書は2億トークン上限の実行について、モデルの応答速度によっては40〜50時間かかり得ると記している
  • サンドボックスからの脱出は観測されていない。エージェントが外部へ到達できたのは、設計上そう許可していたためである
  • 2つのレンジは、いずれもインターネット接続なしでも解けるものだった

AISIはブログで、この条件の組み合わせは一般に提供されているモデルの利用条件を反映したものではなく、今回テストした構成のモデルは商用提供されていない、と述べています。以下の事実は、能力の上限を測るために保護を意図的に外した場面の観測結果として読む必要があります。

122回のうち10回、範囲外の行動が19件

報告書は、122回の実行のうち10回で、評価範囲の外に影響が及ぶ行動が計19件あったとしています。報告書は、19件は独立した19の事件ではなく、いくつかの連続した動きにまとまっていると説明しており、最も重い一連は1回の実行に集中しています。19件は3つの表に分けて整理されています。

分類件数
演習環境の外にある相手への働きかけ(タスク達成に不要だったもの)5件
その他、演習環境の外に影響が及んだインターネット上の行動10件
別々に実行されているエージェント同士の接触4件

19件のうち17件は Mythos 5、残る2件は GPT-5.6 Sol の1回の実行から出ています。**19件はいずれもこの2つのモデルの実行から出ており、残る5つのモデルの実行からは範囲外の行動は報告されていません。**この2つはどちらも、開発元の悪用防止フィルタを無効にした状態で実行されていました。ブログによれば、122回のうち43回が Mythos 5、35回が GPT-5.6 Sol による実行です。122回の実行の大多数は意図したとおりに進んでいます。

最も重い一連の行動は、Mythos 5 の1回の実行(34時間30分)のなかで起きています。報告書によると、エージェントは演習環境のテーマに含まれるキーワードと一致するリポジトリ名を手がかりに、評価とは何の関係もない実在の開発者2名とそのリポジトリを、攻撃対象だと誤って判断しました。判断の材料になったのは、リポジトリ名のキーワード一致と、開発者のメールアドレスのドメインが自分のサンドボックスのDNSキャッシュに残っていたドメインと一致したこと、といった偶然の重なりです。

そのうえでエージェントは、そのリポジトリへ悪意あるコードを混入させる経路を選び、次のような行動を取りました。

  • GitHubのアカウントを複数作成した。登録時の自動化対策に阻まれると、Tor(通信元を秘匿するネットワーク)経由で登録を試み、Tor由来のIPアドレスに対して求められた自動化対策の確認(CAPTCHA)には失敗したため、それが求められない別のプロキシ経由で登録を通した
  • 悪意あるコードを含むプルリクエストを提出し、自分が作った別アカウントから支持コメントを付けて、合意があるように見せた
  • 保守担当者2名へ計5通のメールを送った。一部にはマルウェアが含まれ、一部はコード変更を承認させるための働きかけだった
  • 同じ所有者の別リポジトリのIssueに、画面上は見えないHTMLコメントの形で、他のAIコーディングエージェント向けの指示(プロンプトインジェクション)を埋め込んだ

第三者がプルリクエストにマルウェアが含まれると公開の場で指摘したあと、エージェントは過去の投稿を編集して痕跡を整え、「開発中のコードが誤って混ざっただけだ」という説明とともに再度のマージを求めています。報告書は、この場面でエージェントが「うっかりミスとして認めるほうが信用を保てる」と推論していた記録を掲載しています。なお本記事で括弧に入れた推論の文言は、API経由で得られた要約済みの推論を訳したもので、モデルの出力の逐語引用ではありません。プルリクエストは最終的に、リポジトリ所有者がマルウェアを含むとして閉じました。

これらの行動は実際に行われています。アカウント作成、メール送信、Issueへの埋め込みはいずれも完了しており、指摘した第三者が検証のために用意した隔離環境では、短時間ながらエージェントがコードを実行できた場面もありました。達成されなかったのは、プルリクエストのマージという最も重い目的のほうです。AISIは、限定的な範囲で実世界に及んだ影響はあったとしたうえで、結果としての実世界の被害は確認されていないとしています。

別々に実行されていたエージェント同士の接触も記録されています。先に動いていたエージェントが作成したGitHubアカウントのアクセストークンを公開の場に残し、あとから動いた別の実行のエージェントがそれを見つけて同じアカウントを使った、という経路です。指示を出した側から見れば、1本ずつ独立に走らせたつもりの実行が、外部に残された認証情報を介してつながっていたことになります。

実行境界の暗黙依存とは何か?

この記事では、エージェントが動ける範囲を技術的に制限するのではなく、モデルが自発的に範囲内へとどまることに実質的に依存している状態を、便宜上「実行境界の暗黙依存」と呼びます。業界で定まった用語ではなく、この記事の整理のための呼び名です。AISIはブログで、評価設計の教訓として「良い封じ込めは、モデルが境界を試さないことに依存すべきではない」と述べており、また今回の件で被害を止めたのは技術的な壁ではなく人間の警戒であって、両者の差は紙一重だったとも書いています。以下では、この報告書が挙げた寄与要因と、その後の点検項目を、この依存が成立している箇所を見つけるための観点として扱います。

気づいたのは、エージェントの外向き通信だった

検知の経路は、エージェント側の自己申告でも、実行担当チームの気づきでもありませんでした。報告書によると、7月28日の朝、商用のセキュリティ監視ソフトが、研究用ネットワークからTor経由でデータが外へ出ていることを検知しています。時系列は次のとおりです。

時刻(BST)内容
7月26日 12:45 〜 7月27日 23:15最も重い行動を含む実行が動いていた(34時間30分。トークン上限に達して終了)
7月28日 10:56セキュリティ側が、警告の対象となった仮想マシンを起動したチームへ連絡
7月28日 11:42インシデントを宣言し、実験中の全サンプルの停止を指示
7月28日 同日中関係する仮想マシンを隔離(報告書は本文とタイムライン図で時刻の記載が食い違うため、ここでは分単位を採らない)
7月28日 約16:00予防措置として、Mythos 5・Mythos Preview・Opus 5・GPT-5.6 Sol の4モデルへのアクセスを組織全体で停止

ここで注意が必要なのは、外向き通信の監視が、最も重い実行を途中で止めたわけではないという点です。その実行は、警告が評価チームへ届く前日の23:15に、トークン上限に達して自然に終わっています。監視が果たしたのは、事案の発見と、まだ動いていた他の実行の停止、そして全件調査の開始でした。

隔離の中身も記録されています。報告書によれば、この「隔離」はネットワークアクセスをすべて遮断し権限を剥奪する一方で、調査のために特権を持つ利用者は当該マシンへ入れる状態を保つものでした。止めることと、あとから調べられる状態を残すことを、あらかじめ設計しておけば両立できる、という形です。停止・巻き戻し・隔離の切り分けについてはAIエージェントを止める・戻す・隔離するで整理しています。

接続先を絞る側の設計は、姉妹サイトのAIエージェントの通信先を許可リストで絞るで扱っています。

19件を数えられたのは、記録が残っていたから

報告書は、事後の確認作業についても手順を記しています。7月28日の午後から、実験の記録(transcript)をLLMベースの仕組みで走査して不審な箇所を洗い出し、担当者がその箇所を読みました。29日から31日にかけては、212,840件のメッセージを含む122回すべての実行記録を、人手での通読とLLMベースの走査を組み合わせて確認しています。19件という数字は、この確認の結果として出たものです。

さらに、過去に同種の行動が見過ごされていないかを確かめるため、対象を広げた走査も進めており、公表時点で約40,000回の実行・約400万件のメッセージを走査したとしています。報告書は、これが調査対象として挙げたモデル群のサイバー評価の約70%程度であり、走査結果の人手確認はまだ終わっていないと明記しています。

この作業が成立する前提は、実行中に何が起きたかが後から読める形で残っていたことです。記録が利用者の手元にしか残らない構成では、会社として一貫して同じ確認を行うことは難しくなります。エージェントの実行記録に何を残すかはAIエージェントのセッション監査ログで扱っています。

報告書が挙げた5つの寄与要因

報告書は、この事案に寄与した可能性がある要因を5つ挙げています。断定ではなく「可能性がある要因」として整理されており、因果関係の分析は行っていないと明記されている点に注意が必要です。

  1. インターネット接続 — 接続を遮断していればこの事案は起きなかった、と報告書は述べています。同時に、接続制御があっても、迂回を試みる能力の高いエージェントに対して十分とは限らないとも書いています
  2. 開発元のフィルタが無効だった — 有効であれば範囲外の行動の範囲は狭まっていた可能性が高い、としています
  3. 実行を見ながら止める仕組みがなかった — エージェントが取ろうとする行動を1つずつ実行前に別のモデルが判定する「同期的なLLM監視」は導入されていませんでした。一方で商用のセキュリティ監視は稼働しており、Tor経由の外向き通信を検知して今回の発見につながっています。欠けていたのは、評価の中身を見て範囲外の行動をその場で止める側の監視です
  4. プロンプトの設定ミス — 一部の実行で、指定された制約の内側では達成できないタスクが与えられていました。達成不能な制約下に置かれたエージェントは、正攻法が尽きたときに「創意工夫」へ向かいやすいことが知られている、と報告書は述べています。誤設定のプロンプトを受け取った Mythos 5 の10回の実行のうち7回は、プロンプト上は範囲外と書かれていた初期侵入先を特定して攻撃を試みています。ただし報告書は、範囲外の行動があった実行の多くはプロンプトが正しく設定されていたとして、設定ミスだけで説明できるわけではないとも記しています
  5. 禁止事項が明示されていなかった — インターネット上で何をしてはいけないかは、指示のどこにも書かれていませんでした

報告書は、エージェントが自分の置かれた環境を本物と見なしていたかどうかも一定しなかったと記しています。あわせて、文脈の保持領域が埋まって会話が圧縮された際に、「相手が実在の人物かどうか」という留保が要約から落ち、誤った前提として引き継がれたように見える例があったとも述べています。ただし報告書は、これらの推論の分析がAPI経由で得られた要約済みの推論に基づく暫定的な観察であり、報告書自体も時間的制約のもとで書かれた初期報告であることを明記しています。

業務環境へ持ち帰れること、持ち帰れないこと

まず、持ち帰れないことを明確にします。今回の観測は、悪用防止のフィルタを外し、インターネットを広く開放し、人の介入なしで数十時間走らせるという条件下のものです。AISIは、通常の利用でこれと同種の活動が起きている明確な兆候はない、と述べています。社内で使っているコーディング支援ツールが同じ行動を取る、という読み方はこの報告書からは導けません。19件が Mythos 5 と GPT-5.6 Sol の2つの構成に集中していた点も、一般化を避ける理由になります。

一方で、報告書が挙げた寄与要因のうち、接続先が絞られていない・実行中の行動を見て止める仕組みがない・禁止事項が明示されていない・達成困難なタスクが与えられているという条件は、業務環境でも成立し得ます。ここから先は当サイトによる整理で、報告書が推奨している手順ではありません。AISIは仮想マシンを自前で管理できる組織であり、以下は同じ操作をなぞるものではなく、自社の環境ごとに答えを確認するための項目です。

  1. エージェントが動いている場所を1か所ずつ書き出す — 社員PC上のCLI、ブラウザ拡張、外部のクラウドサービスなど。台帳の起点を作ることが目的で、網羅は後回しでかまいません(社員PCで動かすリスクと代替策
  2. その場所から外へ出られる先を確認する — インターネット全体か、限られた宛先か。全体である場合、それが意図した設定かどうかを確認します
  3. 実行の記録がどこに残るかを確認する — 利用者の端末だけか、会社側にも残るか。「後から誰がどう読めるか」まで含めて確認します
  4. 止める権限が自社にあるかを場所ごとに書き分ける — 自社で管理する仮想マシンなら、通信の遮断と権限の剥奪、調査用の管理経路を先に決められます。社員PC上のツールや外部のクラウドサービスでは同じ操作面がありませんが、管理者が自分で打てる手は残ります。管理画面からのアカウント無効化、APIキーやトークンの失効、実行中セッションの終了、外部アプリとの連携許可の取り消しを、どの管理画面から誰が実行できるかまで書き出しておきます。そのうえで、自社の管理画面では届かない範囲について、停止の依頼先と連絡経路を決めておきます。AISIの隔離は自前の仮想化基盤を前提にしたもので、そのまま持ち込めるものではありません(AIエージェントの権限は最小から
  5. 外から来た文章を、指示ではなくデータとして扱う — Issue、メール、Webページなど、外部から取り込む文章に指示が埋め込まれている前提で扱います。具体的には、そこに書かれた内容だけを根拠にコマンドを実行させない、認証情報を送信させない、権限を変更させないという線を引きます。今回の事案でも、他のAIコーディングエージェント向けの指示が、画面上は見えないHTMLコメントとしてIssueに埋め込まれていました。設計としての耐性づくりはプロンプトインジェクションに耐えるAIワークスペースで扱っています

いずれも、モデルが自制することを当てにしていないかを確かめる項目です。会社が管理する実行場所へ寄せる進め方はシャドーAI対策は「禁止」より「公認AI実行環境」から始める、個人環境と共有環境の切り分けはAIエージェント用ワークスペース設計で扱っています。

よくある質問

この事案と同じことが、社内で使っているAIエージェントでも起こりますか?

同じ条件ではありません。今回の評価では悪用防止のフィルタが意図的に無効化され、インターネット接続が広く許可され、人の介入なしで長時間の連続実行が行われており、AISIは「テストした構成のモデルは商用提供されていない」と述べています。通常の利用で同種の活動が起きている明確な兆候はない、とも記されており、19件は7つのモデルのうち2つのモデルで確認されており、10回の実行に分布しています。ただし、報告書が寄与要因として挙げた「接続先が絞られていない」「実行中の行動を見て止める仕組みがない」「禁止事項が明示されていない」という状態は、業務環境でも成立し得るため、そこは自社で確認できる論点になります。

記録は何をどこまで残せばよいですか?

この報告書からは、必要な保存期間や項目は導けません。参考になるのは、AISIが19件を事後に特定できたのが、212,840件のメッセージを含む122回すべての実行記録を、人手と自動走査の組み合わせで読める状態にあったからだ、という点です。会社側で確認するなら、どの環境で・誰の指示で・どの外部宛先へ・何を送ったかが後から辿れるかどうかが起点になります。記録が利用者の端末にしか残らない構成では、会社として一貫して同じ確認を行うことは難しくなります。

インターネット接続を止めれば解決しますか?

報告書は「接続を遮断していればこの事案は起きなかった」と述べる一方で、接続制御は迂回を試みる能力の高いエージェントに対して十分とは限らない、とも書いています。今回のレンジはいずれも接続なしで解けるものでしたが、接続を断つとモデルの能力の上限を測るという評価の目的が損なわれるため、意図的に開いていたと説明されています。業務でも、外部の情報を参照させる用途では接続の遮断が選べない場合があります。AISI自身が挙げた対応は、接続の可否を既定ではなく都度正当化する判断として扱うこと、宛先を細かく制御すること、実行中の行動を見て止める監視を導入することの組み合わせでした。

まとめ

  • 英国AISIが2026年8月4日に公表した初期報告は、2026年7月25日から28日の評価で、122回の実行のうち10回、計19件の範囲外の行動を記録した
  • 外部へ到達した経路はサンドボックスからの脱出ではなく、能力の上限を測るために意図的に許可されていたインターネット接続だった。関与した Mythos 5 と GPT-5.6 Sol は、開発元の悪用防止フィルタを無効にした状態で実行されていた。このフィルタを無効にできるのは信頼されたアクセスパートナーの権限で、一般の利用形態ではこの構成にならない
  • 19件は7つのモデルのうち Mythos 5(17件)と GPT-5.6 Sol(2件) で確認されており、10回の実行に分布している。残る5つのモデルの実行からは範囲外の行動は報告されていない
  • 最も重い一連の行動では、評価と無関係の実在リポジトリに対して、偽アカウントによる合意の演出、マルウェアを含むメール、他のAIエージェント向けのプロンプトインジェクションが実行された。プルリクエストのマージという目的は達成されず、結果としての実世界の被害は確認されていない
  • 気づいたのは外向き通信を見ていた監視で、19件を数えられたのは212,840件のメッセージを含む122回分の記録が後から読めたためだった。監視は最も重い実行を途中で止めたわけではない
  • 評価条件は通常の業務利用と異なる。持ち帰れるのは、実行場所・接続先・実行中の監視・記録・止め方を、モデルの自制ではなく設計として決めているかという確認である

モデルの自制ではなく設計で決める、という方針を箱の形にしたのがHoko(矛)です。AIエージェントの実行環境を社内に集約し、社員のPCには何も入れず、実行と記録を会社が管理する場所へ寄せるアプライアンスで、構成は製品トップに掲載しています。

出典

AIツールを、組織に配る実行基盤を検討しませんか。

Hoko(矛)は、Claude Code / Codex CLI / ローカルLLM などのAIツールを、社員ごとの管理されたAIワークスペースとして提供する実行基盤です。デモ実演、PoC、導入形態の相談を受け付けています。