AIエージェントの暴走を「止める・戻す・隔離する」設計

「AIエージェントが暴走したらどうするのか」は、導入検討で必ず出る質問です。映画のような反乱を想像する必要はありませんが、楽観も禁物です。実務で起きる「暴走」の実像と、それに対する備えを整理します。止める、戻す、隔離する、の3つです。

暴走の実像 — 高速で進む「誤った作業」

実務でエージェントの暴走と呼ばれるものは、おおむね次のどれかです。

• 誤解 — 指示の解釈を誤り、意図と違う変更を広範囲に進める（例: 「不要ファイルの整理」で必要なものまで消す）
• 誘導 — 読み込んだ外部テキストに紛れた指示に従う（プロンプトインジェクション）
• 想定外のループ — エラーへの対処を繰り返すうちに、リソースを使い潰したり同じ破壊的操作を反復したりする

共通するのは、どれも人間がやる失敗と同種で、ただし速度と量が桁違いだということです。人なら途中で気づく失敗が、エージェントでは数分で数百ファイルに及びます。だから備えは「失敗させない」ではなく、失敗の半径を小さくし、回復を速くする方向で設計します。

備え1: 止める — 環境ごと停止できる手段

まず、暴走に気づいたとき確実に止める手段が要ります。要点は、停止をエージェントへの「お願い」にしないことです。誘導された・ループに入ったエージェントが停止指示に応じる保証はありません。

確実性が高いのは、実行環境ごと止めることです。部屋（ワークスペース）単位で停止・凍結できる構成なら、エージェントの状態に関わらず作業は止まります。各自のPCでエージェントが動く構成では、環境単位で一貫して止める運用が難しく、実態は本人任せになりがちです。

備え2: 戻す — 環境を以前の状態に巻き戻す

止めた後は、壊れたものの回復です。コードはバージョン管理で戻せますが、エージェントが触るのはコードだけではありません。設定、依存関係、データ、環境そのもの。

ここで効くのが、環境を使い捨てられる単位にしておく設計です。ワークスペースが「配られたもの」であれば、壊れた部屋は捨てて配り直せます。環境が各自の「育てた」PCだと、何が変わったか分からず、復旧は本人の記憶頼みになります（環境を配る設計）。

戻すための前提は記録です。「何が起きたか」を環境側の記録から再構成できなければ、どこまで戻すべきかも判断できません（実行環境の監査ログ）。

備え3: 隔離する — 影響が部屋の外に出ない構造

止める・戻すは事後の備えですが、最も効くのは暴走しても影響が部屋の外に出ないという事前の構造です。

• 部屋の外のファイル・データへの到達経路を、境界で制限する（ワークスペース境界）
• 機密の部屋には外部への経路を持たせず、誘導されても自動的には外へ送れない構造にする
• 共有領域（リポジトリ等）への反映は、承認を挟む一方向の流れにする

隔離が効いていれば、暴走の影響範囲を部屋単位に抑えやすくなり、止める・戻すの作業も部屋単位で完結します。インシデント対応全般の初動については、ネットワーク側の視点を姉妹サイトのインシデント初動で通信を止めるかが扱っています。

まとめ

• 暴走の実像は誤解・誘導・ループによる「高速で大量の誤った作業」。人と同種の失敗が桁違いの速度で起きる
• 備えは止める（環境ごと停止）・戻す（使い捨てられる環境と記録）・隔離する（部屋の外に出ない構造）の3つ
• 3つともエージェントの従順さではなく環境の側に持つ。お願いで止まる保証はない
• 隔離が効いていれば、暴走は部屋の中の事故で済む

部屋単位の停止・配り直し・記録・隔離を実行環境の構造として備えたAIエージェント実行アプライアンスが、Hoko（矛）（製品トップ）です。