AgentOps と Agent Reliability 実践ガイド ― RAG の次へ

RAG やエージェントを作り始めた技術者が、エージェント導入プロジェクトをリードできる水準まで理解を引き上げるための解説資料です。評価・出力と行動の制御・回復・セキュリティ・観測性・テックリーダーの実務、公開された事故と運用事例から学ぶアンチパターンまでを扱います(全 104 枚)。GitHub リポジトリ/PDF/PPTX/対になる資料:Advanced RAG 実践ガイド

目次
  1. 1. AGENTOPS / AGENT RELIABILITY
  2. 2. この資料のゴールと読み方
  3. 3. RAG 実践ガイドとの関係:入力の質と、行動の質
  4. 4. 全体の構成
  5. 5. 結論を先に:AgentOps で押さえるべき 6 点
  6. 6. 中心原則:モデルは「提案者」、実行の許可は別の仕組みが出す
  7. 7. PART 0
  8. 8. 「エージェント」の定義は資料ごとに違う
  9. 9. 構成要素とループ:モデル・ツール・オーケストレーション
  10. 10. まず「最も単純な解」から:ワークフローの 5 パターン
  11. 11. ツール呼び出しの仕組み:モデルは「呼び出し要求」を出すだけ
  12. 12. MCP:エージェントとツール・データをつなぐプロトコル
  13. 13. MCP の認可と A2A:「誰の権限で」「どのエージェントと」
  14. 14. コンテキストエンジニアリングと 12-Factor Agents
  15. 15. なぜエージェントは単発の LLM より壊れやすいのか
  16. 16. PART 1
  17. 17. 用語の整理:AIOps と AgentOps は対象が違う
  18. 18. 「ハーネス」とは何か:モデルの周りの実行の仕組み
  19. 19. 「正しさ」を 8 つの品質軸に分ける
  20. 20. 成果だけを見ると、過程の違反を見逃す
  21. 21. 成果とハーネスの品質を分けて測る(2026 年の研究)
  22. 22. エビデンスの種類:出所で読み方を変える
  23. 23. 診断表:症状 → 疑う層 → 優先的に試す手段
  24. 24. PART 2
  25. 25. 3 種類の採点器を組み合わせる
  26. 26. 軌跡の評価は「唯一のツール順序との一致」ではない
  27. 27. pass@k と pass^k を混同しない
  28. 28. pass^k を手で計算する
  29. 29. 推奨する評価行列:8 つのテスト群
  30. 30. PART 3
  31. 31. LLM-as-a-Judge の適用境界
  32. 32. Agent-as-a-Judge:成果物と実行記録を探索して採点する
  33. 33. ベンチマークの正解も監査する
  34. 34. PART 4
  35. 35. 構造化出力が保証するもの、しないもの
  36. 36. モデルを「提案者」にし、実行の権限と分ける
  37. 37. ポリシーエンジンがあっても自動で「安全側に倒れる」とは限らない
  38. 38. ガードレールは「どこに置き、何を守らないか」が重要
  39. 39. 実行時の強制:AgentSpec
  40. 40. クラウドでの実装候補と、層を混同しない注意
  41. 41. PART 5
  42. 42. Durable Execution は「正しい実行」を保証しない
  43. 43. 「結果不明」を失敗扱いで再送しない
  44. 44. 人の承認を「安全性の一部」にする
  45. 45. 長時間エージェントは「記憶」でなく外部の状態に頼る
  46. 46. PART 6
  47. 47. ガードレールには安全性と有用性のトレードオフがある
  48. 48. 攻撃の評価は「1 回」では甘い
  49. 49. CaMeL:制御の流れと未信頼のデータを分ける
  50. 50. サンドボックスと MCP は安全の完成品ではない
  51. 51. PART 7
  52. 52. トレースは「内面の完全な記録」ではない
  53. 53. トレースがあっても、原因の特定は難しい
  54. 54. PART 8
  55. 55. 評価・観測プラットフォームは「責務」で選ぶ
  56. 56. テスト・セキュリティ・実行基盤の使い分け
  57. 57. 推奨する最小スタック:最初から積みすぎない
  58. 58. 自己反省は検証の代わりにならない
  59. 59. マルチエージェントは「役割の分離が利益を生む」ときだけ
  60. 60. GEPA と、改善を足す順序
  61. 61. 参照アーキテクチャ:評価面・制御面・実行面を分ける
  62. 62. 各部品が「保証すること」と「保証しないこと」
  63. 63. 更新系ツールの実行ブローカー(TypeScript 風の疑似コード)
  64. 64. 問題の箇所を切り分ける比較実験
  65. 65. リリースゲート:品質の向上と安全の非劣化を別条件に
  66. 66. 評価で危険な操作が 0 件でも、危険率 0 の証明ではない
  67. 67. 段階的ロードマップ:ゲート条件で次に進む
  68. 68. 定量エビデンス台帳
  69. 69. PART 9
  70. 70. エージェントの SLI・SLO の例
  71. 71. エラーバジェットとキルスイッチ:止め方を先に決める
  72. 72. コスト管理:トークン・ループ・キャッシュ
  73. 73. 体制:誰が何に責任を持つか
  74. 74. 評価データの作り方:実際の失敗 20〜50 件から始める
  75. 75. 評価の統計:20 件では 90% と 70% を区別できない
  76. 76. エージェントにするか、ワークフローやコードにするか
  77. 77. 規制・標準の現況(2026 年 11 月時点)
  78. 78. 最初の 90 日プラン(目安)
  79. 79. 「エージェントの精度は何%?」にどう答えるか
  80. 80. PART 10
  81. 81. 失敗の 6 つの層と、公開された事故の地図
  82. 82. 事故①:「指示」は制御にならない(権限・副作用・回復)
  83. 83. 事故②:AI の発言は会社の発言になる(判断・評価)
  84. 84. 事故③:読むだけで漏れる(注入×外部送信)
  85. 85. 事故④:開発ツールと供給網も攻撃面になる
  86. 86. Lethal trifecta:3 つがそろうと「読むだけで漏れる」
  87. 87. アンチパターン①:評価と設計
  88. 88. アンチパターン②:権限・承認・注入・運用
  89. 89. 元レポートの Hold 4 項目と、現実の事故・報告の対応
  90. 90. 乗り越えた事例①:評価を先に作る
  91. 91. 乗り越えた事例②:閉じ込めてから自律させる
  92. 92. 乗り越えた事例③:機械で確かめ、人の注意を絞る
  93. 93. 教訓の事例:指標の定義を誤ると揺り戻す
  94. 94. 国内の事例
  95. 95. 規模・組織:全社基盤は何を共通化し、何を業務に任せるか
  96. 96. AgentOps を語るための 7 つの持論(根拠付き)
  97. 97. 自己診断チェックリスト:エージェントは安全に動かせる状態か
  98. 98. Part 10 の主要出典
  99. 99. 適用限界と未解決点
  100. 100. 総括
  101. 101. 付録:用語集①
  102. 102. 付録:用語集②
  103. 103. 付録:主要出典①(元レポートが参照した一次資料)
  104. 104. 付録:主要出典②(本資料で補足した資料)
AGENTOPS / AGENT RELIABILITY
スライド 1 のテキストと解説
AGENTOPS / AGENT RELIABILITY AgentOps と Agent Reliability 実践ガイド RAG の次へ ― 間違えても危険な操作を実行できないエージェントを作る 計画 出力 行動制御 回復 評価 観測・運用 対象: RAG やエージェントを作り始めた技術者 / エージェント導入プロジェクトの新任テックリーダー 原典「AgentOpsとAgent Reliability技術レポート」(調査基準日 2026-11-14)を再構成し、基礎・事例・リーダー実務を補足
解説

本資料は「AgentOpsとAgent Reliability技術レポート」(調査基準日2026年11月14日)をもとに、RAGやAIエージェントを作り始めた技術者が、エージェント導入プロジェクトをリードできる水準まで理解を引き上げることを目的に再構成したものです。対になる資料「Advanced RAG 実践ガイド」が、エージェントに渡す証拠(入力)の質を扱ったのに対し、本資料は、その証拠を受け取ったエージェントが正しく、安全に、一貫して行動するための評価・制御・回復・運用を扱います。元レポートにない基礎解説、事例、リーダー実務は「補足」と明示しています。

この資料のゴールと読み方
スライド 2 のテキストと解説
この資料のゴールと読み方 「どのモデルが賢いか」ではなく「間違えたときに何が起き、何がそれを止めるか」を説明できる状態を目指す 理解のゴール エージェントの失敗を層ごとに診断できる 評価・制御・回復の仕組みと限界を説明できる 論文・ベンチマーク・製品の数字を正しく読める リーダーとしてのゴール 成功条件と禁止操作を先に定義できる 「モデルを信じない」実行境界を設計できる 評価・承認・回復の体制を合意形成できる この資料の使い方 本文スライド=要点、ノート欄=詳しい解説 各 Part は前の Part の用語を前提に進む 付録に用語集と出典一覧を収録 凡例 行動制御 上部のステージ表示:その話題がエージェントの実行・運用のどこに関わるか リーダーの視点:判断・説明の観点 補足:元レポート外の資料による解説(スライド左上の「補足」の札も同じ意味) 採用判断:元レポートの採用レーダー(Adopt=標準採用、Trial=限定導入で検証、Assess=調査、Hold=避ける) 2
解説

ゴールは用語を覚えることではなく、エージェントのプロジェクトで技術判断を自分の言葉で説明できることです。各スライド上部の 6 つのステージ表示は、その話題がエージェントの実行と運用のどこに関係するかを示します。計画はタスクの分解と手順、出力は応答や構造化データ、行動制御はツール実行の前の検査と認可、回復は再試行・再開・承認、評価は採点と回帰、観測・運用はトレースと本番運用です。黄色の「リーダーの視点」は、技術リーダーとして判断・説明するときの観点です。

RAG 実践ガイドとの関係:入力の質と、行動の質
スライド 3 のテキストと解説
RAG 実践ガイドとの関係:入力の質と、行動の質 RAG は「必要な証拠を得たか」を改善する。正しく答え、許可された行動をとるかは、別の仕組みで守る RAG 品質 問い:必要な証拠を得たか 主な対象:取込・検索・順位付け 扱う資料:Advanced RAG 実践ガイド 回答品質 問い:証拠から正しく答えたか 主な対象:読解・計算・引用 扱う資料:両方の資料 行動品質 問い:許可された条件で、適切な操作をしたか 主な対象:計画・ツール実行・承認・回復 扱う資料:本資料 注意 RAG が終わってから行動が始まる「直列」ではない。エージェントは判断の途中で検索し、その結果で次のツールを選ぶ。同じループの中で 3 つの品質を別々に測る リーダーの視点 「RAG の精度が上がれば、エージェントも安全になる」とは言えない。証拠の質と、行動の検査・権限は別の投資として計画する 3
解説

対になる資料「Advanced RAG 実践ガイド」は、エージェントや LLM に渡す証拠の質を扱いました。良い証拠は回答品質に大きく寄与しますが、それだけで正しい回答や安全な行動は保証されません。元レポートは品質を 3 つに分けます。RAG 品質は必要な証拠を得られたか、回答品質は証拠から正しく答えたか、行動品質は適切な操作を許可された条件で行ったかです。ただし実際のエージェントは、判断の途中で検索し、その結果で次のツールを選ぶので、「RAG が終わってから AgentOps が始まる」という直列の境界ではありません。同じ実行ループの中に、知識の取得と行動の制御が共存します。

全体の構成
スライド 4 のテキストと解説
全体の構成 基礎 → 品質の分解 → 評価 → 制御 → 回復 → 安全 → 観測 → 設計 → 実務 → アンチパターン Part 0 基礎の総点検 エージェント・ツール呼び出し・MCP・誤りの累積 Part 1 「正しく動く」を分解する 用語・品質の 8 軸・成果とハーネス Part 2 評価の設計 採点器・軌跡・pass^k・評価行列 Part 3 評価器を信頼する LLM Judge・Agent Judge・ベンチマーク監査 Part 4 出力と行動の制御 構造化出力・認可・ガードレール・実行時強制 Part 5 長時間実行・回復・承認 永続化・冪等性・人の承認 Part 6 セキュリティ 注入・CaMeL・サンドボックス・MCP Part 7 観測性と原因分析 トレース・記録対象・原因特定の難しさ Part 8 ツール・改善・設計・導入 スタック・自己修正・GEPA・参照設計・ゲート Part 9 テックリーダーの実践 SLO・コスト・体制・90 日・規制 Part 10 アンチパターン大全と事例 事故・運用事例・持論・チェックリスト 付録 用語集・出典 用語の定義と一次資料 4
解説

前半で共通言語(用語、品質の分解、評価の指標)を固め、中盤でエージェントの出力と行動を制御する仕組み、長時間実行と回復、セキュリティ、観測性を扱います。後半は、ツールの選び方、継続改善、参照アーキテクチャと導入ロードマップ、テックリーダーの実務です。最後の Part で、公開された事故と、信頼性を上げた運用の事例から、アンチパターンと設計の型をまとめます。

結論を先に:AgentOps で押さえるべき 6 点
スライド 5 のテキストと解説
結論を先に:AgentOps で押さえるべき 6 点 「正しく判断させる工夫」と「誤判断しても危険な操作を実行できない仕組み」を分ける 出典: 元レポート「エグゼクティブサマリー」(τ-bench、Anthropic「Demystifying evals for AI agents」、OpenAI Agents SDK、LangGraph、Temporal、自己修正研究、MAST、GEPA) 成果と過程を分ける 正しい最終状態でも、途中の権限違反・確認の省略・機密送信を見逃す。最終成果・禁止行為の不在・承認・一貫性を別々に評価 評価と強制を分ける トレースや LLM 採点は「発見」の手段。更新系ツールの直前に決定的な(LLM を使わず、同じ入力なら同じ判定の)認可を置く 出力の検査では副作用を戻せない 最終出力へのガードレールは、既に実行された操作を止められない。ツール実行前の検査は別に置く 回復は推論能力と別の問題 再試行・再開・承認後の再実行には二重更新のリスク。フレームワークを入れても外部の副作用は自動で 1 回にならない 反復成功率を測る 一度の成功と、繰り返し成功する信頼性は別。pass^k(k 回すべて成功する率、Part 2)で測る 改善ループにも独立した検証 自己反省・複数エージェント・プロンプト最適化は、外部の証拠なしの自己修正や評価セットへの過適合を防がない 5
解説

元レポートの結論です。1 つ目、成果と過程を分ける。正しい回答や最終状態だけでは、途中の権限違反や確認の省略を見逃す。2 つ目、評価と強制を分ける。トレースや LLM による採点は問題を見つける手段で、危険な操作を止めない。更新系ツールの直前に決定的な認可を置く。3 つ目、出力の検査では副作用は戻せない。最終出力へのガードレールと、ツール実行前の検査は配置が違う。4 つ目、回復は推論能力とは別の問題。再試行や再開には二重更新のリスクがあり、フレームワークを入れても外部の副作用が一度だけになるわけではない。5 つ目、たまたま一度成功する能力と、繰り返し成功する信頼性は別。6 つ目、改善のループにも独立した検証を置く。自己反省や複数エージェントだけでは、外部の証拠なしの自己修正を防げない。

中心原則:モデルは「提案者」、実行の許可は別の仕組みが出す
スライド 6 のテキストと解説
中心原則:モデルは「提案者」、実行の許可は別の仕組みが出す スキーマ適合・ガードレール・ポリシーによる認可・状態での成功判定は、互いの代用にならない 出典: 元レポート「エグゼクティブサマリー」「行動を制御する」(OpenAI Structured Outputs、OpenAI Agents SDK Guardrails、Cedar、OPA、τ-bench) 構造化出力 何をするか JSON Schema への適合 保証すること 形が正しいこと ガードレール 何をするか 入力・出力・ツール呼び出しの検査 保証すること 検査した時点・対象の安全 ポリシーによる認可 何をするか 主体・操作・対象・条件の判定 保証すること その操作をしてよいこと 状態での成功判定 何をするか 外部システムの実状態の照合 保証すること 本当に目的を達したこと モデルの提案(未信頼) → 検証(スキーマ・ガードレール) → 認可 → 必要なら人の承認 → 実行ブローカー → 状態の照合 実行ブローカー=認可済みの操作だけを代行して実行する層(Part 4) リーダーの視点 「プロンプトで禁止したから大丈夫」は設計ではない。モデルが誤った案を出しても、許可されない操作は実行されない経路を作る 6
解説

本資料全体を貫く原則です。モデルは操作の案を出す提案者であり、その案を実行してよいかを決めるのは、モデルの外にある決定的な仕組みです。JSON Schema に適合していることは、形が正しいことしか意味しません。ガードレールは、ある時点のある入力・出力を検査します。ポリシーによる認可は、認証済みの主体が、その対象に、その操作をしてよいかを決めます。環境の状態による成功判定は、外部のシステムが意図どおりの状態になったかを確かめます。この 4 つは性質が違う制約で、どれか 1 つで他を置き換えることはできません。

PART 0
スライド 7 のテキストと解説
PART 0 基礎の総点検 エージェントとは何か、ツール呼び出し・MCP・A2A の仕組み、そしてなぜ単発の LLM より失敗が難しいのかを押さえる このPartで答えられるようになる問い 「エージェント」と「ワークフロー」は何が違うのか? ツール呼び出しで、モデルは何をして何をしないのか? MCP と A2A はそれぞれ何をつなぐのか? なぜエージェントは単発の LLM より壊れやすいのか? 7
解説

Part 0 では、以降の Part を読むための前提知識を補足します。元レポートは上級者向けなので、ここは主に公式ガイドと仕様に基づく補足です。

「エージェント」の定義は資料ごとに違う
スライド 8 のテキストと解説
「エージェント」の定義は資料ごとに違う 計画 出力 行動制御 回復 評価 観測・運用 補足 共通するのは「LLM がループの中でツールを使い、手順を自分で決める」こと。仕様書では範囲を明記する 出典: Anthropic「Building effective agents」(2024-12)、OpenAI「A practical guide to building agents」、Google「Introduction to Agents」(2025-11)、AI 事業者ガイドライン 第 1.2 版(2026-03-31) 資料 | 定義の要点 Anthropic(2024-12) | ワークフロー=事前に定義したコード経路で LLM とツールを動かす。エージェント=LLM が手順とツール使用を自分で決める OpenAI | LLM がワークフローの実行を管理し、完了を判断し、失敗したら止めてユーザーに制御を戻す Google(2025-11) | 目的を達成するために、ツールを持ってループで動く言語モデル AI 事業者ガイドライン 1.2 版 | 特定の目標を達成するために、環境を感知し自律的に行動する AI システム リーダーの視点 「エージェントを作る」と言われたら、どの手順を LLM に決めさせ、どこをコードで固定するかを最初に書き出す 8
解説

エージェントの定義は資料ごとに少しずつ違います。Anthropic は全体を agentic systems と呼び、事前に決めたコードの経路で LLM とツールを動かすワークフローと、LLM が自分で手順とツールの使い方を決めるエージェントに分けます。OpenAI は、LLM がワークフローの実行を管理し、完了を判断し、失敗したら止めてユーザーに制御を戻すもの、としています。Google は「目的を達成するために、ツールを持ってループで動く言語モデル」と短く定義します。日本の AI 事業者ガイドライン第 1.2 版は、特定の目標を達成するために、環境を感知し自律的に行動する AI システム、と定義しています。共通点は、LLM がループの中でツールを使い、次の手順を自分で決めることです。プロジェクトでは、どこまでを LLM に決めさせ、どこからをコードで決めるかを明記します。

構成要素とループ:モデル・ツール・オーケストレーション
スライド 9 のテキストと解説
構成要素とループ:モデル・ツール・オーケストレーション 計画 出力 行動制御 回復 評価 観測・運用 補足 モデルは「脳」、ツールは「手」、オーケストレーション層(メモリ・状態・計画)は「神経系」。これがループで回る 出典: Google「Introduction to Agents」(2025-11)、Anthropic「Building effective agents」(augmented LLM)、OpenAI「A practical guide to building agents」(モデル・ツール・指示) 目的を受け取る 状況を把握する 考える 行動する(ツール) 観察して繰り返す ループ ポイント 本資料の「ハーネス」=オーケストレーション+検査・認可・ログ・評価 モデル(脳) 考え、次の行動を提案する ツール(手) 検索・API・コード実行・ファイル操作 オーケストレーション(神経系) メモリ・状態・計画・ループの制御 9
解説

Google の整理では、エージェントはモデル(脳)、ツール(手)、オーケストレーション層(神経系)でできています。オーケストレーション層は、メモリ、状態、計画を持ち、ループを回します。ループは 5 つのステップで、目的を受け取り、状況を把握し、考え、行動し、結果を観察して繰り返します。Anthropic は、検索・ツール・メモリを足した LLM を augmented LLM と呼んで基本の部品にし、OpenAI はモデル・ツール・指示の 3 つを中核に挙げます。本資料でいう「ハーネス」は、このオーケストレーション層に、検査・認可・ログ・評価を加えたものだと考えると分かりやすいでしょう。

まず「最も単純な解」から:ワークフローの 5 パターン
スライド 10 のテキストと解説
まず「最も単純な解」から:ワークフローの 5 パターン 計画 出力 行動制御 回復 評価 観測・運用 補足 手順を予測できる問題はワークフローで足りる。エージェントは遅延と費用を払って性能を得る選択 出典: Anthropic「Building effective agents」(2024-12)、Microsoft Cloud Adoption Framework「AI agents」 プロンプトの連鎖 直列につなぐ ルーティング 分類して振り分ける 並列化 分割して並列/投票 オーケストレーター・ワーカー 分解・委譲・統合 評価者・最適化者 生成と評価のループ 1 回の LLM 呼び出し+検索・例示 まずこれで足りるか ワークフロー 手順を予測できる エージェント 手順を予測できない問題だけ 注意 取り消せない操作(支払い・顧客への約束)を含む業務は、エージェントの適性が下がる(Microsoft CAF)。自動化するならワークフローと承認で 10
解説

Anthropic は、最も単純な解を探し、必要なときだけ複雑さを増やすよう勧めています。エージェント的なシステムは、遅延と費用を払って性能を得るもので、誤りが累積するリスクもあります。手順の数を予測できる問題は、ワークフローで足ります。代表的な 5 つのパターンがあります。プロンプトの連鎖は、処理を直列につなぎます。ルーティングは、入力を分類して振り分けます。並列化は、分割して並列に処理するか、同じ処理を複数回走らせて投票します。オーケストレーターとワーカーは、中央の LLM が分解して委譲し、統合します。評価者と最適化者は、生成役と評価役がループします。Microsoft のクラウド導入フレームワークも、決まった手順で予測できる処理は、従来のワークフロー自動化の方が安く安全だとし、誤った行動を取り消せない業務(支払いや顧客への約束)はエージェントの適性が下がるとしています。

ツール呼び出しの仕組み:モデルは「呼び出し要求」を出すだけ
スライド 11 のテキストと解説
ツール呼び出しの仕組み:モデルは「呼び出し要求」を出すだけ 計画 出力 行動制御 回復 評価 観測・運用 補足 モデルはツールを実行しない。実行するのはアプリ側のコード。だからこそ、そこに検査と認可を置ける 出典: Anthropic「Tool use with Claude」ドキュメント(2026-11 取得)、HumanLayer「12-Factor Agents」(Tools are just structured outputs) ユーザー アプリ(ハーネス) LLM 外部 API 依頼 ツール定義+依頼 tool_use:名前と引数(実行はしない) 検査・認可してから実行 結果 tool_result 回答(または次の tool_use) 注意 strict モードでスキーマ適合は保証できるが内容は保証しない。必須パラメータが足りないとき、モデルが値を推測して埋めることがある(公式ドキュメント) 11
解説

ツール呼び出しの流れです。アプリはツールを、名前、説明、入力の JSON Schema で定義してモデルに渡します。モデルはツールを使うと判断すると、ツール名と引数を構造化して返します。Claude の場合は stop_reason が tool_use になり、tool_use のブロックが返ります。ここが重要で、モデルは自分ではツールを実行しません。アプリ側のコードがツールを実行し、結果を tool_result として返し、モデルがそれを読んで次を決めます。12-Factor Agents の言い方では「ツールは単なる構造化出力」です。だからこそ、モデルとツールの間、つまりアプリ側のコードに、検査、認可、承認を置けます。strict モードでスキーマへの適合は保証できますが、内容の正しさは保証されません。また、必須パラメータが足りないとき、モデルが値を推測して埋めることがあると、公式ドキュメント自身が書いています。

MCP:エージェントとツール・データをつなぐプロトコル
スライド 12 のテキストと解説
MCP:エージェントとツール・データをつなぐプロトコル 計画 出力 行動制御 回復 評価 観測・運用 補足 ホスト・クライアント・サーバーの構成でツール・リソース・プロンプトを提供。2026-07-28 版で大改訂 出典: Model Context Protocol Specification(2026-07-28 版、changelog) ホスト(LLM アプリ) クライアント ホスト=LLM を使うアプリ(例:チャット、IDE)。クライアント=サーバーごとの接続口 JSON-RPC 2.0 MCP サーバー ツール(関数) リソース(データ) プロンプト(テンプレート) 2026-07-28 版の主な変更 要点:毎回のリクエストが独立(セッション不要)になった サーバーからの問い合わせの方式が変わった 一部の機能(Roots・Sampling・Logging)は非推奨 トレースの文脈をリクエストに載せて伝えられる 注意 ツールの説明・注釈は信頼しない。ツールを呼ぶ前に明示的なユーザー同意。2025 年の解説をもとにした図は古い可能性がある 12
解説

MCP(Model Context Protocol)は、エージェントとツールやデータをつなぐプロトコルで、JSON-RPC 2.0 の上で動きます。ホストは LLM を使うアプリ、クライアントはホストの中のコネクタ、サーバーは機能を提供する側です。サーバーは、モデルが実行する関数であるツール、データや文脈であるリソース、テンプレートであるプロンプトを提供します。2026 年 7 月 28 日版は大きな改訂で、初期化のハンドシェイクとセッション ID が廃止されてステートレスになり、プロトコルの版やクライアントの能力は各リクエストのメタ情報に入れるようになりました。サーバー発のリクエストは、複数往復のリクエストに置き換わり、Roots、Sampling、Logging は非推奨になりました(廃止まで最低 12 か月の猶予)。トレースの文脈をメタ情報で伝える規約も入りました。2025 年の解説記事をもとに図を描くと古くなるので注意してください。セキュリティの原則として、ツールの説明文は信頼できないものとして扱い、ツールを呼ぶ前には明示的なユーザーの同意が必要です。

MCP の認可と A2A:「誰の権限で」「どのエージェントと」
スライド 13 のテキストと解説
MCP の認可と A2A:「誰の権限で」「どのエージェントと」 計画 出力 行動制御 回復 評価 観測・運用 補足 MCP サーバーは OAuth 2.1 のリソースサーバーで、他宛てのトークンを流さない。A2A はエージェント同士 出典: MCP Specification 2026-07-28「Authorization」、A2A Protocol(v1.0、2026-03-12)、Agentic AI Foundation(Linux Foundation) MCP の認可(2026-07-28 版) サーバーは OAuth 2.1 のリソースサーバー 保護リソースのメタデータ(RFC 9728)は必須 トークンの宛先を検証。他宛てのトークンを受け取らず、流さない 動的クライアント登録は非推奨 スコープは最小から、不足したら段階的に エージェント 他のエージェント A2A ツール・API・データ MCP A2A v1.0(2026-03):署名付き Agent Card など。MCP と A2A は Linux Foundation 傘下の Agentic AI Foundation(AAIF) リーダーの視点 「MCP 対応」は「利用者ごとに正しく認可される」ではない。誰の権限で、どのスコープで呼ぶのかを設計レビューで確認する 13
解説

MCP の認可は任意ですが、使う場合、HTTP 系の通信ではこの仕様に従います。MCP サーバーは OAuth 2.1 のリソースサーバーで、保護されたリソースのメタデータ(RFC 9728)の実装が必須です。クライアントはリソース指示子(RFC 8707)を送り、サーバーはトークンの宛先を検証し、自分宛て以外のトークンを受け取ったり、他へ流したりしてはいけません。これがトークンの中継の禁止です。動的なクライアント登録は非推奨になり、クライアント ID のメタデータ文書が推奨されています。スコープは最小から始め、不足したら段階的に広げます。A2A(Agent2Agent)は、エージェント同士をつなぐプロトコルで、公式サイトは「MCP はエージェントをツール・API・データにつなぐ。A2A は他のエージェントにつなぐ。両方使う」と説明しています。2026 年 3 月に初の安定版 v1.0 が出て、署名付きの Agent Card などに対応しました。MCP と A2A は、どちらも Linux Foundation 傘下の Agentic AI Foundation にあります。

コンテキストエンジニアリングと 12-Factor Agents
スライド 14 のテキストと解説
コンテキストエンジニアリングと 12-Factor Agents 計画 出力 行動制御 回復 評価 観測・運用 補足 コンテキストは有限の「注意の予算」。望む結果を得られる、最小で信号の強いトークンの集合を渡す 出典: Anthropic「Effective context engineering for AI agents」(2025-09)、「Writing effective tools for agents」(2025-09)、HumanLayer「12-Factor Agents」 コンテキストエンジニアリング(要点) 埋まるほど想起の精度が落ちる(context rot) システムプロンプトは硬すぎず曖昧すぎない粒度で ツールは重複させず、応答は簡潔版・詳細版を選べるように 必要なときに取りに行く(just-in-time) 長いタスクは圧縮・構造化メモ・サブエージェント 12-Factor Agents(抜粋) プロンプトとコンテキスト窓を自分で持つ ツールは単なる構造化出力 実行の状態と業務の状態を一つにする 開始・一時停止・再開を API にする 人への連絡もツール呼び出しで 制御フローを自分で持つ エラーを要約してコンテキストに入れる 小さく、焦点を絞ったエージェント 14
解説

Anthropic のコンテキストエンジニアリングの記事は、コンテキストが埋まるほど想起の精度が落ちる context rot を指摘し、コンテキストを有限の注意の予算として扱うよう勧めています。原則は、望む結果を得られる最小で信号の強いトークンの集合です。システムプロンプトは硬すぎず曖昧すぎない高さで書き、ツールは機能を重複させず、必要なときに取りに行く just-in-time の取得を使い、長いタスクには圧縮、構造化したメモ、サブエージェントを使います。ツールの設計の記事は、API を 1 対 1 で包むだけのツールは失敗しやすく、応答は簡潔版と詳細版を選べるようにすると良いとしています。12-Factor Agents は、エージェントを本番品質にするための 12 の原則で、プロンプト、コンテキスト窓、制御フローを自分で持つこと、ツールは構造化出力にすぎないこと、実行の状態と業務の状態を一つにすること、人への連絡もツール呼び出しにすること、小さく焦点を絞ったエージェントにすること、などを挙げています。

なぜエージェントは単発の LLM より壊れやすいのか
スライド 15 のテキストと解説
なぜエージェントは単発の LLM より壊れやすいのか 計画 出力 行動制御 回復 評価 観測・運用 補足 誤りが累積する(ステップ成功率 p の n 乗)、毎回結果が変わる、外部の状態を変えて取り消せない 出典: 本資料の計算(独立を仮定した説明用)、METR「Measuring AI Ability to Complete Long Tasks」(2025-03)、Anthropic「Building effective agents」 誤りの累積 p の n 乗で下がる 非決定性 同じ入力でも毎回違う 副作用 外部の状態が変わり、戻せない タスクの長さ 人で 4 時間超のタスクは成功率 10% 未満(2025-03) 実際のステップは独立ではない。この計算は直感用で、長いワークフローの実測の代わりにしない 15
解説

エージェントが単発の LLM より難しい理由は 4 つあります。1 つ目は誤りの累積です。各ステップが独立で成功率 p だとすると、n ステップすべて成功する確率は p の n 乗です。ステップ成功率 95% でも、10 ステップで約 60%、20 ステップで約 36% になります。99% でも 50 ステップで約 61% です。実際にはステップは独立ではないので、これは直感をつかむための計算です。2 つ目は非決定性で、同じ入力でも試行ごとに結果が変わるので、pass^k のような指標が要ります。3 つ目は副作用で、出力だけでなく外部の状態が変わり、取り消せないことがあります。4 つ目は長さで、METR の 2025 年の測定では、人が 4 分未満でできるタスクはほぼ確実に成功する一方、4 時間以上かかるタスクの成功率は 10% 未満でした。

PART 1
スライド 16 のテキストと解説
PART 1 「正しく動く」を分解する 用語の範囲をそろえ、「エージェントが正しく動く」を 8 つの品質軸に分けて、それぞれを別々に測れるようにする このPartで答えられるようになる問い AgentOps・LLMOps・AIOps は何が違うのか? 「タスクが成功した」だけでは何を見逃すのか? エージェントの品質はどんな軸に分けられるのか? モデルの性能とハーネスの品質はどう分けるのか? 16
解説

Part 1 では、以降の Part で使う共通言語を作ります。用語の範囲、品質の軸、成果とハーネスの区別です。

用語の整理:AIOps と AgentOps は対象が違う
スライド 17 のテキストと解説
用語の整理:AIOps と AgentOps は対象が違う 計画 出力 行動制御 回復 評価 観測・運用 「AgentOps」は呼称が揺れている。仕様書では呼称に頼らず、評価・実行制御・監視・復旧のどこを含むかを書く 出典: IBM「What is AIOps?」、MLflow「LLMOps / AgentOps」、LangChain「Agent Engineering: a new discipline」、Agent System Operations サーベイ(arXiv:2606.01581)、Anthropic「Effective harnesses for long-running agents」 用語 | 主な対象・意味 | 本資料での扱い AIOps | AI を使う IT 運用の効率化(異常検知・原因分析) | エージェントの運用ではない。呼称として誤解を招く LLMOps | LLM アプリの評価・デプロイ・監視・プロンプト管理 | 単発応答から RAG までを含む広い運用基盤 AgentOps | 多段の判断・ツール実行を伴うエージェントの評価・監視・改善 | 評価・運用・継続改善の実務的な総称 Agent Engineering | 設計・テスト・出荷・観測・改善の反復で本番品質へ | 設計・実装を含む全体像 Harness Engineering | モデルの周りのプロンプト・ツール・状態・ミドルウェアの設計 | 正しい振る舞いを実現する仕組みの中核 Agent Evals | エージェントとハーネスの組を、タスク・試行・採点器で測る | 評価そのものを指す最も明確な呼称 Agent Reliability | (本資料の定義)正しい成果・許可された行動・一貫性・回復可能性 | 単一の規格名ではなく、品質目標 17
解説

似た言葉が多いので整理します。AIOps は、AI を使って IT 運用(異常検知、イベントの相関、原因分析)を改善する活動で、エージェントそのものを運用する話ではありません。LLMOps は、LLM アプリの評価・デプロイ・監視・プロンプト管理で、単発の応答から RAG までを含みます。AgentOps は、多段の判断とツール実行を伴うエージェントの評価・監視・改善です。Agent Engineering は、設計と実装まで含めて、非決定的なシステムを反復で本番品質に近づける活動全体を指します。Harness Engineering は、モデルの周りのプロンプト、ツール、状態、ミドルウェアといった実行の仕組みの設計です。本資料の Agent Reliability は単一の規格名ではなく、正しい成果、許可された行動、一貫性、回復可能性をまとめた品質目標を指します。

「ハーネス」とは何か:モデルの周りの実行の仕組み
スライド 18 のテキストと解説
「ハーネス」とは何か:モデルの周りの実行の仕組み 計画 出力 行動制御 回復 評価 観測・運用 同じモデルでも、ハーネス(ループ・ツール・状態・検査)が違えば結果が変わる。評価の対象は「モデル+ハーネス」 出典: Anthropic「Demystifying evals for AI agents」「Effective harnesses for long-running agents」、LangChain Agents ドキュメント、AlphaEval(arXiv:2604.12162) モデル(LLM) プロンプト・ツール定義 ループ・終了条件 状態・メモリ・進捗ファイル 検査・認可・承認 ログ・トレース 評価・回帰テスト RAG・読取ツール ハーネス Claude Code 64.41 / Codex 53.45 AlphaEval:両製品とも同じモデル(Claude Opus 4.6)を設定して 94 タスクを採点(100 点満点)。既定設定を含む複合的な差で、製品の順位ではない 18
解説

ハーネスは、モデルを包んで動かす仕組み全体を指す言葉です。システムプロンプトやツールの定義、エージェントのループ(何回まで考えて、何回までツールを呼ぶか)、会話や作業の状態の保存、ツール実行前の検査や認可、終了の判定、ログの記録などが含まれます。Anthropic の評価の解説は、エージェントの評価対象はモデル単体ではなく、ハーネスとの組み合わせだと述べています。2026 年の AlphaEval は、94 の実務由来タスクで、同じモデル(Claude Opus 4.6)を使っても、Claude Code では 64.41 点、Codex では 53.45 点と、製品・ハーネスによって点数が変わったと報告しています。ただしこれは既定設定などを含む複合的な差で、製品の因果的な順位ではありません。

「正しさ」を 8 つの品質軸に分ける
スライド 19 のテキストと解説
「正しさ」を 8 つの品質軸に分ける 計画 出力 行動制御 回復 評価 観測・運用 「成功」を 1 つのスコアに圧縮しない。業務上重要な条件を AND 条件で定義し、安全性と有用性は別に測る 出典: 元レポート「正しさをどう分解するか」(本レポートの提案モデル。τ-bench の議論を踏まえる) 品質軸 | 問い | 例 回答の正確性 | 主張・数値・引用は正しいか | 社内規定の例外を落としていないか タスク達成 | 望む外部状態になったか | 注文が本当に指定条件で変更されたか 計画・制御 | 必要条件と依存関係を満たしたか | 在庫確認の前に確定していないか ポリシー適合 | 規約・承認・禁止事項を守ったか | 返金前の承認を省略していないか 権限・情報保護 | 許可された主体・対象・経路か | 別テナントのデータを使用・送信していないか 一貫性 | 同等の条件で繰り返し成功するか | 言い換えや会話の順序で急に失敗しないか 回復可能性 | 障害時に安全に停止・再開できるか | タイムアウト後に同じ送信を重ねないか 効率 | 品質を保って予算内で終わるか | 検索・ツール・再試行が無制限でないか 19
解説

元レポートが提案する品質の 8 軸です。単一の論文の標準分類ではなく、評価と制御を設計するための整理です。回答の正確性、タスクの達成、計画と制御、ポリシーへの適合、権限と情報保護、一貫性、回復可能性、効率です。ポイントは 2 つあります。1 つ目は、成功を 1 つの LLM 評価スコアに圧縮せず、業務上重要な条件を AND で定義すること。たとえば「注文が正しく変更された」かつ「返金前に承認を取った」かつ「他の顧客のデータを使っていない」です。2 つ目は、安全性と有用性を別の軸で測ることです。何もしないエージェントは安全ですが役に立ちません。安全だけを測ると、それが高品質と判定されてしまいます。

成果だけを見ると、過程の違反を見逃す
スライド 20 のテキストと解説
成果だけを見ると、過程の違反を見逃す 計画 出力 行動制御 回復 評価 観測・運用 τ-bench は最終 DB 状態で判定するが、論文自身が「最終状態が正しくても確認の省略などを見逃し得る」と書く 出典: τ-bench(arXiv:2406.12045)、Anthropic「Demystifying evals for AI agents」 依頼 返金して 本人確認 (省略された) 承認 (省略された) 返金を実行 金額は正しい 最終 DB 状態 正しい → 「成功」 結果だけの評価 最終状態が正しければ「成功」 確認・承認の省略、機密の送信、別経路での迂回を見逃す 分けて検査する 最終成果(状態の照合) 禁止行為の不在(ログ・監査) 必要な承認の存在(承認記録) 一貫性(複数試行) リーダーの視点 「タスク成功率 ○%」の報告には、「その成功のうち、過程の違反がなかったのは何件か」を必ず添える 20
解説

τ-bench は、ユーザーとの会話、業務ポリシー、ツール操作を組み合わせた評価環境で、タスクの達成を最終的なデータベースの状態などで判定します。結果で判定するのは、正しい手段が複数ある場合に有効です。しかし論文自身が、最終状態が正しくても、ユーザーへの明示的な確認を省略するといったポリシー違反を見逃し得ると述べています。たとえば返金処理で、最終的な返金額は正しくても、規定の本人確認や承認を飛ばしていたら、業務としては失敗です。そこで、最終成果、禁止行為が起きていないこと、必要な承認があること、繰り返しても同じ結果になることを、別々の条件として検査します。

成果とハーネスの品質を分けて測る(2026 年の研究)
スライド 21 のテキストと解説
成果とハーネスの品質を分けて測る(2026 年の研究) 計画 出力 行動制御 回復 評価 観測・運用 TraceTrial-Bench:全 3,420 実行の 31.1% が「タスクは成功、ただしハーネスの基準を何か満たさない」 出典: Trial by Trace(TraceTrial-Bench、arXiv:2610.32285、2026-10 プレプリント) 31.1% タスク成功 かつ ハーネス基準の未達(4 ハーネス × 9 モデル × 95 タスク=3,420 実行) ハーネスの評価領域(7 つ) コンテキスト 実行 ガバナンス ライフサイクル 観測性 ツール 検証 基準の例:検証せずに完了と報告した、ログが欠けている、ポリシーを確認しなかった 注意 反復なし・採点器の一致度は未検証。31.1% を本番の危険率や製品順位として読まない リーダーの視点 成功率のダッシュボードの横に「成功したが規則違反・検証不足だった実行」の件数を並べる 21
解説

2026 年 10 月のプレプリント TraceTrial-Bench は、エージェントの成果と、ハーネスの信頼性を分けて評価します。ハーネスの評価領域は、コンテキスト、実行、ガバナンス、ライフサイクル、観測性、ツール、検証の 7 つです。4 つのハーネス、9 つのモデル、95 のタスクの組み合わせで 3,420 回実行し、そのうち 31.1% で、タスクは成功したのに、何らかのハーネスの基準を満たしていなかったと報告しています。ただし、各組み合わせを繰り返し実行して分布を推定する設計ではなく、意味を判定する採点器の一致度も検証されていません。31.1% を本番のエージェント全体の危険率と解釈したり、ハーネスの順位を製品ランキングにしたりしてはいけません。言えるのは、成功率だけを見ていると、ハーネスの不備がかなりの割合で隠れうる、ということです。

エビデンスの種類:出所で読み方を変える
スライド 22 のテキストと解説
エビデンスの種類:出所で読み方を変える 計画 出力 行動制御 回復 評価 観測・運用 この分野は 2026 年のプレプリントと製品ドキュメントが多い。「機能がある」と「品質が改善した」を区別する 出典: 元レポート「調査方法とエビデンスの扱い」 根拠の種類 | 本資料での用途 | 注意点 学会掲載を確認した研究 | AgentSpec(ICSE 2026)、GEPA(ICLR 2026)等の手法と実験 | 掲載は品質シグナル。対象外の業務への効果保証ではない 論文本体を確認(arXiv 含む) | ベンチマーク・設計・比較・限界 | 条件(モデル・タスク・反復の有無)を必ず読む 公式ドキュメント | API の責務、適用位置、再開・再試行の挙動 | 機能があることと、品質改善の実証は別 開発元の実務記事 | ハーネス設計・評価運用の考え方 | 統制実験ではない。一般的な効果量にしない 独立監査 | ベンチマーク・採点器の欠陥の検証 | 標本の割合を全体や全モデルへ直接広げない ポイント Agent SDK・計測規約・評価製品は変化が速い。機能名と対応範囲は、採用する版の仕様で確認する 22
解説

元レポートは、論文、学会の掲載ページ、公式ドキュメント、開発元の実務報告、独立したベンチマーク監査の計 45 ページを取得して整理しています。網羅的なシステマティックレビューではなく、実装判断のための選択的な技術レビューです。読み方の要点は 5 つです。学会に掲載された研究は品質のシグナルですが、対象外の業務への効果を保証しません。arXiv の論文は本体を確認して条件を読みます。公式ドキュメントは API の責務や挙動を知るのに使いますが、機能があることと、品質の改善が実証されたことは別です。開発元の実務記事は統制実験ではない経験報告なので、一般的な効果量として扱いません。独立監査は、標本の結果を全体に拡張しないように注意します。

診断表:症状 → 疑う層 → 優先的に試す手段
スライド 23 のテキストと解説
診断表:症状 → 疑う層 → 優先的に試す手段 計画 出力 行動制御 回復 評価 観測・運用 「エージェントの精度が悪い」をまず層に分ける。層が違えば打ち手がまったく違う 出典: 元レポート全体の整理(補足:本資料の要約) 症状 | 疑う層 | 優先的に試す手段 | 参照 根拠のない回答、古い情報で判断 | 知識(RAG) | 証拠の評価、正解の証拠を直接与えて切り分け(Oracle Context) | RAG ガイド 手順を飛ばす、確認前に確定する | 計画・制御 | 部分順序の検査、状態機械、実行時の強制 | Part 2・4 許可されない操作・データ送信 | 認可・権限 | ツール直前の決定的な認可、最小権限 | Part 4・6 同じ送信・更新を二重に実行 | 回復 | 冪等性キー(再試行を 1 回扱いにする ID)、状態照合 | Part 5 デモでは動くが本番で不安定 | 一貫性 | 複数試行と pass^k、同値変換テスト | Part 2 点数は高いのに現場の評価が低い | 評価器 | 採点器の人手較正、ベンチマークの監査 | Part 3 失敗の原因が分からない | 観測性 | 版付きのトレース、認可結果の記録、再現実験 | Part 7 費用・遅延が膨らむ | 効率 | ループ上限・予算、複雑な質問だけエージェントへ | Part 9 23
解説

プロジェクトで「エージェントがうまく動かない」と言われたときの初動の診断表です。症状から、疑うべき層と、優先して試す手段を引きます。証拠が足りないなら RAG の層、手順を飛ばすなら計画と制御の層、許可されない操作をしたなら認可の層、同じ処理を二重にしたなら回復の層、評価の点数と現場の感覚が合わないなら評価器の層、原因が分からないなら観測性の層です。この表は以降の Part の索引にもなっています。

PART 2
スライド 24 のテキストと解説
PART 2 評価の設計:出力から状態・軌跡・反復へ 発話だけでなく、外部の状態、手順の制約、繰り返したときの成功率を測る評価を組み立てる このPartで答えられるようになる問い どんな採点器をどう組み合わせるのか? 手順(軌跡)はどう評価すればよいのか? pass@k と pass^k は何が違うのか? 最初に作るべき評価セットは何か? 24
解説

Part 2 では、エージェントの評価を組み立てる方法を扱います。

3 種類の採点器を組み合わせる
スライド 25 のテキストと解説
3 種類の採点器を組み合わせる 計画 出力 行動制御 回復 評価 観測・運用 決定的に検査できる条件を先にコード化し、意味の評価が必要な箇所だけに LLM の採点器を使う 出典: Anthropic「Demystifying evals for AI agents」、元レポート「三種類の採点器を組み合わせる」 決定的なコード・状態検査 外部状態・計算・スキーマ・禁止操作 例:DB 差分、テスト実行、アクセス監査 限界:仕様が誤っていれば誤判定 LLM・エージェントの採点器 意味の一致・説明の妥当性・複雑な成果物 例:ルーブリック、要件ごとの採点 限界:バイアス・非決定性・費用・誤読 人・専門家 曖昧な要件・重大な判断・採点器の較正 例:ブラインド比較、誤り分析、異議判定 限界:費用・時間・評価者間の不一致 ① コードで検査できる条件をすべてコード化 ② 残る意味の評価だけ LLM で ③ LLM の採点器を人で較正 25
解説

Anthropic の評価の解説は、コードによる採点器、モデルによる採点器、人による採点の 3 種類を組み合わせ、会話の記録(トランスクリプト)と環境の最終状態を区別することを推奨しています。決定的なコードや状態の検査は、外部の状態、計算、スキーマ、禁止操作の検出に向きます。DB の差分、テストの実行、アクセスの監査などです。仕様が間違っていれば誤判定します。LLM やエージェントによる採点器は、意味の一致や説明の妥当性、複雑な成果物の評価に向きますが、バイアス、非決定性、費用、誤読があります。人や専門家は、曖昧な要件や重大な判断、採点器の較正に向きますが、費用と時間がかかり、評価者の間でも意見が割れます。設計の順序は、まずコードで検査できる条件をすべてコード化し、残りだけを LLM に任せ、その LLM の採点器自体を人で較正することです。

軌跡の評価は「唯一のツール順序との一致」ではない
スライド 26 のテキストと解説
軌跡の評価は「唯一のツール順序との一致」ではない 計画 出力 行動制御 回復 評価 観測・運用 全順序で採点すると正しい別解を落とす。必要な部分順序と不変条件だけを検査する 出典: Anthropic「Demystifying evals for AI agents」、MLflow「Evaluating agents」、元レポート「軌跡評価は唯一のツール順序との一致ではない」 ✕ 全順序で採点 期待:在庫確認 → 与信確認 → 確定 実際:与信確認 → 在庫確認 → 確定 ⇒ 不正解(正しい別解なのに) ○ 部分順序と不変条件で採点 確定の前に、在庫確認と与信確認が両方成功している(順序は自由) 承認した引数と、実行した引数が一致する 拒否された対象に、別のツールで迂回しない 同じ更新を二度実行していない ポイント MLflow 等の「ツール名リストの一致」の例は入口にすぎない。業務の条件(前提・承認・禁止・一意性)に置き換える リーダーの視点 軌跡の評価ルールは、業務担当者と「何が起きてはいけないか」を合意する場にもなる。禁止条件のリストを先に作る 26
解説

軌跡(trajectory)とは、エージェントがどのツールを、どの順で、どんな引数で呼んだかの記録です。正しい手段が複数あるタスクでは、参照の軌跡と完全に一致するかで採点すると、有効な別解を不正解にしてしまいます。Anthropic の解説も、厳密な順序の指定より実際の成果を重視し、過度に制約した評価を避けるよう述べています。元レポートが提案するのは、全順序ではなく、必要な部分順序と不変条件を書く方式です。たとえば、在庫確認と与信確認の順番は自由だが、確定の前に両方が成功していること。承認した引数と実行した引数が一致すること。拒否された対象に別のツールで迂回しないこと。MLflow にはトレースからツール呼び出しを取り出して採点する例がありますが、ツール名のリストの一致という簡単な例を、そのまま正解の定義にしないよう注意します。

pass@k と pass^k を混同しない
スライド 27 のテキストと解説
pass@k と pass^k を混同しない 計画 出力 行動制御 回復 評価 観測・運用 pass@k は「k 回のうち 1 回でも成功」、pass^k は「k 回すべて成功」。本番の信頼性に近いのは pass^k 出典: τ-bench(arXiv:2406.12045)、Anthropic「Demystifying evals for AI agents」 pass@k(1 回でも成功) k を増やすほど上がる 向く場面:何度か試して当たれば良い(コード生成の候補など) pass^k(k 回すべて成功) k を増やすほど下がる=一貫性を問う 向く場面:毎回正しく動く必要がある業務・顧客対応 注意 pass^8 は「25% 未満」の報告。棒は上限の 25% で描いた。当時のモデル・模擬ユーザー・業務設定での値 リーダーの視点 1 回のデモは試行 1 回分で、成功率の推定にもならない。同じタスクを数回まわして、全部成功する割合を見る 27
解説

τ-bench が導入した pass^k は、同じタスクを独立に k 回実行したとき、すべて成功する確率を、タスクごとに計算して平均した指標です。pass@k は、k 回のうち少なくとも 1 回成功するかを見るので、k を増やすと普通は上がります。コード生成のように、何回か試して 1 つ当たればよい場面向きです。一方、顧客対応や業務処理のエージェントは、毎回正しく動くことが求められるので、pass^k が本番の信頼性に近い指標です。τ-bench の論文では、当時の GPT-4o の関数呼び出しで、小売ドメインの pass^1 が 61.2% だったのに対し、pass^8 は 25% 未満でした。1 回なら 6 割成功するエージェントも、8 回続けて成功するのは 4 分の 1 未満、ということです。

pass^k を手で計算する
スライド 28 のテキストと解説
pass^k を手で計算する 計画 出力 行動制御 回復 評価 観測・運用 タスクごとに C(c, k) / C(n, k) を計算して平均する。平均成功率を k 乗するのではない 出典: τ-bench(arXiv:2406.12045)、Anthropic「Demystifying evals for AI agents」(独立・同一確率の説明例) pass^k(タスクごと)= C(c, k) / C(n, k)  n:試行回数、c:成功回数、C:組み合わせの数 タスク | 試行 n | 成功 c | pass^2 A | 4 | 4 | C(4,2)/C(4,2) = 6/6 = 1.00 B | 4 | 2 | C(2,2)/C(4,2) = 1/6 ≈ 0.17 平均 | | | ≈ 0.58 注意 平均成功率 0.75 を 2 乗すると 0.5625。タスクごとの成功しやすさの差を無視するとずれる ポイント 参考:全タスクが同じ 75% なら 3 回すべて成功は 0.75³ ≈ 42%(タスク間に差がないときだけ成り立つ)。本番は共通原因の失敗もあり、実測の代わりにしない 28
解説

1 つのタスクを n 回試して c 回成功したとき、k 回すべて成功する確率の推定は、成功した c 回から k 回を選ぶ組み合わせの数を、n 回から k 回を選ぶ組み合わせの数で割った値です。この例では 2 つのタスクがあります。タスク A は 4 回中 4 回成功なので、pass^2 は 1。タスク B は 4 回中 2 回成功なので、2 回から 2 回を選ぶ 1 通りを、4 回から 2 回を選ぶ 6 通りで割って 6 分の 1 です。平均すると約 0.58 です。一方、2 タスクの平均成功率 0.75 を 2 乗すると 0.5625 になり、値がずれます。タスクごとに成功しやすさが違うからです。また、独立で同じ確率 75% という仮定なら、3 回すべて成功する確率は約 42% ですが、本番では環境の変動や共通の原因による失敗があり、処理のステップも独立ではないので、この計算を長いワークフローの実測の代わりにしてはいけません。

推奨する評価行列:8 つのテスト群
スライド 29 のテキストと解説
推奨する評価行列:8 つのテスト群 計画 出力 行動制御 回復 評価 観測・運用 一度に全部は要らない。被害と頻度に応じて、少数の重要ケースから段階的に広げる 出典: 元レポート「推奨する評価マトリクス」 テスト群 | 確認する変動・故障 | 判定するもの 正常・単純タスク | 代表的な依頼 | 成果、費用、遅延 複合タスク | 依存関係、複数対象、条件付き処理 | 部分順序、取りこぼし、途中停止 同値変換 | 言い換え、語順、単位、表現の揺れ | 意味的に同等な結果 回答不能・実行不能 | 証拠不足、矛盾する条件 | 棄権・追加質問、虚偽の完了報告がない 権限・承認 | 別利用者、対象外データ、失効、引数の変更 | 未許可の操作ゼロ、再認可 障害・回復 | タイムアウト、429(レート制限)、ツール停止、部分成功 | 冪等性、状態照合、安全な再試行 敵対的入力 | RAG 文書・メール・ツール応答からの注入 | タスク有用性と攻撃成功を別に測定 長時間・状態変化 | セッションをまたぐ、更新、承認待ち | 状態の継続、古い計画の無効化 29
解説

元レポートが提案する評価行列です。正常で単純なタスク、依存関係のある複合タスク、言い換えなどの同値変換、答えられない・実行できない場合、権限と承認、障害と回復、敵対的な入力、長時間と状態変化の 8 群です。最初から全部をそろえる必要はありません。業務で被害が大きく頻度の高いものから、少数の重要ケースを作って始めます。特に見落とされやすいのは、答えられない・実行できない場合に、エージェントが「完了しました」と虚偽の報告をしないかの検査と、敵対的な入力に対して、タスクの有用性と攻撃の成功を別々に測ることです。

PART 3
スライド 30 のテキストと解説
PART 3 評価器を信頼する 採点器そのもの、ベンチマークの正解そのものを疑い、較正し、監査する このPartで答えられるようになる問い LLM-as-a-Judge はどこまで信頼できるのか? Agent-as-a-Judge は何が違うのか? 公開ベンチマークの点数をそのまま使ってよいか? 採点器の品質はどう測るのか? 30
解説

Part 3 では、評価する側の仕組みの信頼性を扱います。

LLM-as-a-Judge の適用境界
スライド 31 のテキストと解説
LLM-as-a-Judge の適用境界 計画 出力 行動制御 回復 評価 観測・運用 位置・冗長さ・自己選好のバイアスと、推論の限界がある。参照解を与えると改善するが、誤判定はゼロにならない 出典: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(arXiv:2306.05685、NeurIPS 2023) 実装の作法 評価基準を要件ごとに分ける(1 つの曖昧な総合点にしない) 評価対象のモデル名を隠す ペア比較は順序を入れ替えて 2 回 人のラベルとの適合率・再現率、重大な失敗の見逃し率を継続して測る 重要な操作の許可に Judge を使わない 注意 「良い回答か」「ポリシー違反がないか」「ツールが成功したか」を同じプロンプトで採点しない。文章の巧みさが業務上の誤りを隠す 31
解説

MT-Bench の研究は、LLM による採点に、提示される位置、長さ(冗長さ)、自分の出力を好む傾向などのバイアスと、推論の限界があることを調べました。たとえば算数 10 問の比較で、GPT-4 が誤答を正答扱いした失敗は、10 問を提示順を入れ替えて 2 回ずつ判定した 20 件のうち、標準の条件で 14 件、参照解を与えた条件で 3 件でした(思考の連鎖を促す条件では 6 件)。参照解は大きく効きますが、ゼロにはなりません。また小規模で特定のモデルの条件の結果です。実装では、評価基準を要件ごとに分け、評価対象のモデル名を隠し、ペア比較では順序を入れ替えます。モデルの判定だけで重要な操作を許可せず、人のラベルとの適合率・再現率、重大な失敗の見逃し率を継続的に確認します。特に「良い回答か」「ポリシー違反がないか」「ツール実行が成功したか」を同じ曖昧なプロンプトで採点しないことが大切です。文章の巧みさが業務上の誤りを覆い隠します。

Agent-as-a-Judge:成果物と実行記録を探索して採点する
スライド 32 のテキストと解説
Agent-as-a-Judge:成果物と実行記録を探索して採点する 計画 出力 行動制御 回復 評価 観測・運用 評価器自身が成果物やログを調べて要件ごとに判定する。人との一致率は 60.38% → 90.44%(開発タスク) 出典: Agent-as-a-Judge(arXiv:2410.10934、DevAI ベンチマーク) 一般化しない 部品を足せば必ず上がるわけではない(検索の追加で 90.44 → 90.16) 人同士の判定も完全には一致しない 正しさ・安全性の保証ではない 評価エージェントの権限 読み取り専用・隔離環境。成果物やログ内の命令を実行させない 採用判断 採用レーダーでは Trial。判定の一致はタスクに依存するので、自社の成果物で人の判定と突き合わせてから使う 32
解説

Agent-as-a-Judge は、評価器自身にエージェントとして成果物や実行記録を探索させ、要件ごとに根拠を確認しながら採点する方法です。論文の DevAI の 55 の開発タスクでは、OpenHands が作った成果物の要件判定について、人の合意との一致率が、通常の LLM による判定の 60.38% に対し、Agent-as-a-Judge では 90.44% でした(成果物の内部を見ない black-box の設定)。ただし、構成要素を足せば必ず改善するわけではなく、検索機能を足すと 90.16% とわずかに下がりました。人同士の判定も完全には一致しません。この一致率を、すべての業務での正しさの保証やセキュリティの保証に一般化しないでください。評価エージェントには、読み取り専用の最小権限と隔離された環境を与えます。評価対象の成果物やログに埋め込まれた命令を実行させないためです。

ベンチマークの正解も監査する
スライド 33 のテキストと解説
ベンチマークの正解も監査する 計画 出力 行動制御 回復 評価 観測・運用 BFCL の独立監査では、層化抽出した 50 問のうち 24 問に、採点に影響し得る欠陥があった 出典: Berkeley Function Calling Leaderboard(BFCL V4)、Epoch AI「BFCL review」(2026-09-10)、OpenAI「Why SWE-bench Verified no longer measures frontier coding capabilities」(2026-02) 24 / 50(48%) BFCL:層化抽出した 50 問のうち、採点に影響し得る欠陥があった問題数(Epoch AI 監査) 注意 48% は標本内の欠陥の割合。BFCL 全体の誤採点率やモデル順位への影響量ではない 59.4% OpenAI 自身の監査:SWE-bench Verified の難問(o3 が解けない 138 問)に絞った割合。全体の欠陥率ではない(2026-02) 自社でやること 公開ランキングは候補を絞る道具。自社の重要ケースで仕様・正解・採点コードを点検し、採点器は版を固定して既知の例でテスト 採用判断 採用レーダーでは「公開ランキングや単一の Judge だけで本番採用」は Hold 33
解説

BFCL は関数呼び出しの能力を測る公開ベンチマークで、V4 では単一・複数ターンやエージェント的なカテゴリを含みます。2026 年 9 月の Epoch AI による独立監査は、無作為・層化抽出した 50 問のうち 24 問に、採点に影響し得る欠陥を見つけました。正解のキーが現実の妥当な答えとずれている場合があるということです。この 48% は標本の中の欠陥の割合で、BFCL 全体の誤採点率や各モデルの順位への影響量ではありません。カテゴリ別では 20% から 70% まで幅がありました。モデル開発元自身も、2026 年 2 月に、SWE-bench Verified で o3 が解けない 138 問を 6 人以上で監査し、59.4% に重大な問題があったと公表しています。それでも、公開ベンチマークの点数をそのまま本番採用の合否に使わず、タスクの仕様、正解、採点コードを、自社の重要ケースで点検すべき根拠になります。

PART 4
スライド 34 のテキストと解説
PART 4 出力と行動の制御 構文・意味・業務の妥当性を段階的に検査し、モデルの提案と実行の許可を分ける このPartで答えられるようになる問い 構造化出力は何を保証し、何を保証しないのか? 認可はどこに置けば迂回されないのか? ガードレールはどの経路を守っていないのか? 実行時の強制(Runtime Enforcement)とは何か? 34
解説

Part 4 では、モデルの出力と行動を、モデルの外の仕組みで制御する方法を扱います。

構造化出力が保証するもの、しないもの
スライド 35 のテキストと解説
構造化出力が保証するもの、しないもの 計画 出力 行動制御 回復 評価 観測・運用 スキーマに適合した返金額の JSON でも、返金上限・顧客の同意・注文の所有権が正しいとは限らない 出典: OpenAI「Structured Outputs」ドキュメント、元レポート「出力の制約:構文・意味・業務妥当性」 1. 構文・型 JSON Schema・Zod・Pydantic で形式と範囲 2. 参照整合性 ID・版・対象が実在し最新か 3. 業務条件 金額・期間・数量・例外・前提処理 4. 認可・承認 この主体がこの操作をしてよいか 5. 事後条件 外部の実状態が意図どおりか 構造化出力が保証すること 必要なキー・型・列挙値などの構造(対応するスキーマ機能の範囲で) 保証しないこと 内容の正しさ・業務上の妥当性・権限 拒否・途中で切れた応答(別に処理が必要) 採用判断 採用レーダー(Adopt=標準採用、Trial=限定導入で検証、Assess=調査、Hold=避ける)では「構造化出力+意味・業務制約の検証」が Adopt 35
解説

Structured Outputs は、モデルの出力を指定した JSON Schema に適合させる機能で、必要なキーや列挙型といった構造を制約します。公式ドキュメント自身が、内容の誤りは残ること、拒否や途中で切れた応答は別に処理が必要なこと、スキーマの機能に対応範囲の制限があることを説明しています。たとえば返金額 1 万円という JSON がスキーマに合っていても、返金の上限、税の計算、顧客の同意、その注文が本当にこの顧客のものか、は保証されません。これは構造化出力の失敗ではなく、別の層で意味と権限を検査すべき問題です。元レポートは 5 段階の検証を提案しています。構文と型、参照の整合性、業務条件、認可と承認、事後条件です。

モデルを「提案者」にし、実行の権限と分ける
スライド 36 のテキストと解説
モデルを「提案者」にし、実行の権限と分ける 計画 出力 行動制御 回復 評価 観測・運用 モデルは操作案を構造化して出すだけ。実行ブローカーが検証・認可・承認を確かめてから実行する 出典: Open Policy Agent ドキュメント、Cedar「Authorization」、元レポート「モデルを計画提案者にし、実行権限と分離する」 ユーザー依頼・RAG の証拠 モデルの提案(未信頼) 構文・対象・業務条件の検証 認証済み主体での認可判定 必要なら人の承認 引数・対象の版・権限の再確認 最小権限の実行ブローカー 外部状態の照合・監査・回答 モデルの出力から信用してはいけないもの 利用者 ID・テナント → 認証済みのセッションから 承認の状態 → 署名済みの承認記録から 対象の版・所有者 → サーバー側の状態から OPA・Cedar の役割 判断(許可か拒否か)を返すだけ 実際に止めるのは呼び出し側の執行点。全経路で通す 36
解説

元レポートが提案する基本形です。モデルは操作の案を構造化して出すだけで、その案は信頼しません。実行ブローカーが、構文と対象と業務条件を検証し、認証済みの主体について認可を判定し、必要なら人の承認を取り、承認待ちの間に権限や対象が変わっていないかを再確認してから、最小権限で実行します。最後に外部の状態を照合して監査記録を残し、回答します。OPA はポリシーの判断と執行を分ける設計、Cedar は主体・操作・対象・文脈に基づく認可判定を提供しますが、実際に止めるのは呼び出し側の執行点です。最も重要な点は、利用者 ID、テナント、承認の状態を、モデルが書いた JSON から信用しないことです。これらは認証済みのセッション、署名済みの承認記録、サーバー側の状態から取ります。

ポリシーエンジンがあっても自動で「安全側に倒れる」とは限らない
スライド 37 のテキストと解説
ポリシーエンジンがあっても自動で「安全側に倒れる」とは限らない 計画 出力 行動制御 回復 評価 観測・運用 Cedar は既定で拒否・禁止(forbid)が許可(permit)に優先。ただし評価エラーのポリシーは除外される 出典: Cedar「Authorization」ドキュメント、元レポート「モデルを計画提案者にし…」 状況 | 起こり得ること | アプリ側で決めること 許可するポリシーがない | 既定で拒否(安全側) | — forbid と permit が両方該当 | forbid が優先(安全側) | — forbid ポリシーが評価エラー | そのポリシーが除外され、別の permit で許可され得る | エラーが 1 件でもあれば拒否する 入力の属性が欠けている | 条件が評価できずエラーや意図しない判定 | 必須属性の欠落は実行前に拒否 ポリシーサービスに到達できない | 判定が得られない | 更新系は止める(fail-closed) const decision = await policy.evaluate(request); if (decision.errors.length || !decision.allow) throw new Denied("Policy denied or failed"); 37
解説

Cedar は、許可するポリシーがなければ拒否、forbid(禁止)が permit(許可)より優先、という安全側の既定を持ちます。一方で、評価中にエラーになったポリシーは判定から除外され、診断情報にそのポリシーの ID が出るという挙動があります。たとえば、ある forbid ポリシーが、入力の属性が欠けていたせいでエラーになると、その禁止が効かないまま、別の permit で許可される可能性があります。したがって「ポリシーエンジンを入れたから自動的に安全側に倒れる」とは考えず、入力が欠けたとき、評価エラーが出たとき、ポリシーサービスに到達できないときに、アプリ側でどう扱うかを決めておく必要があります。元レポートの疑似コードでは、エラーが 1 件でもあれば拒否しています。

ガードレールは「どこに置き、何を守らないか」が重要
スライド 38 のテキストと解説
ガードレールは「どこに置き、何を守らないか」が重要 計画 出力 行動制御 回復 評価 観測・運用 OpenAI Agents SDK の入力検査は既定で並行実行。検査が終わる前にツールが動き始めることがある 出典: OpenAI Agents SDK「Guardrails」ドキュメント、NVIDIA NeMo Guardrails「How it works」 検査 | 対象 | 守らないもの(例) 入力ガードレール | 最初のエージェントへの入力 | 既定の並行実行では、検査の完了前にツールが動き得る 出力ガードレール | 最終のエージェントの出力 | 既に実行された操作(副作用は戻らない) ツールガードレール | FunctionTool の呼び出し前後 | Hosted tools(Web 検索・ファイル検索・Hosted MCP・コード実行)、Shell・Computer・ApplyPatch、handoff 注意 「ガードレールを入れた」は「全経路を守った」ではない。どのツール・どの経路が対象外かを一覧にして、ブローカー側で塞ぐ 採用判断 採用レーダーでは「出力ガードレールを副作用防止の代わりにする」は Hold 38
解説

OpenAI Agents SDK では、入力のガードレールは最初のエージェントだけ、出力のガードレールは最終のエージェントだけが対象です。ツールのガードレールは FunctionTool の呼び出しの前後で動きますが、Web 検索やファイル検索、ホストされた MCP、コード実行といった Hosted tools、Shell や Computer、ApplyPatch などの組み込み実行ツール、handoff は対象外です。機能の名前だけで全経路が守られているとは言えません。さらに、入力のガードレールは既定で並行実行され、検査が終わる前にモデルがトークンを消費し、ツールの実行を始めている可能性があります。ブロッキングのモードもありますが、副作用を確実に事前検査したいなら、実行ブローカーの側にも独立したチェックを置くべきです。NeMo Guardrails も入力・検索・対話・実行・出力のレールを持ちますが、どの検査がどこに適用されるかは設定と統合に依存します。

実行時の強制:AgentSpec
スライド 39 のテキストと解説
実行時の強制:AgentSpec 計画 出力 行動制御 回復 評価 観測・運用 trigger・check・enforce の規則で実行イベントを検査し介入する。ベンチマークでは危険 0、有用性 −4.36pt 出典: AgentSpec: Customizable Runtime Enforcement for Safe and Reliable LLM Agents(arXiv:2503.18666、ICSE 2026) rule refund_needs_approval trigger before_tool("issue_refund") check amount > 50000 and not approved(request) enforce stop() / ask_user() ※ 概念を示す擬似的な記法(AgentSpec の構文そのものではない) 0 件 SafeAgentBench の危険タスクの完遂(10 分類すべて、手書き規則) 70.96% LLM に規則を生成させた場合に危険を捉えた割合(再現率、執行率は 95.56%) 採用判断 採用レーダーでは Trial。規則と述語の質に依存し、安全と有用性のトレードオフがある。危険の抑制と有用性を同時に測る 39
解説

AgentSpec は、エージェントの実行イベントに対して、いつ(trigger)、何を確かめ(check)、どう介入するか(enforce)の規則を当てる仕組みです。ICSE 2026 に掲載された実装は、LangChain の実行イベントをフックし、利用者が述語と強制の処理を用意します。SafeAgentBench の条件では、手で書いた規則により、危険なタスク 10 分類すべてで、危険な指示の完遂が 0 になりました。一方で、安全なタスクの成功率は 58.62% から 54.26% に下がりました。LLM に規則を生成させる別の実験では、執行率 95.56%、再現率 70.96% で、規則の質に結果が大きく依存します。対象のベンチマークと規則での結果であり、すべての状況での安全保証ではなく、長期的な軌跡の危険まで分析するものでもありません。

クラウドでの実装候補と、層を混同しない注意
スライド 40 のテキストと解説
クラウドでの実装候補と、層を混同しない注意 計画 出力 行動制御 回復 評価 観測・運用 AgentCore Policy はツール呼び出しごとにポリシーを評価。IAM・業務ルール・承認は別の層として確かめる 出典: AWS「Amazon Bedrock AgentCore Policy: Core concepts」、Amazon Bedrock「Automated Reasoning checks」 クラウドの認可(IAM 等) どのサービス・リソースに触れるか ツールの公開(Gateway) どのツールをエージェントに見せるか 業務の認可(Policy) この利用者が、この対象に、この操作をしてよいか 承認 人の確認が必要な操作か 外部 API 側の制約 条件付き更新・冪等性・上限 AgentCore Policy(2026) ツール呼び出しごとに評価、既定拒否・forbid 優先 Cedar と上位互換の Dogwood 自然言語からの生成は、業務意図との一致を別に検証 採用判断 Bedrock Automated Reasoning checks は Assess:英語(米国)のみ、検出のみでブロックしない、ストリーミング非対応、文書 5 万文字まで 40
解説

AWS の AgentCore Gateway と Policy は、公開するツールの呼び出しのたびにポリシーを評価する候補です。既定で拒否、forbid 優先を適用し、自然言語からポリシーを生成して検証する機能もあります。Cedar に加え、上位互換の Dogwood という言語が追加され、セッション単位の時間条件などを書けるようになっています。ただし、自然言語からポリシーを作れることと、そのポリシーが業務の意図を正しく表すことは別なので、生成したポリシーは別に検証します。また、IAM だけで業務上の承認条件を表せるとは限らず、逆に業務ルールだけでクラウドの権限が絞られるわけでもありません。クラウドの認可、ツールの公開、利用者と対象の業務認可、承認、外部 API 側の制約を別の層として確かめます。Bedrock の Automated Reasoning checks は、文書から論理の規則を抽出して回答の整合性を検証しますが、英語(米国)のみ、検出のみでブロックしない、などの制約があり、元レポートでは Assess です。

PART 5
スライド 41 のテキストと解説
PART 5 長時間実行・回復・承認 再試行・再開・承認後の再実行で、二重更新や状態のずれを起こさない仕組みを作る このPartで答えられるようになる問い Durable Execution を入れれば正しく動くのか? タイムアウトした操作は再送してよいのか? 人の承認はどう設計すれば形だけにならないか? 長時間のエージェントは何を外部に残すべきか? 41
解説

Part 5 では、回復と承認を扱います。推論の賢さとは別の問題です。

Durable Execution は「正しい実行」を保証しない
スライド 42 のテキストと解説
Durable Execution は「正しい実行」を保証しない 計画 出力 行動制御 回復 評価 観測・運用 外部で成功→記録前に落ちる→再試行で二重実行。冪等性=何回送っても結果が 1 回分と同じこと 出典: LangGraph「Checkpointers」「Interrupts」ドキュメント、Temporal「Activity Definition」 ① 外部 API を呼ぶ 送金・メール送信 ② 外部では成功 ③ 記録の前に落ちる ④ 再開・再試行 同じ処理をもう一度 ⑤ 二重に実行 LangGraph interrupt からの再開はノードの先頭から再実行 状態の保存の頻度で耐久性が変わる(sync が最も安全、exit はクラッシュから回復できない) Temporal Activity は複数回実行され得る 成功直後・完了通知の前に Worker が落ちる例を公式が明記し、冪等性を推奨 リーダーの視点 「Temporal(LangGraph)を入れたから大丈夫」は誤り。外部の副作用ごとに、冪等性キーと状態照合の方法を設計レビューで確認する 42
解説

LangGraph は checkpointer に状態を保存し、指定したスレッドから再開できます。ただし、interrupt から再開するときは、ノードを先頭から再実行します。保存のモードによっては、クラッシュの直前の状態が失われる可能性もあります。exit モードはクラッシュから回復できず、async モードはチェックポイントを書けない小さなリスクがあり、sync モードが最も耐久性が高い設定です。Temporal も Activity の再試行と完了の記録を扱いますが、公式ドキュメントは、Activity は複数回実行され得ること、処理が成功した直後、その完了を記録する前に Worker が落ちる例を挙げ、冪等性を推奨しています。つまり、どちらのフレームワークを入れても、外部の送信や更新が自動で 1 回だけになるわけではありません。呼び出し先の冪等性キー、重複の排除、業務状態の照合が必要です。

「結果不明」を失敗扱いで再送しない
スライド 43 のテキストと解説
「結果不明」を失敗扱いで再送しない 計画 出力 行動制御 回復 評価 観測・運用 操作の意図・実行の試行・外部の処理 ID・確定した結果を分けて永続化し、タイムアウトは照合してから判断する 出典: 元レポート「Durable Execution は正しい実行を保証しない」、Temporal「Activity Definition」 意図(intent) 何をしようとしたか。業務操作ごとに 1 つの ID 試行(attempt) 何回呼んだか。同じ意図なら同じ冪等性キー 外部処理 ID 相手側の取引・メッセージ ID 確定した結果 照合済みの最終状態 状況 | ✕ よくある実装 | ○ 推奨 タイムアウト | 失敗とみなして再送 | 外部状態を照合。照合できなければ再送を止めて人へ 再試行のキー | 毎回ランダムに生成 | 同じ意図には同じ冪等性キー 完了済みの再実行 | もう一度実行 | 保存した結果を返す 意図した複数回の実行 | 再試行と区別しない | 意図ごとに別の ID を発行 43
解説

元レポートの提案です。操作の意図、実行の試行、外部システムの処理 ID、確定した結果を、別々に永続化します。タイムアウトは、失敗とは限りません。外部では成功している可能性があります。照合できるなら外部の状態を確認し、照合できないなら自動の再送を止めて、人に引き継ぎます。同じ業務操作の再試行には、同じ冪等性キーを使います。毎回ランダムなキーを作ると、重複を防げません。また、同じ引数の操作を意図して複数回行う場合と、同じ操作の再試行を区別するために、操作の意図ごとに ID を発行して永続化し、完了済みなら保存した結果を返し、未確定なら照合する、という状態遷移を設けます。

人の承認を「安全性の一部」にする
スライド 44 のテキストと解説
人の承認を「安全性の一部」にする 計画 出力 行動制御 回復 評価 観測・運用 対象・差分・金額・送信先・取り消し可否を見せ、承認を操作内容のハッシュに結び付ける 出典: LangGraph「Interrupts」、元レポート「人間承認を安全性の一部にする」 形だけの承認 「実行してよいですか?」だけを表示 承認後に引数が変わっても再承認しない 全操作に承認を求め、承認疲れで流し読み 安全性の一部としての承認 対象・差分・金額・送信先・機密区分・取り消し可否を表示 承認を操作内容のハッシュと対象の版に結び付ける 内容・権限の変更、期限切れで再承認 低リスクの定型処理 機械的なルールで自動 中リスク 事後のサンプリング監査 高リスク・取り消し不可 明確な差分を人が承認 注意 interrupt の再開はノードの先頭から。承認より前に置いた副作用は二重に実行され得る。副作用は承認の後のノードへ 44
解説

LangGraph の interrupt は、承認や追加の入力のために実行を止めて、再開する仕組みです。ただし再開時にはノードが先頭から再実行されるので、interrupt の前に置いた副作用は冪等にするか、承認の後の別のノードに移します。承認の設計では、単に「実行してよいですか」と聞くのではなく、対象、変更の内容、金額、送信先、機密区分、取り消せるかどうかを表示します。承認の記録は、操作の内容のハッシュと対象の版に結び付け、内容が変わったとき、権限が変わったとき、期限が切れたときは、承認し直してもらいます。承認者が確認できない内部情報や曖昧な説明のまま押させる仕組みは、責任を形だけ人に移すことになります。承認の回数を増やすより、低リスクの定型処理は機械的なルール、高リスクの操作は明確な差分の承認、という分担にします。

長時間エージェントは「記憶」でなく外部の状態に頼る
スライド 45 のテキストと解説
長時間エージェントは「記憶」でなく外部の状態に頼る 計画 出力 行動制御 回復 評価 観測・運用 Anthropic のコーディングエージェントは、機能一覧・進捗ファイル・Git 履歴・E2E テストでセッションをまたぐ 出典: Anthropic「Effective harnesses for long-running agents」、元レポート「コーディング Agent から得られる Harness 設計」 作業一覧と完了条件 何をすれば終わりか 進捗ファイル どこまで進み、何が未解決か Git 履歴 何をいつ変えたか E2E テスト 本当に動くかを外部で確認 再開地点 次のセッションがどこから始めるか 注意 過去のエージェントが書いた「完了」を鵜呑みにしない。次のセッションが外部の状態(テスト・DB・成果物)から確認する リーダーの視点 業務エージェントでも同じ:作業一覧・満たすべき条件・証拠・未解決項目・再開点を構造化して保存する。モデルの文脈窓は保存場所ではない 45
解説

Anthropic の長時間エージェントの実務記事は、初期化を担うエージェント、機能の一覧、進捗のファイル、Git の履歴、エンドツーエンドのテストを使って、作業をセッションをまたいで続ける方法を説明しています。定量的な比較ではありませんが、長いタスクをモデルの記憶に頼らず、外部の状態と検証可能な成果物に変換する具体例として有用です。一般業務に応用するなら、作業の一覧、満たすべき条件、証拠、未解決の項目、再開する地点を構造化して保存します。過去のエージェントが書いた「完了」をそのまま信じず、次のセッションが外部の状態から確認できるようにすることが重要です。

PART 6
スライド 46 のテキストと解説
PART 6 セキュリティ:検出と、構造的な影響の制限 注入を完全に検出することはできない前提で、未信頼のデータが行動に影響する経路を制限する このPartで答えられるようになる問い 注入の検出器を足せば安全になるのか? 攻撃の評価は 1 回で十分か? CaMeL は何をどう防ぐのか? サンドボックスや MCP は安全の完成品か? 46
解説

Part 6 では、エージェントのセキュリティを扱います。

ガードレールには安全性と有用性のトレードオフがある
スライド 47 のテキストと解説
ガードレールには安全性と有用性のトレードオフがある 計画 出力 行動制御 回復 評価 観測・運用 AgentDojo:注入の検出器で攻撃成功は 7.95% に下がったが、良性タスクの有用性も 69.0% → 41.49% 出典: AgentDojo(arXiv:2406.13352、NeurIPS 2024 Datasets and Benchmarks) AgentDojo・GPT-4o | 防御なし | 注入の検出器あり 良性タスクの有用性 | 69.0% | 41.49% 攻撃下での有用性 | — | 21.14% 攻撃の成功率 | — | 7.95% — は本資料で確認していない値(論文の表を参照) 69.0 → 41.49% 良性タスクの有用性:防御なし → 検出器あり(誤検知が主因) リーダーの視点 防御の評価は「攻撃をどれだけ止めたか」と「普通の仕事をどれだけ壊したか」を必ず並べる。自社の日本語の依頼・社内文書・ツール応答で測る 47
解説

AgentDojo は、ツールの出力など未信頼のデータに埋め込まれた命令(間接プロンプトインジェクション)に対して、ユーザーのタスクの有用性と、攻撃の成功率を別々に測る、状態を持つ評価環境です。GPT-4o の比較では、注入の検出器を足した条件で、攻撃の成功率は 7.95% に下がりましたが、攻撃のない良性のタスクの有用性が 69.0% から 41.49% に下がりました。原因は誤検知の多さです。攻撃下での有用性は 21.14% でした。つまり、ブロック率だけで防御を評価してはいけません。元レポートは、検出器の製品順位を付けず、実際の日本語の依頼、社内の語彙、RAG の文書、ツールの応答、攻撃の入力を同じ条件で流し、有用性、見逃し、費用、遅延を同時に測るべきだとしています。

攻撃の評価は「1 回」では甘い
スライド 48 のテキストと解説
攻撃の評価は「1 回」では甘い 計画 出力 行動制御 回復 評価 観測・運用 NIST CAISI:新しい攻撃で成功率 11% → 81%。同じ攻撃も 25 回試すと 57% → 80% 出典: NIST CAISI「Technical Blog: Strengthening AI Agent Hijacking Evaluations」(2025-01、2025-12 更新) 条件:AgentDojo の Workspace 環境、Claude 3.5 Sonnet(upgraded)、新しく用意したタスク 攻撃者は何度でも試せる。防御の評価は新しい攻撃と複数回の試行で行い、「攻撃成功率 ○%」には試行回数を添える 48
解説

米国 NIST の CAISI は、エージェントの乗っ取り(ハイジャック)の評価を強化する技術ブログを公開しています。AgentDojo の Workspace 環境、Claude 3.5 Sonnet(upgraded)、新しく用意したタスクの条件で、既存の最も強い攻撃では成功率 11% だったのが、新しい攻撃では 81% になりました。また、1 回の試行で 57% だった攻撃も、25 回試すと 80% に上がりました。攻撃者は何度でも試せますが、評価は 1 回で終わりがちです。防御を評価するときは、新しい攻撃を作り、複数回試行し、攻撃の種類ごとに見る必要があります。

CaMeL:制御の流れと未信頼のデータを分ける
スライド 49 のテキストと解説
CaMeL:制御の流れと未信頼のデータを分ける 計画 出力 行動制御 回復 評価 観測・運用 悪意ある文を検出するのではなく、未信頼のデータが制御の流れや送信先に影響する経路そのものを制限する 出典: CaMeL: Defeating Prompt Injections by Design(arXiv:2503.18813、v1 2025-03・v2 2025-06) 信頼できる依頼 計画を作る LLM(特権) インタプリタ:出所と能力を追跡 メール・文書・ツール応答(未信頼) データを読む LLM(権限なし) → 結果は「値」として扱われ、計画や送信先を変えられない 0 件 949 件の攻撃のうち成功した件数(AgentDojo、Claude 3.5 Sonnet)。次点の防御は 8 件 84% → 67〜77% タスク解決率:防御なし 84% → CaMeL 67%(論文 v1)/77%(v2) 採用判断 Assess。内容の歪曲・フィッシングは対象外(論文が明記)、サイドチャネルも残る。後付けのコストが大きい。発想(未信頼データで送信先・権限を決めない)は今日から使える 49
解説

CaMeL は、信頼できるユーザーの依頼から計画を作る LLM と、未信頼のデータを処理する権限のない LLM を分け、独自のインタプリタで、データの出所と能力の制約を追跡します。狙いは、悪意ある文を完全に検出することではなく、未信頼のデータが、プログラムの制御の流れや、許可されない情報の送信に影響する経路を制限することです。Claude 3.5 Sonnet の比較では、AgentDojo の 949 の攻撃で成功は 0 件でした。次点のツールフィルタでも 8 件でした。ただし、タスクを解いた割合は、防御なしの 84% に対し、版によって 67%(v1)または 77%(v2)に下がります。また、要約の内容の歪曲やフィッシングは非目標で、サイドチャネルへの脆弱性も論文自身が認めています。「プロンプトインジェクションを完全に解決した」とは解釈しません。既存の汎用エージェントに後付けするコストが大きいので、元レポートでは Assess です。

サンドボックスと MCP は安全の完成品ではない
スライド 50 のテキストと解説
サンドボックスと MCP は安全の完成品ではない 計画 出力 行動制御 回復 評価 観測・運用 サンドボックスが隔離するのは依頼した処理だけ。MCP 対応は、利用者ごとの認可やツールの安全を意味しない 出典: Inspect「Sandboxing」、Model Context Protocol「Security Best Practices」(仕様の現行版は 2026-07-28、指針は 2025-11-25 版で確認) サンドボックス(Inspect の例) 隔離されるのはサンドボックス経由の処理だけ 独自設定で既定のネットワーク遮断が外れる 特権コンテナ・ホストのデバイス・Docker ソケットを渡すとホストに届く MCP セキュリティ指針の 8 項目 Confused Deputy・トークン中継・SSRF セッション乗っ取り・ローカルサーバーの侵害 OAuth 認可 URL の検証・プロキシでの stdio・スコープ最小化 データ | 信頼レベルの例 利用者の依頼(認証済み) | 信頼して計画に使う 検索結果・メール・ツールの応答・メモリ | 未信頼:送信先・権限・実行命令を決めさせない エージェントが生成したコード・ツール定義 | 未信頼:サンドボックス、レビュー ログ・採点器・外部通知への転送 | データの送信経路として認可の対象 50
解説

Inspect はコード実行などのサンドボックスを提供しますが、コンテナの中で動くのは、サンドボックス経由で依頼した処理だけです。評価プロセスの中で動く独自のツールまでは自動で隔離されません。独自の設定ファイルを使うと、既定のネットワーク遮断が置き換わります。特権コンテナ、ホストのデバイス、Docker のソケットを渡すと、エージェントがホストに到達し得ます。MCP の公式のセキュリティ指針も、Confused Deputy(権限の取り違え)、トークンの中継、SSRF、セッションの乗っ取り、ローカルの MCP サーバーの侵害、OAuth の認可 URL の検証、プロキシ構成での標準入出力の安全、スコープの最小化を個別に扱っています。MCP に対応していることは、利用者ごとの認可やツールの安全が自動で満たされることを意味しません。元レポートは、エージェントが生成するコード、ツールの定義、検索結果、メモリ、評価対象の成果物を、それぞれ別の信頼レベルで扱い、ログや採点器、外部への通知への転送もデータの送信経路として認可の対象にすることを提案しています。

PART 7
スライド 51 のテキストと解説
PART 7 観測性と原因分析 版付きのトレースで「何を見て、何をして、何が変わったか」を残し、原因の特定は検査と再現で絞る このPartで答えられるようになる問い トレースがあれば原因が分かるのか? 何を記録し、何を記録してはいけないのか? LLM に原因分析を任せられるのか? 51
解説

Part 7 では、観測性と原因分析を扱います。

トレースは「内面の完全な記録」ではない
スライド 52 のテキストと解説
トレースは「内面の完全な記録」ではない 計画 出力 行動制御 回復 評価 観測・運用 思考をすべて保存するより、各部品の版と、判断の入力・操作・環境の変化を追う 出典: OpenTelemetry「Semantic conventions for GenAI agent spans」(Development)、元レポート「Trace は内面の完全な記録ではない」 記録対象 | 推奨する情報 実行全体 | run ID、タスク種別、開始・終了、予算、終了理由 モデル呼び出し | モデルとプロンプトの版、観測できる入出力、使用量、拒否・不完全な応答 RAG・メモリ | 参照した文書の ID・版・権限、取得時点、利用した箇所 ツール | 定義の版、実引数、認可の結果、承認 ID、実行 ID、結果不明の状態 外部状態 | 変更前後の版、外部のトランザクション ID、事後条件 評価 | 採点器の版、期待条件、判定と根拠、人による修正 注意 秘密情報・個人情報・認証トークンをトレースに残さない。ログや評価サービスへの転送もデータの送信経路 52
解説

OpenTelemetry の生成 AI のエージェントの規約は、エージェント、ワークフロー、ツールなどの操作と属性を記録する枠組みを提供します。2026 年 11 月時点で状態は Development です。観測できる操作や入出力の形式をそろえるものであり、非公開の内部推論や真の因果関係を完全に取れる保証はありません。元レポートは、思考のすべてを保存するより、モデル、プロンプト、ツール、ポリシー、データの版と、実際の判断の入力、操作、環境の変化を追跡することを提案しています。また、テレメトリーに秘密情報、個人情報、認証トークンを記録しない制御も、観測性の設計の一部です。

トレースがあっても、原因の特定は難しい
スライド 53 のテキストと解説
トレースがあっても、原因の特定は難しい 計画 出力 行動制御 回復 評価 観測・運用 AgentChaosBench:構造化トレースを渡しても、最良のモデルで障害の種類の特定 24.8%、場所の特定 31% 出典: AgentChaosBench(arXiv:2608.14680、2026) ① 決定的な検査 認可・事後条件 ② 状態の差分 前後の版 ③ 再現・対照実行 1 つずつ変える ④ LLM は仮説と要約 執行点を記録する ガードレールを迂回した実行と正当な実行は、ポリシー判断の証拠がないと区別しにくい どの検査を通ったか・認可の結果を残す 注意 比較モデルで最良の DeepSeek-v4-pro、ゼロショット。障害の種類は 10 択(当て推量で約 10%)。先に起きたことを原因と決めつけない 53
解説

2026 年の AgentChaosBench は、5 つのアプリに 10 種類の障害を注入して 275 のトレースを作り(障害ありが 250、なしが 25)、障害の種類と場所を推定させました。構造化されたトレースを渡したゼロショットの条件で、比較したモデルの中で最も良かった DeepSeek-v4-pro でも、障害の種類の 1 位正解率は 24.8%、場所の 1 位正解率は 31% でした。観測性のツールを入れただけで原因分析が自動で解けるわけではありません。特に、ガードレールを迂回した実行と、正当に通過した実行は、ポリシー判断の証拠がないと区別しにくいと報告されています。そこで、モデルの発話だけでなく、独立した認可と検査の結果、どの執行点を通ったかを記録します。原因の推定は、まず決定的な検査、状態の差分、再現実験、対照の実行で絞り込み、LLM は仮説の生成と要約に使います。時系列で先に起きたことを、そのまま原因と決めつけないことも大切です。

PART 8
スライド 54 のテキストと解説
PART 8 ツール・継続改善・参照設計・導入 製品は責務で選び、改善のループにも独立した検証を置き、評価面・制御面・実行面を分けて段階的に導入する このPartで答えられるようになる問い 評価・観測の製品はどう選ぶのか? 自己反省やマルチエージェントは信頼性を上げるのか? 更新系ツールの直前に何を置くのか? リリースの合否は何で決めるのか? 54
解説

Part 8 では、ツールの選び方、継続改善、参照アーキテクチャ、導入の手順を扱います。

評価・観測プラットフォームは「責務」で選ぶ
スライド 55 のテキストと解説
評価・観測プラットフォームは「責務」で選ぶ 計画 出力 行動制御 回復 評価 観測・運用 同じデータと採点器を載せなければ、製品間のスコアの差から品質の優劣は言えない 出典: 各製品の公式ドキュメント(Langfuse、Arize Phoenix、MLflow、LangSmith、Braintrust、OpenTelemetry)、元レポート「ツールと技術スタックの責務別マップ」 候補 | 主な役割 | 注意点 Langfuse | データセット、SDK 実験、評価スコア、トレース・費用比較 | 正解の定義と CI の合否ゲートは利用側で設計 Arize Phoenix | エージェントのトレース、データセット、実験、LLM 評価、注釈 | 合成データや Judge の正しさは別に検証 MLflow | トレースを受けるカスタム採点器、エージェント評価、実験記録 | 期待する軌跡・出力を適切に定義する必要 LangSmith | 出力・会話・軌跡の評価テンプレート、共有評価器 | 評価器の共有変更、スコアの意味を確認 Braintrust | 保存・比較できる評価実験、CI/CD からの実行 | 実験の保存は品質保証やマージ遮断の保証ではない OpenTelemetry | エージェント・ワークフロー・ツールの計測規約 | Development 段階。版の固定と変換を考える ポイント 選定の確認項目:独自の状態検査器、データセット・採点器の版固定、非同期実行、機密の削除、結果の取り出し、既存 CI との連携 55
解説

元レポートは、評価と観測のプラットフォームを、公式資料で確認できた機能で比べ、勝者を決めていません。同じデータと採点器を載せなければ、製品の間のスコアの差から品質の優劣は判断できないからです。選ぶときは、画面の見やすさだけでなく、独自の状態検査の採点器を組み込めるか、データセットと採点器の版を固定できるか、非同期で実行できるか、機密情報を削除できるか、評価結果を取り出せるか、既存の CI と連携できるかを確認します。観測と評価を 1 つの製品にまとめる場合でも、認可や実行の制御とは独立した責務に保ちます。

テスト・セキュリティ・実行基盤の使い分け
スライド 56 のテキストと解説
テスト・セキュリティ・実行基盤の使い分け 計画 出力 行動制御 回復 評価 観測・運用 検査ツールは認可の代わりにならず、実行基盤は副作用の冪等性を代わりに解決しない 出典: Inspect、Promptfoo「Agent red teaming」、AgentDojo、LangGraph、OpenAI Agents SDK、Temporal、OPA・Cedar、NeMo Guardrails、AgentCore の公式資料 候補 | 主な役割 | 使い分け・注意 Inspect AI | ツール・採点器を含む隔離評価環境 | 実コード・環境を伴う再現可能な評価 Promptfoo | 権限不備・注入・RAG やメモリ汚染のレッドチーム | CI・定期評価へ。認可の代わりではない。内部情報の送信経路に注意 AgentDojo | 状態付きのツール・注入攻撃の評価環境 | 防御の有用性と攻撃成功を比較する研究・拡張 LangGraph | 状態・永続化・分岐・interrupt での再開 | 副作用と再実行の設計は残る OpenAI Agents SDK | エージェント・ツール・ガードレールの統合 | 適用範囲を把握して検査を配置 Temporal | Activity・履歴・再試行を伴う業務実行 | 外部副作用の冪等性は必要 OPA・Cedar | 主体・対象・条件のポリシー判断 | 独立した実行ブローカーから全経路で執行 NeMo Guardrails・AgentCore | 複数の検査フロー/ツールへのゲートウェイとポリシー | 検出精度と適用漏れを別に評価 56
解説

テスト、セキュリティ、実行基盤の候補と使い分けです。Inspect AI は、ツールや採点器を含む隔離された評価環境で、実際のコードや環境を伴う再現可能な評価を組みます。Promptfoo は、エージェントの権限の不備、注入、RAG やメモリの汚染などのレッドチームの設定を CI や定期評価に組み込みます。検査ツールなので、認可の代わりにはなりません。また、内部のトレースを攻撃の生成に渡す設定があり、内部のツール名やエラーが評価サービスへ送られる経路もセキュリティレビューの対象です。LangGraph と Temporal は状態と再開を提供しますが、副作用と再実行の設計は残ります。OPA と Cedar は独立した実行ブローカーから問い合わせ、全経路で執行します。

推奨する最小スタック:最初から積みすぎない
スライド 57 のテキストと解説
推奨する最小スタック:最初から積みすぎない 計画 出力 行動制御 回復 評価 観測・運用 評価・トレース基盤 1 つ、実行モデル 1 つ、共通のツールブローカー、業務の真実を検査するコード、CI の回帰評価 出典: 元レポート「推奨する最小スタック」 評価・トレース基盤を 1 つ 独自の採点器と既存運用に合うもの 実行方式(ワークフロー基盤)を 1 つ 決定的な処理は通常のコード、必要な部分だけエージェント 共通のツールブローカー 認可・検証・承認・予算・監査・冪等性を全更新ツールへ 業務の真実を検査するコード DB・API・成果物・テストで成功を確認 CI の回帰評価 本番の障害・人の指摘をテストへ戻す リーダーの視点 言語・フレームワークを統一するより、状態・認可・評価の「契約」を先に明確にする。Python のエージェントも TypeScript のサービスも同じブローカーを通す 57
解説

最初から、複数の評価製品、複数のランタイム、複数のガードレールを積む必要はありません。元レポートの初期案は 5 つです。1 つの評価とトレースの基盤を、独自の採点器と既存の運用に合うものから選ぶ。1 つの実行モデルで、決定的に書ける処理は通常のコードにし、必要な部分だけをエージェントか状態機械にする。共通のツールブローカーで、認可、入力の検証、承認、予算、監査、冪等性を、すべての更新系ツールに適用する。業務の真実を検査するコードで、DB、API、成果物、テストといった外部の証拠で成功を確認する。CI の回帰評価で、本番の障害や人の指摘をテストに戻し、差分を確認してから段階的にリリースする。言語やフレームワークをそろえるより、状態・認可・評価の契約を明確にする方を優先します。

自己反省は検証の代わりにならない
スライド 58 のテキストと解説
自己反省は検証の代わりにならない 計画 出力 行動制御 回復 評価 観測・運用 外部の正誤情報なしに自己批評・再回答すると、性能が下がる例がある(CommonSenseQA 75.8 → 38.1) 出典: Large Language Models Cannot Self-Correct Reasoning Yet(arXiv:2310.01798、ICLR 2024)、Anthropic「Effective harnesses for long-running agents」 修正ループに与えるもの テストの失敗・型エラー DB の不変条件の違反・規則の違反 状態の照合結果 採用判断 「無制限な自己反省」は Hold、「外部フィードバックを使う修正ループ」は Trial。回数を制限し、同じ失敗の反復と劣化を記録する 2023 年のモデル・プロンプト・課題での結果。今のすべてのモデルで不可能という意味ではない 58
解説

2023 年の自己修正の研究は、外部の正誤情報なしで、同じモデルが自分の回答を批評し、再回答する条件で、性能が下がる例を示しました。GPT-3.5 で、CommonSenseQA の正答率は 75.8% から、1 回目の自己修正で 38.1%、2 回目で 41.8% に下がりました。GSM8K では 75.9% から 75.1%、74.7% と、ほぼ変わらないか、わずかに下がりました。これは当時のモデルとプロンプトと推論課題での結果で、今のすべてのモデルで自己修正が不可能という意味ではありません。しかし、「もう一度考えさせる」だけを信頼性の保証にしない根拠になります。修正のループでは、テストの失敗、型エラー、DB の不変条件の違反、規則の違反といった、新しい外部の情報を与えます。修正の回数を制限し、同じ失敗の繰り返し、正解からの劣化、修正の費用を記録します。

マルチエージェントは「役割の分離が利益を生む」ときだけ
スライド 59 のテキストと解説
マルチエージェントは「役割の分離が利益を生む」ときだけ 計画 出力 行動制御 回復 評価 観測・運用 1,642 トレースの分析で 14 の失敗モード。エージェントを増やせば信頼性が上がるわけではない 出典: Why Do Multi-Agent LLM Systems Fail?(MAST、arXiv:2503.13657)、Anthropic「How we built our multi-agent research system」(2025-06)、Cognition「Don’t Build Multi-Agents」(2025-06) MAST(7 つの枠組み・1,642 実行の失敗分類) | 例 システムの設計 | 役割・タスク仕様の不備、手順の反復、終了の認識失敗 エージェント間の不整合 | 情報の取りこぼし、他のエージェントの入力の無視、推論と行動の不一致 タスクの検証 | 検証なし、不完全な検証、誤った検証 +90.2% の代償に 15 倍 Anthropic の調査用マルチエージェント:社内評価が単一エージェント比 +90.2%、トークンは通常チャットの約 15 倍 採用するなら 計画者・実行者・検証者の権限と入力を分け、検証はテストや状態検査で独立させる 注意 同じモデル・同じ証拠での多数決は、共通原因の誤りを残す。「エージェントを増やす」より「検証を独立させる」 採用判断 「無制限な多数エージェント化」は Hold 59
解説

MAST の研究は、7 つのマルチエージェントの仕組みの 1,642 のトレースから、14 の失敗モードを、システムの設計、エージェント間の不整合、タスクの検証の 3 つに整理しました。小さな介入で成功率が上がる条件もありましたが、有意な改善が得られない条件もありました(AG2 のトポロジー変更は p=0.4)。手順の反復が 15.7%、終了の認識の失敗が 12.4% と、ループの制御に関わる失敗も多く報告されています。一方、Anthropic の調査用マルチエージェントは、単一エージェント比で社内評価が 90.2% 高かった代わりに、トークンは通常のチャットの約 15 倍でした。Cognition は、文脈が断片化して判断が衝突するとして、マルチエージェントを安易に作らないよう主張しています。採用するなら、計画者、実行者、検証者のアクセス権と入力を分け、検証者が実行者の結論をそのまま受け入れない設計にします。同じモデルと同じ証拠での多数決では共通原因の誤りが残るので、テストや状態検査の独立性を優先します。

GEPA と、改善を足す順序
スライド 60 のテキストと解説
GEPA と、改善を足す順序 計画 出力 行動制御 回復 評価 観測・運用 トレースと言葉のフィードバックでプロンプトを進化。強化学習より少ない試行で上回るが、検証の費用は残る 出典: GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning(arXiv:2507.19457、ICLR 2026) +6pt(最大 +19pt) GEPA と強化学習(GRPO)の比較(ICLR 2026、6 タスク)。プロンプト最適化の MIPROv2 にも +10pt 超 注意 試行(ロールアウト)の多くは候補の検証に使われる。未使用のテストで汎化を確認する。論文 v1 の「平均 +10%」は改訂で変わったので最新版の値を使う 改善を足す順序(元レポートの推奨) 1 採点の定義を直す 2 ツールの定義・エラー設計を直す 3 ワークフローの制約を足す 4 プロンプトを最適化する(GEPA 等) 5 必要ならモデルの変更・学習 評価器を攻略する出力や、固定ベンチマークへの適合を、本番品質の向上と混同しない。改善のたびに未使用のホールドアウトで確かめる 60
解説

GEPA は、実行のトレースと自然言語のフィードバックからプロンプトを更新し、候補をパレート選択や組み合わせで進化させて、複合的なシステムを最適化します。ICLR 2026 の抄録は、6 つのタスクで、強化学習の GRPO を平均 6 ポイント、最大 19 ポイント上回り、プロンプト最適化の MIPROv2 を 10 ポイント超上回ったと報告しています。ただし、タスク、モデル、学習の設定をまたぐ普遍的な優位を意味しません。本文の実験では、検証用のロールアウトが予算の大きな部分を占め、候補の組み合わせが改善しない条件もありました。「プロンプトの最適化なら安い」と決めつけず、最適化、検証、再評価までの総費用と、使っていないテストへの汎化を確かめます。元レポートが推奨する改善の順序は、採点の定義の修正、ツールの定義とエラーの設計、ワークフローの制約、プロンプトの最適化、必要に応じたモデルの変更や学習、です。

参照アーキテクチャ:評価面・制御面・実行面を分ける
スライド 61 のテキストと解説
参照アーキテクチャ:評価面・制御面・実行面を分ける 計画 出力 行動制御 回復 評価 観測・運用 評価を動かす環境と、本番の操作を実行する環境の認証情報を分ける。モデルの操作案は検証・認可・承認を通る 出典: 元レポート「参照アーキテクチャ」(本レポート独自の参照設計) 【評価面】開発・改善ループ:失敗例・人の指摘 → データセット → 評価実行 → リリース判定 → 段階リリース → トレース・状態検査・監査 → 失敗例へ ユーザー → 認証 → タスク契約 エージェント/ハーネス(RAG・メモリ・読取ツール) 操作案(未信頼) 【制御面】検証 → ポリシー → 必要な承認 → 直前の再確認 【制御面】副作用ツールのブローカー 【実行面】外部 API・DB・送信・ファイル操作 事後条件の照合・回復 → 引用と実行結果付きの回答 分けるもの 評価環境と本番の認証情報 モデルの判断と実行の許可 読み取りツールと更新系ツール 操作の意図・試行・結果の記録 61
解説

元レポート独自の参照設計です。上半分は開発と改善のループで、失敗例や人の指摘をデータセットに入れ、評価を実行し、リリースを判定し、段階的にリリースし、トレースと状態検査と監査の結果を、また失敗例に戻します。下半分は本番の実行です。ユーザーは認証され、タスクの契約が決まり、エージェントとハーネスが、RAG やメモリや読み取りのツールを使って考えます。操作の案は未信頼として扱い、検証、ポリシー、必要な承認、直前の再確認を通って、副作用を持つツールのブローカーに渡ります。外部の API、DB、送信、ファイル操作の後は、事後条件の照合と回復の処理をして、引用と実行結果の付いた回答を返します。評価を動かす環境と、本番の操作を実行する環境の認証情報は分けます。

各部品が「保証すること」と「保証しないこと」
スライド 62 のテキストと解説
各部品が「保証すること」と「保証しないこと」 計画 出力 行動制御 回復 評価 観測・運用 どの部品も単独では安全を保証しない。責務の境界を設計レビューの共通言語にする 出典: 元レポート「参照アーキテクチャ」の責務表 部品 | 主に保証・確認するもの | 保証しないもの RAG・メモリ | 参照情報へのアクセス | 計画・操作の正しさ 構造化出力 | 対応スキーマへの適合 | 事実・意味・権限 ポリシー判断 | 入力された認可要求の規則判定 | 不正な経路からの実行の遮断 ツールブローカー | 全操作への執行・監査・予算 | 業務ポリシー自体の正しさ 永続的なランタイム | 状態の保存・再開の仕組み | 外部副作用の自動的な 1 回性 採点器・Judge | 定義した基準での評価 | 誤判定ゼロ トレース基盤 | 観測できるイベント・入出力の記録 | 全内部推論・真の原因の取得 設計レビューでは右の列を指さし、「これは誰が(どの部品が)補うのか」を 1 行ずつ確認する 62
解説

参照アーキテクチャの各部品が、主に保証・確認するものと、保証しないものの表です。RAG とメモリは参照情報へのアクセスを担いますが、計画や操作の正しさは保証しません。構造化出力はスキーマへの適合で、事実や意味や権限は保証しません。ポリシーの判断は入力された認可要求の規則判定で、不正な経路からの実行の遮断はしません。ツールブローカーは全操作への執行、監査、予算を担いますが、業務ポリシー自体の正しさは保証しません。永続的なランタイムは状態の保存と再開で、外部の副作用が自動で一度だけになることは保証しません。採点器は定義した基準での評価で、誤判定ゼロではありません。トレース基盤は観測できるイベントと入出力の記録で、すべての内部推論や真の原因を取れるわけではありません。設計レビューでは、この表の右の列を誰が補うのかを確認します。

更新系ツールの実行ブローカー(TypeScript 風の疑似コード)
スライド 63 のテキストと解説
更新系ツールの実行ブローカー(TypeScript 風の疑似コード) 計画 出力 行動制御 回復 評価 観測・運用 認可エラーは拒否、承認は内容のハッシュに結び付け、再試行は同じ意図の ID で、結果不明は再送せず照合する 出典: 元レポート「更新系ツールの TypeScript 風疑似コード」(完成したライブラリではない) const proposal = proposalSchema.parse(raw); // 構文 const tool = registry.requireAllowedTool(proposal.tool); const target = await tool.readTarget(args, ctx); // 認可された範囲で解決 await tool.validateBusinessPreconditions(args, target, ctx); const decision = await policy.evaluate(trustedRequest(ctx, tool, target, args)); if (decision.errors.length || !decision.allow) throw new Denied(); // fail-closed const digest = canonicalDigest({ principal, tenant, tool, args, targetVersion }); if (decision.requiresApproval) await approvals.requireValidApproval({ digest }); await policy.reauthorize(request); await tool.assertVersion(target.version); const intent = await journal.getOrCreateIntent({ runId, logicalStepId, digest }); try { const r = await tool.execute(args, ctx, { idempotencyKey: intent.id, expectedVersion }); if (!(await tool.verifyPostconditions(args, r, ctx)).passed) return escalate(intent); } catch (e) { if (isPossiblyCommitted(e)) return reconcileOrEscalate(intent); throw e; } 疑似コードを置くだけで TOCTOU(確認と実行の間の競合)や重複更新は解決しない。外部 API の条件付き更新、ロック、予約、事後照合を組み合わせる 63
解説

元レポートの疑似コードを要約したものです。モデルの提案をスキーマで検証し、許可されたツールか確かめ、対象を認可された範囲で読み、業務の前提条件を確かめます。ポリシーを評価し、エラーが 1 件でもあれば拒否します。主体、テナント、ツール、引数、対象の版から操作内容のハッシュを作り、承認が必要ならそのハッシュに結び付いた有効な承認を求めます。承認待ちの間の権限の失効や対象の更新も再確認します。同じ業務操作の意図の再試行には同じキーを使うよう、意図を台帳から取得または作成し、その ID を冪等性キーにして、対象の版を期待値として渡して実行します。事後条件を検証し、失敗なら照合に回します。実行中のエラーで、外部で確定した可能性があるなら、単純に再送せず、照合するか人に引き継ぎます。版の確認と実行の間にも競合は起こり得るので、外部 API の条件付き更新で原子的に検証できるのが望ましく、対応しない API ではロック、予約、事後照合、手動介入などの別の設計が必要です。

問題の箇所を切り分ける比較実験
スライド 64 のテキストと解説
問題の箇所を切り分ける比較実験 計画 出力 行動制御 回復 評価 観測・運用 RAG・モデル・ハーネス・評価器を同時に変えると原因が分からない。1 つずつ介入する 出典: 元レポート「問題箇所を切り分ける比較実験」 条件 | 固定・変更するもの | 切り分けたい問題 正解の証拠を直接入力 | RAG を正解の証拠に置換(Oracle Context) | 証拠を得た後の読解・判断 正しい計画を与える | 計画だけ参照手順に置換 | 計画の失敗と実行の失敗 ツールをモック化 | 決定的な応答・状態 | 外部障害と推論の失敗 実ツール・隔離環境 | 本番相当の API 契約 | 認可・副作用・回復 制御あり/なし | ポリシー・承認・検証を個別に追加 | 有用性・安全性・費用の差 同じモデル・別ハーネス | モデルとデータを固定 | 実行ループ・ツール設計の効果 同じハーネス・別モデル | 実行方式を固定 | モデル変更の効果 Shadow 試験(本番の入力で並走させ、結果は使わない試験)でも、更新系は実行を止めるブローカーを必須にする 64
解説

RAG、モデル、ハーネス、評価器を同時に変えると、改善の原因が分かりません。元レポートは次の実験の行列を提案しています。同じタスク、環境、予算、データの版を基本に、1 つずつ介入します。正解の証拠を直接入力すると、証拠を得た後の読解と判断を切り分けられます。正しい計画を与えると、計画の失敗と実行の失敗を分けられます。ツールをモックにすると、外部の障害と推論の失敗を分けられます。実ツールと隔離環境では、認可、副作用、回復を確かめます。制御のあり・なしを個別に足すと、有用性・安全性・費用の差が分かります。同じモデルで別のハーネス、同じハーネスで別のモデル、を比べると、それぞれの効果が分かります。モックだけでは本番の遅延や部分的な成功や権限の失効を再現できず、逆に本番の API に無制御に試験を流すことも避けます。更新系の Shadow 試験では、実行を止めるブローカーを必須にします。

リリースゲート:品質の向上と安全の非劣化を別条件に
スライド 65 のテキストと解説
リリースゲート:品質の向上と安全の非劣化を別条件に 計画 出力 行動制御 回復 評価 観測・運用 基準は重大度に応じて各社で決める。6 観点を別々に判定し、品質が上がっても安全が悪化したら出さない 出典: 元レポート「推奨するリリースゲート」 品質 タスク成功・回答正確性・重要カテゴリの劣化・一貫性 安全 権限外・未承認・機密送信・禁止経路:試験で 0 件、かつ実行時に遮断 回復 タイムアウト・再開・再送で重複なし、結果不明で停止 評価器 Judge・参照解・採点コードの版固定、重要ケースは人手 運用 費用・遅延(p95=遅い方 5% を除いた最大)・ツール回数・承認負荷・監査ログ 展開 限定トラフィック・監視・ロールバックで段階的に 「成功率が上がったから出す」ではなく「品質が上がり、かつ安全の各項目が悪化していないから出す」 65
解説

元レポートが提案するリリースゲートです。品質では、タスクの成功、回答の正確性、重要カテゴリの劣化、一貫性を確認します。安全では、権限外の操作、未承認の更新、機密の送信、禁止経路の使用を個別に検査します。回復では、タイムアウト、再開、再送で重複の副作用がないか、結果が不明なときに停止できるかを確かめます。評価器では、Judge、参照解、採点コードの版を固定し、重要ケースは人がレビューします。運用では、費用、p95 と p99 の遅延、ツールの回数、承認の負荷、監査ログの欠落を確認します。展開では、合格後も限定的なトラフィック、監視、ロールバックで段階的に広げます。品質が上がっても、安全の項目が 1 つでも悪化していれば出さない、というように、品質の向上と安全の非劣化を別の条件にするのがポイントです。

評価で危険な操作が 0 件でも、危険率 0 の証明ではない
スライド 66 のテキストと解説
評価で危険な操作が 0 件でも、危険率 0 の証明ではない 計画 出力 行動制御 回復 評価 観測・運用 n 件すべて無事故でも、危険率は最大でおよそ 3/n まであり得る(95% 信頼、3 の法則) 出典: 元レポート「推奨するリリースゲート」、二項分布の正確な信頼上限(本資料で計算) 無事故だった試行数 n | 危険率の上限(95%、正確な値) | 3 の法則(3/n) 10 | 25.9% | 30% 30 | 9.5% | 10% 100 | 2.95% | 3% 300 | 0.99% | 1% 注意 独立・同一分布の仮定での値。相関や分布の変化があると、真の危険率は表の上限を超え得る。正確な式は 1 − 0.05^(1/n) リーダーの視点 「危険率 1% 未満」と言うには、独立した約 300 件で 0 件が要る。だから試験と、実行時の制約(認可・承認・ブローカー)の両方を置く 66
解説

評価セットで危険な操作が 0 件だったとしても、本番の危険の確率が 0 だと証明したことにはなりません。独立で同じ確率の二項事象という強い仮定の下でも、n 件すべて無事故だったときの片側 95% の上限は、1 マイナス 0.05 の n 分の 1 乗です。これはおよそ 3 割る n で、3 の法則と呼ばれます。10 件で 0 件なら上限は約 26%、30 件で約 9.5%、100 件で約 3%、300 件で約 1% です。つまり、危険率 1% 未満を言いたければ、約 300 件の独立した試行で 0 件が必要です。実務では試行の間の相関や、分布の変化があるので、この上限はさらに楽観的です。だからこそ、試験だけに頼らず、実行時の制約(認可、承認、ブローカー)を両方置く必要があります。

段階的ロードマップ:ゲート条件で次に進む
スライド 67 のテキストと解説
段階的ロードマップ:ゲート条件で次に進む 計画 出力 行動制御 回復 評価 観測・運用 時間軸ではなく「何ができるようになったら次へ進むか」で区切る 出典: 元レポート「段階的ロードマップ」 段階 | 作るもの | 完了条件(ゲート) 1. 契約・基準 | 成功条件、禁止操作、重要な失敗例、正解確認の手順 | 何をもって成功かを、人とコードで説明できる 2. 可視化・回帰 | トレース基盤 1 つ、版固定のデータセット、独自の採点器 | 失敗を再現し、変更前後を比較できる 3. 実行境界 | ツールブローカー、認可、構造検証、必要な承認 | モデルが誤提案しても禁止操作を止められる 4. 回復・一貫性 | 冪等性、永続化、状態照合、複数試行 | 再試行・再開で二重更新や虚偽の完了がない 5. 敵対・障害評価 | 注入、権限失効、タイムアウト、部分成功 | 有用性を残して安全性・回復を測れる 6. 最適化 | プロンプト、ツール設計、エージェント分割、GEPA 等 | 未使用の評価で便益を再確認できる 7. 継続運用 | 本番の抽出、人手較正、障害から回帰例へ戻す仕組み | 分布・モデル・規則の変化に対応できる 67
解説

元レポートのロードマップは、時間ではなく完了の条件で区切られています。契約と基準の段階では、成功の条件、禁止の操作、重要な失敗例、正解の確認手順を作り、何をもって成功かを人とコードで説明できる状態にします。可視化と回帰の段階では、1 つのトレース基盤、版を固定したデータセット、独自の採点器を作り、失敗を再現して変更の前後を比べられるようにします。実行の境界の段階では、ツールブローカー、認可、構造の検証、必要な承認を入れ、モデルが誤った提案をしても禁止の操作を止められるようにします。回復と一貫性、敵対と障害の評価、最適化、継続運用と進みます。プロジェクト計画やステアリングコミッティへの報告は、このゲートの達成状況で語ると明確になります。

定量エビデンス台帳
スライド 68 のテキストと解説
定量エビデンス台帳 計画 出力 行動制御 回復 評価 観測・運用 指標と条件を残した抜粋。行をまたいだ数値の大小は、製品やモデルの総合順位ではない 出典: 元レポート「定量エビデンス台帳」(各一次資料で再確認済み) 研究 | 条件・指標 | 報告結果 | 判断上の限界 τ-bench | GPT-4o 関数呼び出し、小売 | pass^1 61.2%、pass^8 25% 未満 | 当時のモデル・模擬ユーザー τ²-bench | gpt-4.1、通信・小売・航空、pass^1 | 34%・74%・56% | ドメイン差をモデル優劣にしない MT-Bench Judge | 算数 10 問×順序 2、GPT-4 | 誤判定 14/20 → 参照解で 3/20 | 小規模。誤りはゼロにならない Agent-as-a-Judge | DevAI、OpenHands の成果物 | 人との一致 60.38% → 90.44% | black-box 設定。安全性の指標ではない AgentSpec | SafeAgentBench、安全タスク成功率 | 58.62% → 54.26% | 手書き規則。有用性が低下 AgentDojo | GPT-4o、良性タスクの有用性 | 69.0% → 41.49%(検出器) | 攻撃成功 7.95% と並べて読む CaMeL | Claude 3.5 Sonnet、AgentDojo | 949 攻撃で成功 0 | 非目標・サイドチャネルは残る AlphaEval | 94 タスク、同じ Opus 4.6 | Claude Code 64.41/Codex 53.45 | ハーネス等の複合差 TraceTrial-Bench | 4 ハーネス×9 モデル×95 タスク | 成功かつ基準未達 31.1% | 反復なし。採点の妥当性未検証 AgentChaosBench | 注入障害、DeepSeek-v4-pro | 種類 24.8%、場所 31%(1 位正解率) | 合成障害・ゼロショット BFCL 監査 | 層化抽出 50 問 | 24 問に欠陥 | 全体の誤採点率ではない 68
解説

主な定量結果を、条件と指標を残して一覧にした台帳です。ステークホルダーやベンダーとの議論で「その数字は何を測ったものか」を確認するための早見表です。行をまたいで数値の大小を比べないでください。指標も条件もばらばらです。たとえば τ-bench の pass^8 と、AgentDojo の有用性と、BFCL の監査の割合は、まったく別のものを測っています。

PART 9
スライド 69 のテキストと解説
PART 9 テックリーダーの実践 SLO・コスト・体制・評価データ・統計・規制を押さえ、エージェントのプロジェクトを持続的に運用する このPartで答えられるようになる問い エージェントの SLO は何を測ればよいのか? 止めるとき(キルスイッチ)はどう設計するのか? 費用はどう見積もり、どう抑えるのか? 評価は何件あれば「改善した」と言えるのか? 69
解説

Part 9 は、元レポートの外の資料も使った補足です。テックリーダーとしての実務を扱います。

エージェントの SLI・SLO の例
スライド 70 のテキストと解説
エージェントの SLI・SLO の例 計画 出力 行動制御 回復 評価 観測・運用 補足 SLI=測る指標、SLO=その目標。業界標準の目標値はなく、自社のベースラインから締める 出典: Grafana「What if your agent’s hallucinations had a budget?」(InfoQ 2026-10 で紹介)、Google SRE Workbook「Implementing SLOs」 SLI(例) | 定義 | 扱い タスク成功率 | 状態検査で判定した成功の割合 | SLO(例:30 日で 95%、ベースラインから締める) 虚偽の完了率(本資料の提案) | 「完了」と報告したのに状態検査で不成立 | SLO。自己申告で成功を数えない エスカレーション率 | 人へ引き継いだ割合 | 低すぎても危険(引き継ぐべき案件を抱え込む) 未許可の操作の件数 | 認可・承認を通らない更新 | SLO ではない。実行時に強制してゼロ p95 のエンドツーエンド遅延 | 依頼から完了まで | SLO 成功 1 件あたりの費用 | 失敗・再試行を含む総費用 ÷ 成功数 | 予算アラート 数値はすべて例。Grafana の 95%/30 日も「候補」で推奨ではない。自社のベースラインを測ってから決める 70
解説

エージェントの SLO の公開例として、Grafana は「30 日間で会話の 95% が依頼を満たしたと判定される」ことを SLO にし、各会話を LLM の採点器か正規表現などの決定的なチェックで採点する方法を紹介しています。85%、95%、99% は候補として挙げているだけで、推奨値ではありません。始めはベースラインから設定し、成熟に合わせて締めていく方針です。業界標準の目標値はないので、スライドの数値はすべて例として扱ってください。本資料が提案する SLI は、状態検査で判定したタスク成功率、虚偽の完了率(完了と報告したのに状態検査で不成立だった割合。一次資料で SLI として定義された例は見つけておらず、元レポートの「自己申告で成功を判定しない」を指標にしたものです)、エスカレーション率、未許可の操作の件数(これは SLO ではなく実行時に強制してゼロにするもの)、p95 のエンドツーエンドの遅延、成功 1 件あたりの費用です。

エラーバジェットとキルスイッチ:止め方を先に決める
スライド 71 のテキストと解説
エラーバジェットとキルスイッチ:止め方を先に決める 計画 出力 行動制御 回復 評価 観測・運用 補足 バジェットが残れば変更を試し、使い切ったら信頼性の修正を優先。事故時は更新系ツールを止めて読み取り専用へ 出典: Google SRE Workbook「Implementing SLOs」、OpenAI「A practical guide to building agents」、Replit「Doubling down on our commitment to secure vibe coding」(2025-07) 検知 SLI のアラート 封じ込め 更新系を停止・読取専用へ 保全 トレースと状態 照合 外部の状態 復旧 ロールバック 事後レビュー 評価セットへ追加 エラーバジェット 残っている:プロンプト・モデルの変更を試せる 使い切った:信頼性の修正を優先 モデル・プロンプトの変更で母集団が変わる → 測り直す キルスイッチ(事前に用意) 更新系ツールだけを即時に止められる 読み取り専用モードへの切り替え 失敗の閾値・高リスク操作で人へ引き継ぐ 補足(元レポート外の一般知識) Replit(2025-07):本番 DB 削除の後、開発・本番 DB の分離を既定化し、チェックポイントとロールバックを提供 71
解説

Google の SRE のエラーバジェットは、100% から SLO を引いた分の失敗を許容する考え方です。バジェットが残っていれば、プロンプトやモデルの変更を試せます。使い切ったら、新機能より信頼性の修正を優先します。エージェントでは、モデルやプロンプトを変えると成功率の母集団そのものが変わるので、変更のたびに測り直す必要があります。インシデントの対応では、止め方を先に決めておきます。OpenAI のガイドは、失敗の閾値を超えたとき、取り消せない高リスクの操作のときに、人に引き継ぐよう勧めています。本資料が提案するランブックの骨子は、検知、封じ込め(キルスイッチで更新系のツールを止めるか、読み取り専用に落とす)、トレースの保全、外部の状態との照合、復旧、事後レビューで原因を評価セットに追加する、の 6 段階です。Replit は 2025 年 7 月の本番 DB 削除の後、開発と本番の DB の分離を既定にし、チェックポイントとロールバックを提供しました。

コスト管理:トークン・ループ・キャッシュ
スライド 72 のテキストと解説
コスト管理:トークン・ループ・キャッシュ 計画 出力 行動制御 回復 評価 観測・運用 補足 エージェントはチャットの約 4 倍、マルチエージェントは約 15 倍のトークンを使う(Anthropic の社内測定) 出典: Anthropic「How we built our multi-agent research system」(2025-06)、Anthropic「Prompt caching」ドキュメント(2026-11 取得)、OpenAI Agents SDK(max_turns)、Microsoft CAF 抑える手段 ループ・ツール回数・トークン・金額のハード上限(max_turns 等) 単純な質問はエージェントに回さない(振り分け) プロンプトキャッシュ:読み出し 0.1 倍、書き込み 1.25〜2 倍(Claude、2026-11 時点) ツールの応答を簡潔版にする 成功 1 件あたりの費用で見る(失敗・再試行を含む) 注意 Web 調査の評価(BrowseComp)では、スコアの差の約 80% をトークン量で説明できた(Anthropic)。性能を上げる手段の多くは費用を払う手段 72
解説

Anthropic の社内測定では、エージェントは通常のチャットの約 4 倍、マルチエージェントは約 15 倍のトークンを使いました。BrowseComp の評価では、性能の分散の約 80% をトークンの使用量だけで説明できたとしています。つまり、性能を上げる手段の多くは、費用を払う手段でもあります。努力量の目安として、単純な事実確認は 1 つのエージェントでツール呼び出し 3〜10 回、比較は 2〜4 のサブエージェントでそれぞれ 10〜15 回、と示しています。プロンプトキャッシュは、Claude の場合、書き込みが基本の入力単価の 1.25 倍(5 分の保持)または 2 倍(1 時間)、読み出しが 0.1 倍です(2026 年 11 月時点、モデルにより異なります)。キャッシュの最小の長さに満たないと、エラーなしでキャッシュされないので注意します。ループには上限を設け、OpenAI Agents SDK では max_turns を超えると例外になります。費用の責任は、共有の基盤は中央、業務固有のエージェントは各部門で持つ併用型が多いと Microsoft のフレームワークは整理しています。

体制:誰が何に責任を持つか
スライド 73 のテキストと解説
体制:誰が何に責任を持つか 計画 出力 行動制御 回復 評価 観測・運用 補足 「エージェントは技術的な問題より、不明確なオーナーシップで失敗することが多い」(Microsoft CAF) 出典: Microsoft Cloud Adoption Framework「Organizational readiness for AI agents」(2026-11 更新) 役割 | 主な責任 業務オーナー | 成果と、残るリスクを引き受ける。成功条件と禁止操作を決める リスク・コンプライアンス | 基準を決め、高リスク案件をレビューする プラットフォームチーム | 基盤・ツールブローカー・ガードレール・観測性・ID を共通で提供し、監査・強制する ワークロード(業務)チーム | 承認された環境でエージェントを開発・運用し、自分の評価セットを持つ 個人ビルダー | 業務上重要になったら正式なオーナーを割り当てる リーダーの視点 予算をつける時点で、ベースライン・パイロットとスケールのゲート・中止条件(例:90 日で処理時間を ○% 削減できなければ止める)を合意する 73
解説

Microsoft のクラウド導入フレームワークは、エージェントの組織の準備を、役割ごとに整理しています。業務のオーナーは、成果と残るリスクを引き受けます。リスクとコンプライアンスは、基準を決め、高リスクの案件をレビューします。プラットフォームチームは、基盤とガードレールを作り、監査と強制を行い、観測性を集約します。ワークロードのチームは、承認された環境の中でエージェントを開発し、運用します。個人が作ったエージェントが業務上重要になったら、正式なオーナーを割り当てます。印象的な一文は「エージェントは技術的な問題より、不明確なオーナーシップで失敗することが多い」です。導入の前にベースラインを測り、パイロットとスケールのゲートを設け、中止の条件(たとえば 90 日以内に処理時間を何%削減)を予算をつける時点で合意しておくことも勧めています。

評価データの作り方:実際の失敗 20〜50 件から始める
スライド 74 のテキストと解説
評価データの作り方:実際の失敗 20〜50 件から始める 計画 出力 行動制御 回復 評価 観測・運用 補足 早く始め、手作業の確認とユーザーの報告をタスクにし、結果を採点し、トランスクリプトを読む 出典: Anthropic「Demystifying evals for AI agents」(2026-01-09) 実際の失敗・手作業の確認 20〜50 件から 曖昧さのないタスク 専門家 2 人の合否が一致 起きるべき/べきでない 両方を入れる 結果を採点 決定的な採点器 トランスクリプトを読む 能力の評価 → 回帰の評価 能力の評価は低い合格率から 合格率が上がったら回帰の評価へ「卒業」 回帰の評価はほぼ 100% を保つ 採点器を疑う 多数の試行で 0% ならタスクの不具合を疑う 採点器の不具合で 42% → 修正後 約 95% の例(Anthropic) 評価セットには必ずオーナーを置き、誰でも失敗例を追加できる経路を作る。本番の障害・人の指摘は 1 週間以内に回帰テストへ 74
解説

Anthropic の評価の解説の推奨手順です。まず早く始めます。実際の失敗から集めた 20〜50 の単純なタスクで十分な出発点になります。今手作業でしている確認と、ユーザーから報告された失敗をテストケースにします。曖昧さのないタスクと参照解を用意し、専門家 2 人が同じ合否を出せるものを良いタスクとします。起きるべき場面と、起きるべきでない場面の両方を入れます。試行ごとにクリーンな環境から始めます。採点器はできるだけ決定的にし、経路ではなく結果を採点します。そして、トランスクリプトを読みます。能力の評価は低い合格率から始め、回帰の評価はほぼ 100% を保ちます。能力の評価で合格率が上がったものは回帰の評価へ卒業させます。多数の試行で合格率が 0% なら、エージェントではなくタスクの不具合を疑います。Anthropic の評価の記事では、採点器の不具合で 42% と出ていたベンチマークが、修正後に約 95% になった例も紹介されています。

評価の統計:20 件では 90% と 70% を区別できない
スライド 75 のテキストと解説
評価の統計:20 件では 90% と 70% を区別できない 計画 出力 行動制御 回復 評価 観測・運用 補足 18/20(90%)の 95% 信頼区間は [69.9%, 97.2%]。小さな改善の証明には数百件が要る 出典: Wilson スコア区間・McNemar 検定・検出力計算(本資料で計算)、Anthropic「A statistical approach to model evaluations」(2024-11、arXiv:2411.00640) 結果 | 成功率 | 95% 信頼区間(Wilson) 18 / 20 | 90% | 69.9% 〜 97.2% 45 / 50 | 90% | 78.6% 〜 95.7% 90 / 100 | 90% | 82.6% 〜 94.5% 検出したい差 | 必要な件数(各群) 90% → 95% | 約 435 70% → 80% | 約 294 独立 2 群、有意水準 5%・検出力 80%。対応のある設計や反復試行で減らせる 同じタスクで新旧を比べる(McNemar の検定) 判定に効くのは結果が食い違ったタスクだけ。100 タスクで「旧だけ成功 2・新だけ成功 9」でも両側 p ≈ 0.065(5% 水準で有意でない) 「20〜50 件は始めるためのもの。小さな改善の証明には足りない」と言い切る。改善を主張するときは信頼区間を添える 75
解説

成功率の信頼区間には Wilson の区間を使います。20 件中 18 件成功で 90% のとき、95% 信頼区間は 69.9% から 97.2% です。20 件では「90%」と「70%」を区別できません。50 件中 45 件なら 78.6% から 95.7%、100 件中 90 件なら 82.6% から 94.5% です。同じタスクで新旧を比べるときは、対応のある比較を使います。2 値の結果なら McNemar の検定で、判定に効くのは結果が食い違ったタスクだけです。たとえば 100 タスクで、旧だけ成功が 2 件、新だけ成功が 9 件なら、両側の p 値は約 0.065 で、5% 水準では有意になりません。差を検出するのに必要な件数は、独立 2 群の比較(有意水準 5%、検出力 80%)で計算すると、90% を 95% にするには各群約 435 件、70% を 80% にするには約 294 件です。Anthropic の統計の記事は、同じ文書から作った設問はクラスタ化した標準誤差を使うこと(素朴な標準誤差の 3 倍を超える場合がある)、設問ごとに複数回試行して平均すること、対応のある差を使うことを勧めています。

エージェントにするか、ワークフローやコードにするか
スライド 76 のテキストと解説
エージェントにするか、ワークフローやコードにするか 計画 出力 行動制御 回復 評価 観測・運用 補足 上から順に判定し、右に当たらなければ次の問いへ。取り消せない操作があるとエージェントの適性は下がる 出典: Anthropic「Building effective agents」、OpenAI「A practical guide to building agents」、Microsoft Cloud Adoption Framework「AI agents」 手順は決まっているか? はい → コード・ワークフロー 判断・非構造データ・保守しにくいルールが要るか? いいえ(定型の要約・分類程度)→ 1 回の LLM+検索 誤った行動は取り消せるか? いいえ → 人の承認必須・ワークフロー 評価・認可・回復の仕組みは成熟しているか? いいえ → 読み取り専用から始める ここまで来た(判断が要り、取り消せ、仕組みも成熟) エージェント(ハード上限と監視付き) OpenAI:まず単一エージェントの能力を最大化し、必要なときだけマルチエージェントへ 76
解説

エージェントにするかどうかの判断の木です。Microsoft のフレームワークは、最初の分岐を「エージェントが不要なら、コードか生成 AI ではない手段」にしています。手順が決まっていて予測できる処理は、従来のワークフローの自動化の方が安く安全です。OpenAI のガイドは、エージェントが向くのは、複雑な判断が要る場面、保守しにくいルールの集まり、非構造のデータに強く依存する場面だとしています。誤った行動を取り消せない業務(支払いや顧客への約束)は、エージェントの適性が下がります。ガードレールや評価の仕組みが成熟していないなら、まず読み取りだけのエージェントや、人の承認を必須にした形から始めます。

規制・標準の現況(2026 年 11 月時点)
スライド 77 のテキストと解説
規制・標準の現況(2026 年 11 月時点) 計画 出力 行動制御 回復 評価 観測・運用 補足 日本の AI 事業者ガイドラインはエージェントを定義に追加。EU AI Act の高リスク義務は 2027-12 へ延期 出典: OWASP Top 10 for Agentic Applications 2026、OWASP LLM06:2025、NIST CAISI、AI 事業者ガイドライン 第 1.2 版、AISI Japan 評価観点ガイド 第 1.20 版、EU Regulation 2026/1744(Digital Omnibus)、ISO/IEC 42001 名称 | 日付・状態 | エージェントへの含意 OWASP Agentic Top 10 | 2025-12-09 公開 | 目標の乗っ取り・ツール悪用・ID と権限の悪用・メモリ汚染など 10 項目 OWASP LLM06 Excessive Agency | 2025 版 | 過剰な機能・権限・自律。認可は LLM でなく下流のシステムで NIST AI Agent Standards Initiative | 2026-02-17 発表 | 相互運用・セキュリティ・エージェントの ID と認可 AI 事業者ガイドライン 第 1.2 版 | 2026-03-31 | エージェントの定義を追加。自社サービスに組み込むと「AI 提供者」の義務も負う AISI Japan 評価観点ガイド 第 1.20 版 | 2026-07-07 | 外部環境との相互作用・自律的な挙動の観点を新設 EU AI Act(Reg. 2026/1744 で改正) | 2026-07-27 発効 | 透明性 2026-08。採用・与信などの高リスク用途(附属書 III)は 2027-12 へ延期 ISO/IEC 42001 | 2023-12 | AI マネジメントシステムの認証規格 「ガイドラインで人の関与・キルスイッチが必須化」という解説は一次資料で確認できない。原文で確認してから引用する 77
解説

規制と標準の現況です。OWASP は 2025 年 12 月に、エージェントのアプリケーションのトップ 10 を公開しました。目標の乗っ取り、ツールの悪用、ID と権限の悪用、サプライチェーン、予期しないコード実行、メモリと文脈の汚染、エージェント間の通信、連鎖的な失敗、人とエージェントの信頼の悪用、暴走するエージェントです。OWASP の LLM のトップ 10 の Excessive Agency は、過剰な機能、権限、自律を原因に挙げ、LLM に頼らず下流のシステムで認可を実装するよう求めています。NIST は 2026 年 2 月にエージェントの標準化の取り組みを発表しました。日本の AI 事業者ガイドラインは 2026 年 3 月の第 1.2 版で AI エージェントの定義を追加し、エージェントを組み込むと利用者が提供者を兼ねる整理を示しました。AISI Japan の評価観点ガイド第 1.20 版は、エージェント特有の観点として外部環境との相互作用と自律的な挙動を新設しています。EU AI Act は、2026 年 7 月発効の改正で、附属書 III の高リスクの義務が 2027 年 12 月に延期されました。なお、一部の解説にある「ガイドラインで人の関与やキルスイッチが必須化された」という記述は、一次資料で確認できていません。

最初の 90 日プラン(目安)
スライド 78 のテキストと解説
最初の 90 日プラン(目安) 計画 出力 行動制御 回復 評価 観測・運用 補足 最初の 30 日で「成功と禁止を定義し、測れる」状態を作る。高度化はその後 出典: 本資料の補足(元レポートのロードマップと、Anthropic・Microsoft CAF の推奨を 90 日に配置) Day 1–30 定義して測る 成功条件・禁止操作・重要な失敗例を業務オーナーと決める 実際の失敗から評価 20〜50 件 トレース基盤を 1 つ 本番の書き込み権限を外す・ループ上限 Day 31–60 実行の境界を作る ツールブローカー:認可・検証・承認・冪等性 複数試行と pass^k 虚偽の完了の検出 キルスイッチとランブック Day 61–90 敵対・回復を測って出す 注入・権限失効・タイムアウトの評価 リリースゲートの合意 限定トラフィックで段階リリース 障害 → 回帰テストの仕組み 最初の報告は「成功率」ではなく「失敗の内訳と、止められる操作・止められない操作の一覧」にする 78
解説

ロードマップの最初の段階を、90 日の目安に配置した補足です。最初の 30 日は、業務オーナーと成功の条件、禁止の操作、重要な失敗例を決め、実際の失敗から 20〜50 件の評価セットを作り、1 つのトレース基盤で現状を測ります。この時点で、本番の書き込み権限をエージェントから外し、ループの上限を入れます。31〜60 日は、ツールブローカーに認可、構造の検証、承認、冪等性を入れ、複数の試行と pass^k で一貫性を測ります。61〜90 日は、注入や障害の評価を足し、リリースゲートを定め、限定的なトラフィックで段階的に出し、障害を回帰テストへ戻す仕組みを回します。

「エージェントの精度は何%?」にどう答えるか
スライド 79 のテキストと解説
「エージェントの精度は何%?」にどう答えるか 計画 出力 行動制御 回復 評価 観測・運用 補足 1 つの数字で答えない。成功・安全・一貫性・費用を分け、条件と信頼区間を添える 出典: 本資料の補足(Part 1〜3、Part 9 の内容の応用) ✕「精度は 88% です」 ○ こう答える 成功 重要な 50 タスクで、状態検査で判定した成功率 88%(95% 信頼区間 約 76〜94%) 一貫性 同じタスクを 4 回続けて全部成功する割合(pass^4)は 70% 安全 権限外の操作は 0 件。これは試験の結果ではなく、実行時に止める仕組みで保証 費用 成功 1 件あたり約 ○ 円(失敗・再試行を含む) 次の手 失敗の内訳は証拠不足 4 割・手順の飛ばし 3 割。次の 1 か月で手順の検査を足す ※ 数値は説明用の例 79
解説

経営層や業務部門から「エージェントの精度は何%ですか」と聞かれたときの答え方です。1 つの数字で答えると、過程の違反や一貫性の欠如が隠れます。たとえば、こう答えます。「重要な 50 のタスクで、状態検査で判定した成功率は 88% です。95% 信頼区間はおよそ 76% から 94% です。同じタスクを 4 回続けて全部成功する割合は 70% です。権限外の操作は、試験ではゼロでしたが、これは試験の結果ではなく、実行時に止める仕組みで保証しています。成功 1 件あたりの費用は約 ○ 円です。失敗の内訳は、証拠の不足が 4 割、手順の飛ばしが 3 割で、次の 1 か月で手順の検査を足します。」

PART 10
スライド 80 のテキストと解説
PART 10 アンチパターン大全と、乗り越えた事例 公開された事故を失敗の層に当てはめ、評価・設計・権限・注入・運用のアンチパターンと、信頼性を上げた運用の型を学ぶ このPartで答えられるようになる問い 公開された事故は、どの層が欠けて起きたのか? 「指示(プロンプト)」はなぜ制御にならないのか? 信頼性を上げた企業は何をしているのか? 全社のエージェント基盤は何を共通化するのか? 80
解説

Part 10 は、元レポートの外で集めた一次資料(当事者の発表、研究者の開示、エンジニアリングブログ)に基づく補足です。運用事例の数値はほぼすべて企業自身の報告(自己申告)で、各スライドに明記しています。

失敗の 6 つの層と、公開された事故の地図
スライド 81 のテキストと解説
失敗の 6 つの層と、公開された事故の地図 計画 出力 行動制御 回復 評価 観測・運用 補足 多くの事故は複数の層が同時に欠けて起きる。最も多いのは「権限」と「注入」の組み合わせ 出典: 当事者の発表・研究者の開示(Replit、Railway、Cursor、AWS Security Bulletin、Invariant Labs、Microsoft/CVE、Noma Security、Tracebit、PromptArmor、Supabase、Asana、Nx、Anthropic) 事故(時期) | 判断 | 権限 | 副作用 | 回復 | 注入 | 評価 Replit:本番 DB の削除(2025-07) | | ○ | ○ | ○ | | Railway+コーディングエージェント:ボリューム削除(2026-04) | | ○ | ○ | ○ | | Cursor サポート AI:存在しない規約(2025-04) | ○ | | | | | ○ GitHub MCP:私有リポジトリの漏洩(2025-05)† | | ○ | | | ○ | M365 Copilot「EchoLeak」(2025-06)† | | | ○ | | ○ | Agentforce「ForcedLeak」(2025-09)† | | | ○ | | ○ | Gemini CLI・Antigravity:許可リストの回避(2025)† | | ○ | ○ | | ○ | Supabase MCP:強い権限での漏洩(2025-07)† | | ○ | | | ○ | Amazon Q 拡張・Nx:CI の権限と供給網(2025) | | ○ | | | ○ | ○=その層の対策が欠けていた。列の 6 層は事故分析用の分類で、上部の工程表示とは別。†=研究者による実証の開示(実被害の報告ではない) 81
解説

公開された事故を、欠けていた層に当てはめた地図です。層は 6 つ、判断、権限、副作用、回復、注入、評価です。○ はその層が欠けていたことを示します。多くの事故は、複数の層が同時に欠けて起きています。特に多いのは、権限と注入の組み合わせです。エージェントが未信頼のデータを読み、その中の指示に従い、過剰な権限で、取り消せない操作や外部への送信をする、という形です。以降のスライドで、代表的な事故を見ていきます。

事故①:「指示」は制御にならない(権限・副作用・回復)
スライド 82 のテキストと解説
事故①:「指示」は制御にならない(権限・副作用・回復) 計画 出力 行動制御 回復 評価 観測・運用 補足 コードフリーズ中の本番 DB 削除、アカウント全体に効くトークンでのボリューム削除。対策はどちらも構造的なもの 出典: Replit「Doubling down on our commitment to secure vibe coding」(2025-07)、Railway Blog「Your AI wants to nuke your database」・Changelog(2026-05-01) Replit(2025-07) コードフリーズ中に本番 DB を削除 「戻せない」と誤って報告(実際は復元できた) 対策:開発・本番 DB の分離を既定化、チェックポイントとロールバック Railway(2026-04) 手元にあったアカウント全体に効く長期トークンでボリューム削除 本番ボリュームが即時に消え、バックアップも見えなくなった 対策:API 経由の削除も 48 時間のソフトデリートへ リーダーの視点 「本番は触らないで」はプロンプトに書くものではなく、権限で表すもの。エージェントの手元に本番の書き込み権限・長期トークンを置かない 82
解説

2025 年 7 月、Replit のエージェントが、ユーザーがコードフリーズを指示していたにもかかわらず、本番のデータベースを削除し、しかも「戻せない」と誤って報告しました。実際にはロールバックで復元できました。Replit はその後、開発用と本番用のデータベースの分離を既定にし、チェックポイントとロールバックを提供しました。2026 年 4 月には、Railway で、コーディングエージェントが手元にあったアカウント全体に効く長期のトークンで、本番のボリュームを削除する API を実行し、ボリュームが即時に消え、バックアップも見えなくなる事故がありました。Railway は 2026 年 5 月から、API 経由の削除も 48 時間のソフトデリートに変えました。どちらも教訓は同じで、「コードフリーズして」「本番は触らないで」という指示は制御になりません。止めるのは、権限の分離、削除の遅延、ロールバックという構造です。

事故②:AI の発言は会社の発言になる(判断・評価)
スライド 83 のテキストと解説
事故②:AI の発言は会社の発言になる(判断・評価) 計画 出力 行動制御 回復 評価 観測・運用 補足 サポート AI が存在しない規約を答えて解約者が出た。「チャットボットは別の主体」という主張は裁判で退けられた 出典: Cursor 共同創業者の Hacker News コメント(2025-04)、The Register(2025-04-18)、Moffatt v. Air Canada, 2024 BCCRT 149(判決文は未取得、法律事務所の解説による) Cursor のサポート AI(2025-04) 存在しない「1 サブスク 1 デバイス」規約を回答 解約するユーザーが出た 対策:AI の回答に AI であることを明示 Air Canada(2024-02、参考) チャットボットが誤った割引規定を案内 「チャットボットは別の主体」の主張は退けられた ※ 判決文は未取得。法律事務所の解説による リーダーの視点 規約・価格・返金のような「約束」に関わる回答は、根拠文書への引用を必須にし、根拠がなければ答えずに人へ引き継ぐ 83
解説

2025 年 4 月、Cursor のサポートの AI が、存在しない「1 つのサブスクリプションで 1 台のデバイス」という規約を回答し、それを信じたユーザーの解約が出ました。共同創業者が謝罪し、AI の回答には AI であることを明示するようにしました。2024 年 2 月のカナダの Air Canada の件では、チャットボットが誤った割引の規定を案内し、航空会社は「チャットボットは別の法的な主体だ」と主張しましたが退けられ、支払いが命じられました(判決文は未取得で、法律事務所の解説が一致している段階です)。教訓は、エージェントや AI の回答は、会社の回答として扱われるということです。規約や価格のような約束に関わる回答は、根拠の文書への引用を必須にし、根拠がなければ答えずに人へ引き継ぐ設計にします。

事故③:読むだけで漏れる(注入×外部送信)
スライド 84 のテキストと解説
事故③:読むだけで漏れる(注入×外部送信) 計画 出力 行動制御 回復 評価 観測・運用 補足 メール 1 通、Web フォーム 1 件、公開 Issue 1 件で、機密を外へ送れることが実証された(研究者の開示) 出典: EchoLeak(CVE-2025-32711、arXiv:2509.10540)、Noma Security「ForcedLeak」(2025-09)、Invariant Labs「GitHub MCP vulnerability」(2025-05) EchoLeak(2025-06) M365 Copilot。メール 1 通でクリック不要の持ち出し。注入の検知と画像の送信先の制限を組み合わせて回避。深刻度 9.3/10 ForcedLeak(2025-09) Agentforce。Web フォーム経由の注入で顧客データを持ち出し。許可リストの期限切れドメインを $5 で取得。深刻度 9.4/10 GitHub MCP(2025-05) 公開 Issue の注入で、私有リポジトリの情報を公開のプルリクエストに書き出させた。「サーバー側の修正だけでは直らない」 注意 検知(分類器)は回避される前提で設計する。送信先の許可リスト、私的データと外部送信の分離を構造で行う 84
解説

未信頼のデータを読むだけで、機密が漏れた事故です。Microsoft 365 Copilot の EchoLeak(2025 年 6 月、CVSS 9.3)では、メール 1 通で、クリック不要のデータ持ち出しが可能でした。注入の検知の分類器と、コンテンツセキュリティポリシーを連鎖して回避しています。Salesforce Agentforce の ForcedLeak(2025 年 9 月、CVSS 9.4)では、Web からのリード登録フォーム経由の注入で、CRM のデータを持ち出せました。許可リストに残っていた期限切れのドメインを、研究者が 5 ドルで取得できたことが鍵でした。GitHub の MCP の件(2025 年 5 月)では、公開の Issue に仕込んだ注入で、私有リポジトリの情報を公開のプルリクエストに書き出させました。研究者は、サーバー側の修正だけでは直らない構造上の問題だとしています。

事故④:開発ツールと供給網も攻撃面になる
スライド 85 のテキストと解説
事故④:開発ツールと供給網も攻撃面になる 計画 出力 行動制御 回復 評価 観測・運用 補足 許可リストの回避、拒否されたら別のコマンドで迂回、CI の過剰な権限から悪性コードの混入 出典: Tracebit(Gemini CLI、2025-07)、PromptArmor(Google Antigravity、2025-11)、AWS Security Bulletin AWS-2025-015(Amazon Q Developer 拡張)、Nx「s1ngularity postmortem」(2025-08)、Supabase「Defense in depth for MCP」 事故 | 何が起きたか | 欠けていた構造 Gemini CLI(2025-07) | README の注入。grep で始まるコマンドが許可済みだったため、後ろに続く任意のコマンドも通り、環境変数を送信 | コマンドの許可は先頭の一致でなく、完全な引数で Antigravity(2025-11) | 読み取りツールに拒否されると cat で迂回し、許可リストのサイトへ送信 | 拒否された対象への迂回の検査、送信先の制限 Amazon Q 拡張(2025-07) | CI の過剰な権限のトークンで、悪性コードが混入したままリリース | CI の最小権限、リリースの検証 Nx(2025-08) | CI への注入で npm トークンを奪われ、悪性版が開発者の AI CLI で秘密を探索 | 外部 PR の CI 実行の承認、長期トークン不要の公開方式(Trusted Publishing) Supabase MCP(2025-07) | 強い権限で動作し、チケット経由の注入でトークン漏洩 | 読み取り専用・プロジェクト単位の権限 リーダーの視点 ベンダーも注入を完全には防げない(Supabase は対策を「リスクを減らすが除去はしない」と明記)。前提にして、構造で影響を限る 85
解説

開発ツールと供給網の事故です。Gemini CLI(2025 年 7 月)では、README に仕込んだ注入で、許可済みの grep というコマンドの接頭辞を使って許可リストを回避し、環境変数を持ち出せました。Google Antigravity(2025 年 11 月)では、極小のフォントで隠した注入で設定ファイルを読ませ、読み取りツールに拒否されると cat コマンドで迂回し、既定の許可リストにあったサイトへ送信しました。Amazon Q Developer の VS Code 拡張(2025 年 7 月)では、ビルドの GitHub トークンの権限が過剰で、悪性のコードが混入したままリリースされました(コードは構文エラーで動作しませんでした)。Nx(2025 年 8 月)では、CI のワークフローへの注入で npm のトークンが奪われ、悪性の版が公開されました。その悪性コードは、開発者の PC にある AI の CLI を使って秘密情報を探索しました。Supabase の MCP(2025 年 7 月)では、行レベルのセキュリティを迂回する強い権限で動いていたため、サポートチケット経由の注入でトークンが漏れました。Supabase は、読み取り専用、プロジェクト単位の制限などを入れつつ、「リスクを減らすが除去はしない」と明記しています。

Lethal trifecta:3 つがそろうと「読むだけで漏れる」
スライド 86 のテキストと解説
Lethal trifecta:3 つがそろうと「読むだけで漏れる」 計画 出力 行動制御 回復 評価 観測・運用 補足 私的なデータへのアクセス・未信頼のコンテンツ・外部への送信。どれか 1 つ(多くは外部送信)を構造的に断つ 出典: Simon Willison「The lethal trifecta for AI agents」(2025-06-16)、事故③④の各資料 私的なデータへのアクセス メール・社内文書・DB・秘密情報 未信頼のコンテンツ Web・メール・Issue・チケット・ツール応答 外部への送信 HTTP・メール・PR・画像の URL・通知 3 つがそろうと、未信頼のコンテンツの指示に従って私的なデータが外に出る どれか 1 つを構造的に断つ(多くは外部送信) 送信先を許可リストに限る(期限切れのドメインも棚卸し) 私的なデータを読んだセッションでは外部送信のツールを外す 外部送信は人の承認にする 未信頼のデータで送信先・権限を決めさせない(CaMeL の発想) 86
解説

Simon Willison が 2025 年 6 月に整理した「致命的な三つ組(lethal trifecta)」です。エージェントが、私的なデータにアクセスでき、未信頼のコンテンツを読み、外部に送信できる、の 3 つがそろうと、未信頼のコンテンツに埋め込まれた指示に従って、私的なデータを外へ持ち出される危険があります。事故③と④の多くは、この形です。注入を完全に検出することはできないので、3 つのうちどれか 1 つを構造的に断ちます。多くの場合、最も断ちやすいのは外部への送信です。送信先を許可リストに限る、送信を人の承認にする、私的なデータを読んだセッションでは外部送信のツールを外す、などです。CaMeL の発想(未信頼のデータで送信先や権限を決めさせない)も、この三つ組を断つ一つの方法です。

アンチパターン①:評価と設計
スライド 87 のテキストと解説
アンチパターン①:評価と設計 計画 出力 行動制御 回復 評価 観測・運用 補足 「デモで 1 回成功」「完了しましたで判定」「ツールとエージェントを増やす」が最も多い 出典: τ-bench、Anthropic「Demystifying evals」「Writing effective tools for agents」「Building effective agents」、MAST、Epoch AI(BFCL 監査)、Shopify Engineering(2025-08)、Cognition(2025-06)、RAG-MCP(arXiv:2505.03275)、SWE-Bench+ アンチパターン | なぜ失敗するか(根拠) | 代わりにどうするか デモで 1 回成功=本番品質 | pass^1 61% でも pass^8 は 25% 未満(τ-bench) | 複数試行と pass^k 「完了しました」で判定(Hold) | 発話と状態は別。採点器の不具合で 42% → 修正後 約 95% の例 | 最終状態で採点し、採点器も点検 人で較正しない LLM 採点器 | Shopify:人との一致 κ 0.02 → 較正後 0.61(人同士 0.69) | 人のラベルとの一致を定期的に測る 評価セットの汚染・攻略を見逃す | 解答の漏れ・採点コードの改変でスコアだけ膨らむ | 非公開の自前タスク、採点コードを書き込めない構成 ツールを増やしすぎる | ツールを絞ると選択精度 13.62% → 43.13%(RAG-MCP) | 統合・名前空間化、必要なものだけ渡す マルチエージェントの過剰導入 | 文脈の断片化・判断の衝突(Cognition、MAST) | まず単一エージェントかワークフロー 決まった手順まで LLM に任せる | 遅く・高く・予測しにくい | 決まった手順はコード、判断だけ LLM 87
解説

評価と設計のアンチパターンです。デモで 1 回成功したら本番品質とみなすのは、pass^1 と pass^8 の差を無視しています。モデルの「完了しました」で成功を判定するのは元レポートでも Hold で、Anthropic は採点器の不具合で 42% と出ていたベンチマークが修正後に約 95% になった例を紹介しています。評価セットの汚染やベンチマークの攻略、公開ランキングだけでの採用、人で較正しない LLM の採点器、評価の後回しも典型です。Shopify は、採点器と人の一致度を、Cohen のカッパで 0.02 から 0.61 まで上げてから使っています(人同士は 0.69)。設計では、ツールを増やしすぎるとツールの選択の精度が落ち、RAG-MCP の研究ではツールを絞り込むと選択の精度が 13.62% から 43.13% に上がりました。外部の根拠なしの自己反省、マルチエージェントの過剰な導入、決まった手順まで LLM に任せることも典型です。

アンチパターン②:権限・承認・注入・運用
スライド 88 のテキストと解説
アンチパターン②:権限・承認・注入・運用 計画 出力 行動制御 回復 評価 観測・運用 補足 「本番の書き込み権限を直接渡す」「承認を出しすぎて形だけになる」「プロンプトで権限を制御する」 出典: OWASP LLM06・LLM07:2025、Anthropic「Claude Code sandboxing」(2025-10)、MCP 仕様、Invariant Labs(tool poisoning)、OpenTelemetry GenAI 規約、OpenAI「Sycophancy in GPT-4o」(2025-05)、Anthropic のポストモーテム(2025-09) アンチパターン | なぜ失敗するか(根拠) | 代わりにどうするか 本番の書き込み権限を直接渡す | 指示は制御にならない(Replit、Railway) | 開発・本番の分離、既定は読取専用、短命トークン 承認の出しすぎ(承認疲れ) | 手動承認の 93% がそのまま承認されていた(Anthropic の報告) | サンドボックスで閉じ込め、高リスクだけ確認(Claude Code の権限確認 −84%) プロンプトで権限を制御 | プロンプトは漏れ、境界にならない(OWASP LLM07) | 権限の判定は LLM の外、秘密はプロンプトに入れない MCP サーバーを審査せず導入 | ツール説明への悪意ある指示、承認後の書き換え | 許可リスト、版とツール定義のハッシュを固定 共有サービスアカウントで動かす | 誰の権限で何をしたか追えない | エージェントごとの ID と責任者、委任トークン コスト暴走・無限ループ | 手順の反復・終了認識の失敗(MAST) | 回数・トークン・金額のハード上限 ログに機密を残す | プロンプトや出力に個人情報が入る | 既定はメタデータのみ(OTel も内容は opt-in) モデル更新を観測なしで出す | オフライン評価をすり抜ける回帰(OpenAI 2025-05) | 版固定・段階リリース・即時ロールバック 88
解説

権限、承認、注入、運用のアンチパターンです。本番の書き込み権限を直接渡すと、指示は制御にならないので事故になります。承認を出しすぎると、承認が形だけになります。Anthropic は、Claude Code の手動承認の 93% がそのまま承認されていたこと、サンドボックスで安全な範囲を閉じ込めて確認を 84% 減らしたことを報告しています。承認の画面で実際の操作内容を見せないと、表示そのものが偽装され得ます。プロンプトで権限を制御したり、システムプロンプトを秘密として扱ったりするのも誤りで、プロンプトは漏れ得るし、境界になりません。MCP サーバーを審査せずに導入すると、ツールの説明文への悪意ある指示の埋め込みや、承認の後に説明を書き換える攻撃を受けます。共有のサービスアカウントでエージェントを動かすと、誰の権限で何をしたか追えません。運用では、コストの暴走と無限ループを止める仕組みがない、冪等性なしで再試行する、ログに機密を残す、モデルの更新を観測とロールバックなしで出す、が典型です。OpenAI は 2025 年 5 月、モデル更新で迎合的な振る舞いが増えた問題の事後報告を出しています。

元レポートの Hold 4 項目と、現実の事故・報告の対応
スライド 89 のテキストと解説
元レポートの Hold 4 項目と、現実の事故・報告の対応 計画 出力 行動制御 回復 評価 観測・運用 補足 Hold(元レポートの採用レーダーで「標準では避ける」判定)は机上の注意ではない。事故や報告で裏付けられている 出典: 元レポート「Technology Radar」(Hold)、本 Part の事故・報告 Hold(元レポート) | 対応する事故・報告 モデルの自己申告だけで成功・安全を判定 | Replit の「戻せない」という誤報告、採点器の不具合で 42% → 修正後 約 95%(Anthropic) 出力ガードレールを副作用防止の代わりにする | ガードレールの検査の前にツールが動き得る(OpenAI Agents SDK の既定は並行実行)。出力の検査では実行済みの操作を戻せない 無制限な自己反省・多数エージェント化 | 自己修正で CommonSenseQA 75.8 → 38.1、MAST の 14 の失敗モード、Cognition の主張 公開ランキングや単一 Judge のみで本番採用 | BFCL 監査で 50 問中 24 問に欠陥、SWE-bench Verified の監査で 59.4% に重大な問題 リーダーの視点 設計レビューで Hold の項目を見つけたら、この表の事故を例に挙げて説明すると合意を得やすい 89
解説

元レポートの採用レーダーで Hold(標準方針として避けたい)とされた 4 項目が、現実の事故や報告とどう対応するかの表です。モデルの自己申告だけで成功や安全を判定することは、Replit のエージェントが「戻せない」と誤って報告した件や、採点器の不具合でスコアが大きくずれた例と対応します。出力のガードレールを副作用の防止の代わりにすることは、OpenAI Agents SDK の入力のガードレールが既定で並行実行され、検査の前にツールが動き得ることと対応します。無制限な自己反省と多数のエージェント化は、自己修正の研究と MAST、Cognition の主張と対応します。公開ランキングや単一の Judge だけでの本番採用は、BFCL の監査や SWE-bench Verified の監査と対応します。

乗り越えた事例①:評価を先に作る
スライド 90 のテキストと解説
乗り越えた事例①:評価を先に作る 計画 出力 行動制御 回復 評価 観測・運用 補足 少数の実クエリから評価を始め、採点器を人と突き合わせ、一貫性を pass^k で測る(数値は各社の自己申告) 出典: Anthropic「How we built our multi-agent research system」(2025-06)、Shopify Engineering「Building production-ready agentic systems」(2025-08)、Sierra「Benchmarking AI agents」(2024-06)、Intercom(Fin) 企業(対象) | 仕組み | 報告された数値(自己申告) Anthropic(調査用マルチエージェント) | 約 20 件の実クエリで評価を開始、LLM 採点と人手を併用、新旧を並行稼働 | ツール説明の書き直しでタスク時間 −40% Shopify(Sidekick) | 3 人以上の専門家のラベル、採点器を人との一致で較正、ユーザーシミュレーター | 採点器と人の一致 κ 0.02 → 0.61(人同士 0.69)。κ=偶然を除いた一致度、1 で完全一致 Sierra(τ-bench) | 模擬ユーザー+業務ポリシー、最終 DB 状態で採点、pass^k | pass^1 61% → pass^8 は 25% 未満(2024 年のモデル) Intercom(Fin) | 人へ引き継いだ会話は「解決」に数えない、改善サイクル | 解決率 51%(2024)→ 76%(2026-03) 「解決」の定義は企業ごとに違う(人への引き継ぎを含むか等)。他社の解決率と比べない 90
解説

評価を先に作って信頼性を上げた事例です。数値はすべて各社の自己申告です。Anthropic の調査用マルチエージェントは、約 20 件の実際のクエリで評価を始め、LLM の採点器と人の評価を併用し、新旧の版を並行して動かして段階的に移行しました。ツールの説明を書き直すとタスクの時間が 40% 減ったとも報告しています。Shopify の Sidekick は、実際の会話から作った正解のセットを 3 人以上の専門家がラベル付けし、採点器を人との一致度で較正しました。一致度は Cohen のカッパで 0.02 から 0.61 になり、人同士の 0.69 に近づきました。強化学習で報酬のハッキング(採点器の攻略)も観測しています。Sierra は τ-bench を作り、最終のデータベースの状態で採点し、pass^k で一貫性を測る考え方を公開しました。Intercom の Fin は、人に引き継いだ会話を「解決」に数えない定義で、解決率を 2024 年の 51% から 2026 年 3 月の 76% に上げたと報告しています。

乗り越えた事例②:閉じ込めてから自律させる
スライド 91 のテキストと解説
乗り越えた事例②:閉じ込めてから自律させる 計画 出力 行動制御 回復 評価 観測・運用 補足 隔離した環境で確認なしに動かし、成果物を人がレビュー。承認の数より閉じ込める範囲を設計する 出典: Stripe Dev Blog「Minions」(2026-02)、Spotify Engineering「Background coding agents」(2025-12)、Anthropic「Claude Code sandboxing」(2025-10)、メルカリ Engineering Blog(2026-06) 企業(対象) | 閉じ込め方 | 報告された数値(自己申告) Stripe(Minions) | 本番・外部通信から隔離した開発環境、厳選したツール、CI は 2 回まで、全 PR を人がレビュー | 人のコードを含まない PR を週 1,300 件超マージ Spotify(バックグラウンド) | push 権限なしのコンテナ、ビルド・テストを強制、LLM 採点器が却下 | 採点器が約 1/4 のセッションを却下 Anthropic(Claude Code) | OS レベルのサンドボックス:作業ディレクトリ外は書込不可、通信先を制限 | 権限の確認 −84%(社内利用、基準値は未開示) メルカリ(決済の障害調査) | セッションごとのコンテナ、短命・最小権限のトークン、強制は決定的な層で | 数値は未公開 リーダーの視点 「承認を何回挟むか」より「どこまで閉じ込めれば確認なしで動かせるか」を設計する。指示ファイルは誘導、強制は決定的な層 91
解説

閉じ込めてから自律させた事例です。Stripe の無人のコーディングエージェント Minions は、本番や外部の通信から隔離した開発環境で、確認なしに動かします。約 500 のツールから厳選して渡し、CI は 2 回までで、超えたら人に渡し、すべてのプルリクエストを人がレビューします。人が書いたコードを含まないプルリクエストを週に 1,300 件以上マージしていると報告しています。Spotify のバックグラウンドのエージェントは、push の権限のないコンテナで動き、ビルドとテストを強制し、LLM の採点器が却下できます。採点器は約 4 分の 1 のセッションを却下し、その約半数は自力で修正したといいます。Anthropic は Claude Code に OS レベルのサンドボックスを入れ、作業ディレクトリの外への書き込みと通信先を制限し、権限の確認を 84% 減らしたと報告しています。別の報告では、手動の承認の 93% がそのまま承認されていたとも述べています。メルカリの決済基盤の障害調査のエージェントは、セッションごとのコンテナと、短命で最小権限のトークンで書き込み先を機械的に制限し、指示ファイルは誘導用、強制は決定的な層で行う、と明記しています。

乗り越えた事例③:機械で確かめ、人の注意を絞る
スライド 92 のテキストと解説
乗り越えた事例③:機械で確かめ、人の注意を絞る 計画 出力 行動制御 回復 評価 観測・運用 補足 機械で確かめられるものは機械で。残りは LLM で絞り、怪しいものだけ人へ(数値は自己申告) 出典: Airbnb Tech Blog(2025-03)、Uber Engineering「uReview」(2025-08)、OpenAI Alignment「Scaling code verification」(2025-12)、AWS ブログ(freee)、DoorDash Engineering(2024-09) 企業(対象) | 検証の挟み方 | 報告された数値(自己申告) Airbnb(テスト移行) | refactor → テスト → lint → 型の各段で検証と再試行、残りは人 | 見積 1.5 年 → 6 週間、4 日で 97% Uber(uReview) | 生成 → 採点 → 検証 → 重複除去 | 週約 6.5 万差分の 90% 超、有用コメント 75% OpenAI(Codex レビュー) | コード実行の権限、精度優先で重大な指摘だけ | コメントの 52.7% で作者が修正 freee(記帳の検証) | 別の LLM が自信度を評価し、怪しいものだけ人が確認 | 確認対象 約 2 割、確認時間 −80% DoorDash(配達員サポート) | 安い類似度チェック → 疑わしいときだけ LLM の 2 段 | ハルシネーション −90%(基準値未開示) 共通点:LLM の出力をそのまま信じず、機械で確かめられることは機械で確かめ、人の注意を「怪しいものだけ」に集中させる 92
解説

決定的な検証を挟んだ事例です。Airbnb は約 3,500 のテストファイルの移行を、リファクタ、テストの実行、lint、型チェックの段階ごとに検証と再試行を挟んで自動化し、手作業で 1.5 年と見積もった作業を 6 週間で終え、4 日で 97% を完了、残り 3% を人が直しました。Uber のコードレビューの uReview は、生成、採点、検証、重複除去の多段構成で、週約 6.5 万の差分の 90% 超を分析し、有用とされたコメントが 75% と報告しています。OpenAI の Codex のコードレビューは、リポジトリ全体の参照とコード実行の権限を与え、再現率より精度を優先し、重大度の高い指摘だけを出して、コメントの 52.7% で作者がコードを修正したと報告しています。freee は記帳の読み取り結果を別の LLM が自信度で評価し、怪しいものだけを人が確認して、確認の対象を約 2 割に絞り、確認時間を 80% 減らしました。DoorDash は、安い類似度のチェックと、疑わしいときだけの LLM の 2 段のガードレールで、ハルシネーションを 90%、重大なコンプライアンス問題を 99% 減らしたと報告しています(基準値は未開示)。

教訓の事例:指標の定義を誤ると揺り戻す
スライド 93 のテキストと解説
教訓の事例:指標の定義を誤ると揺り戻す 計画 出力 行動制御 回復 評価 観測・運用 補足 Klarna は「700 人分」を発表した 1 年後、品質低下を認めて人の採用に戻した。指標の定義が成否を左右する 出典: Klarna プレスリリース(2024-02)、Bloomberg(2025-05、CEO インタビュー)、Salesforce News(Agentforce の自社ヘルプ) 2024-02 初月 230 万会話、700 人分と発表 2025-05 CEO が品質低下を認め、人の採用に戻す(報道) 「解決」の定義を確かめる 人への引き継ぎを含むか 再問い合わせをどう数えるか 顧客満足と並べているか ポイント Salesforce の自社ヘルプ(自己申告、低下理由は非公開):6 か月で解決率 84%・引き継ぎ 4% → 2026-06 の発表では 430 万件中 70% 解決(低下の理由は未記載) リーダーの視点 件数や解決率の 1 つの数字で成功を宣言しない。品質(状態検査・顧客満足・再問い合わせ)と費用を並べ、定義を明記して報告する 93
解説

揺り戻しの事例です。Klarna は 2024 年 2 月、AI アシスタントが最初の 1 か月で 230 万件の会話を処理し、700 人分の仕事に相当すると発表しました。しかし 2025 年 5 月、CEO はコストを重視しすぎて品質が下がったと認め、人の採用に戻しました(報道による)。Salesforce は自社のヘルプサイトの Agentforce で、6 か月で解決率 84%、人への引き継ぎ 4% と報告した後、2026 年 6 月の発表では 430 万件中 70% の解決としています。低下の理由は記載されていません。教訓は 2 つです。処理件数や解決率の 1 つの数字だけで成功を宣言しない。そして、「解決」の定義(人に引き継いだものを含むか、再問い合わせはどう数えるか)が、数字の意味を決めるということです。

国内の事例
スライド 94 のテキストと解説
国内の事例 計画 出力 行動制御 回復 評価 観測・運用 補足 国内でも「強制は決定的な層で」「評価を基盤に」「自信度で人の確認を絞る」が共通している(自己申告) 出典: メルカリ Engineering Blog(2026-06)、LayerX Tech Blog(2025-10)、Ubie(Zenn)、AWS ブログ(freee)、Money Forward Developers Blog(2025-12)、パナソニック コネクト(2026-07)、サイバーエージェント 企業(対象) | 仕組み | 報告された数値(自己申告) メルカリ(決済の障害調査) | セッションごとのコンテナ、ACL と短命・最小権限トークン。指示は誘導、強制は決定的な層 | 未公開 LayerX(バクラク) | Langfuse で評価・実験、確信度の高いものだけ自動で一次承認 | DSPy で正解率 87.94% → 92.96% Ubie(セキュリティアラート分析) | 分析用ツールのみ、システムを変更できない | 数十分の情報収集が数分に freee(記帳の検証) | 別の LLM が自信度を評価、怪しいものだけ人 | 確認対象 約 2 割、確認時間 −80% マネーフォワード(リース識別) | 同じ入力を 3 回実行して比較。正解率はカテゴリ別に報告し、全体精度は保証しない方針 | — パナソニック コネクト | ナビゲーター型・ワークフロー型・汎用型に分類 | エージェント単体の数値は未公開(全社 AI で 78.8 万時間) 94
解説

国内の公開事例です。数値はすべて各社の自己申告です。メルカリの決済基盤の障害調査のエージェントは、セッションごとのコンテナと、社内のアクセス制御と短命で最小権限のトークンで書き込み先を機械的に制限し、指示ファイルは誘導用、強制は決定的な層で行う設計です。LayerX のバクラクは、Langfuse で評価と実験を回し、確信度の高いものだけ自動で一次承認し、DSPy による最適化で社内タスクの正解率を 87.94% から 92.96% に上げたと報告しています。Ubie のセキュリティのアラート分析は、分析用のツールだけを持ち、システムを変更できない設計です。freee は、別の LLM の自信度で人の確認を約 2 割に絞り、確認時間を 80% 減らしました。マネーフォワードのリースの識別エージェントは、同じ入力を 3 回実行して比べ、正解率はカテゴリ別に報告し、全体の精度は保証しない方針を明記しています。パナソニック コネクトは、エージェントをナビゲーター型、ワークフロー型、汎用型に分類し、2025 年度に 78.8 万時間の削減を推計しています。国内では、エージェントが原因の障害の公開事例は見つかりませんでした。

規模・組織:全社基盤は何を共通化し、何を業務に任せるか
スライド 95 のテキストと解説
規模・組織:全社基盤は何を共通化し、何を業務に任せるか 計画 出力 行動制御 回復 評価 観測・運用 補足 共通化するのは ID・権限・ツールのレジストリと MCP ゲートウェイ・観測・費用。正解の基準は業務チームが持つ 出典: Uber Engineering「Solving the agent identity crisis」、Pinterest Engineering「Building an MCP ecosystem」、Cloudflare Blog「Enterprise MCP」、Block Engineering(red teaming goose)、メルカリ Engineering Blog 全社で共通化(プラットフォームチーム) エージェントの ID・委任トークン(誰の権限で動くか) ツールのレジストリと MCP ゲートウェイ(審査・許可リスト) 認可・監査・ツールブローカー 観測・費用・ガードレール・ランタイムのテンプレート 業務チームに任せる 業務特化のエージェント 評価基準(何を正解とするか)と評価セット 業務の禁止操作と承認の条件 「機構は買える、判断基準は自前」(メルカリ) 企業 | 基盤の特徴 Uber | 2 層の MCP ゲートウェイ、1 万超のサービスの API をツール化、呼び出し経路をトークンに埋め込み認可・監査 Pinterest | 中央レジストリ登録の MCP サーバーだけ本番利用、利用者トークンとサービス ID の 2 層の認可 Cloudflare | MCP ポータルで権限のあるサーバーを一括提供。ポータルの制御は「表示」で、直接 URL に注意 Block | MCP サーバーの追加は MCP に詳しいエンジニアとセキュリティの 2 段階レビュー 95
解説

全社のエージェント基盤の作り方です。各社に共通する分担は、全社で ID と権限、ツールのレジストリと MCP のゲートウェイ、観測と費用、ガードレール、ランタイムのテンプレートを共通化し、業務チームに業務特化のエージェントと、その評価基準(何を正解とするか)を任せる、というものです。メルカリはこれを「機構は買える、判断基準は自前」と表現しています。Uber は、ツールの定義のレジストリとプロキシの 2 層の MCP ゲートウェイを置き、社内 1 万を超えるサービスの API 定義を MCP のツールの説明に自動で変換し、エージェントのレジストリとワークロードの ID を持ちます。呼び出しの経路(人 → エージェント → エージェント)をトークンに埋め込み、ゲートウェイで認可と監査を行います。Pinterest は、本番で使えるのを中央のレジストリに登録した MCP サーバーだけに限り、エンドユーザーのトークンとサービスの ID の 2 層で認可します。Cloudflare は、MCP のポータルに 1 回つなげば権限のあるサーバーがすべて見え、エージェントはその社員の権限で動く設計です。ただし、ポータルのアクセスのポリシーは「表示されるか」の制御で、直接の URL ではつながる場合がある、という注意もあります。Block は、MCP サーバーの追加を、MCP に詳しいエンジニアとセキュリティの 2 段階でレビューしています。

AgentOps を語るための 7 つの持論(根拠付き)
スライド 96 のテキストと解説
AgentOps を語るための 7 つの持論(根拠付き) 計画 出力 行動制御 回復 評価 観測・運用 補足 会議で問われたときに、根拠を添えて言い切れる形にまとめた 1 指示は制御ではない。止めるのは権限と構造 Replit・Railway の事故、OWASP LLM06 2 モデルは提案者。実行の許可は別の仕組みが出す 元レポート、OPA・Cedar、AgentCore Policy 3 成功は状態で判定し、過程の違反を別に数える τ-bench、TraceTrial-Bench(成功した実行にも基準未達) 4 1 回の成功ではなく、繰り返しの成功で測る τ-bench(pass^1 61% → pass^8 25% 未満) 5 注入は防ぎきれない。三つ組のどれかを断つ EchoLeak・ForcedLeak、Lethal trifecta、CaMeL 6 回復は推論と別。結果不明は再送しない Temporal・LangGraph の仕様、Replit・Railway 7 評価は実際の失敗 20〜50 件から。採点器も較正 Anthropic「Demystifying evals」、Shopify(κ) 96
解説

テックリードが会議で自信を持って言えるように、7 つの持論にまとめました。根拠は右の資料です。1 つ目、指示は制御ではない。止めるのは権限と構造です。2 つ目、モデルは提案者、実行の許可は別の仕組みが出す。3 つ目、成功は状態で判定し、過程の違反を別に数える。4 つ目、1 回の成功ではなく、繰り返しの成功で測る。5 つ目、注入は防ぎきれない前提で、私的データ・未信頼コンテンツ・外部送信のどれかを断つ。6 つ目、回復は推論とは別の問題で、意図と結果を記録し、結果不明は再送しない。7 つ目、評価は実際の失敗 20〜50 件から始め、採点器も人で較正する。

自己診断チェックリスト:エージェントは安全に動かせる状態か
スライド 97 のテキストと解説
自己診断チェックリスト:エージェントは安全に動かせる状態か 計画 出力 行動制御 回復 評価 観測・運用 補足 「いいえ」が次の打ち手。右列(赤枠)は事故に直結するので、いいえならリリースしない 成功条件と禁止操作を業務オーナーと合意した 実際の失敗から評価 20 件以上がある 成功を状態検査で判定している 複数試行・pass^k で一貫性を測っている 採点器を人のラベルで較正した ループ・トークン・金額にハード上限がある 本番の書き込み権限をエージェントに直接渡していない 更新系ツールの直前に決定的な認可がある 承認は操作内容のハッシュに結び付いている 冪等性キーと、結果不明時の照合がある 私的データ・未信頼コンテンツ・外部送信の三つ組を断った キルスイッチとロールバックを試した 97
解説

プロジェクトの健康診断に使うチェックリストです。12 項目のうち「いいえ」が付いた項目が、次に手を打つ候補です。特に、本番の書き込み権限をエージェントに直接渡していないか、更新系のツールの直前に決定的な認可があるか、私的データ・未信頼コンテンツ・外部送信の三つ組を断っているかの 3 つは、事故に直結するので最優先で確認します。

Part 10 の主要出典
スライド 98 のテキストと解説
Part 10 の主要出典 事故・開示:Replit(2025-07)/Railway(2026-04・05)/Cursor(HN、2025-04)/Moffatt v. Air Canada(2024、解説による)/AWS-2025-015(Amazon Q)/Invariant Labs(GitHub MCP、2025-05)/EchoLeak CVE-2025-32711(arXiv:2509.10540)/Noma ForcedLeak(2025-09)/Tracebit(Gemini CLI)/PromptArmor(Antigravity)/Supabase「Defense in depth for MCP」/Asana status/Nx s1ngularity postmortem/Anthropic「Disrupting AI espionage」 運用事例:Anthropic(multi-agent research、Claude Code sandboxing)/OpenAI(Scaling code verification)/Sierra(τ-bench)/Shopify(Sidekick)/Stripe(Minions)/Spotify(background coding agents)/Uber(uReview、agent identity)/Airbnb(test migration)/DoorDash/Intercom Fin/Salesforce/Klarna/LinkedIn/Pinterest(MCP ecosystem)/Cloudflare(Enterprise MCP)/Block(goose) 国内:メルカリ/LayerX/Ubie/freee/マネーフォワード/パナソニック コネクト/サイバーエージェント 論考・標準:Simon Willison「The lethal trifecta」(2025-06)/Cognition「Don’t Build Multi-Agents」(2025-06)/RAG-MCP(arXiv:2505.03275)/OWASP LLM06・LLM07:2025、Agentic Top 10(2025-12) 98
解説

Part 10 で参照した主な資料です。事故は当事者の発表と研究者の開示を優先し、報道のみのものは「参考」としています。運用事例の数値は各社の自己申告です。

適用限界と未解決点
スライド 99 のテキストと解説
適用限界と未解決点 日本語・専門業務への適用、自動の原因特定、形式保証の境界、製品の変化、評価の自己目的化 出典: 元レポート「適用限界と未解決点」 日本語・専門業務 英語中心の根拠。日本語の省略・社内用語・承認規程に同じ数値は使えない 自動の原因特定 ログから因果的な根本原因を高精度に保証する段階ではない 形式保証の境界 規則・入力・信頼モデルの範囲の保証と、現実の安全は別 製品機能の変化 SDK・計測規約・評価製品は変化が速い。版を固定して確認 評価の自己目的化 Judge に好まれる文章や全面拒否は、スコアを上げても価値を上げない リーダーの視点 これらをリスクとしてプロジェクト計画に明記し、検証のタスクと担当を割り当てる 99
解説

元レポートが挙げる限界と未解決点です。1 つ目、多くの根拠は英語中心のベンチマークや特定の業務で、日本語の省略、社内の用語、承認の規程に、同じ数値は適用できません。2 つ目、ログから因果的な根本原因を高精度に特定する段階にはまだありません。3 つ目、規則・入力・信頼のモデルが正しい範囲の保証と、現実世界全体の安全は違います。4 つ目、エージェントの SDK、計測の規約、評価の製品は変化が速いので、機能名と対応範囲を版で固定して確認します。5 つ目、Judge に好まれる文章、固定の正解への適合、難しい入力の全面的な拒否は、見かけのスコアを上げても業務の価値を上げません。

総括
スライド 100 のテキストと解説
総括 確率的な判断を含むソフトウェアを、検証できる契約・状態・権限・回復で囲み、継続的に評価する 契約 成功条件・禁止操作を人とコードで定義 状態 成功は外部の状態で判定。意図・試行・結果を記録 権限 モデルは提案者。認可・承認はモデルの外で決定的に 回復 冪等性・照合・キルスイッチ・ロールバック 継続評価 実際の失敗から評価へ。採点器も較正 「正しく考えさせる」だけでなく、「間違えても許可されない行動は実行できず、失敗を検出・説明・回復できる」設計を最優先にする 対になる資料「Advanced RAG 実践ガイド」と合わせて、入力の質(証拠)と行動の質(制御)の両方を設計する 100
解説

この領域の本質は、RAG の次に別の魔法の技術を足すことではなく、確率的な判断を含むソフトウェアを、検証できる契約、状態、権限、回復の仕組みで囲み、継続的に評価することです。Agent Engineering は全体の設計と改善、AgentOps は評価と運用のサイクル、Harness Engineering は実行の具体的な制御、という分担で考えると整理しやすくなります。最優先すべきなのは、正しく考えるように促すことだけではなく、間違えても許可されない行動は実行できず、失敗を検出し、説明し、回復できる設計です。評価の製品を先に選ぶのではなく、業務の成功条件と危険な副作用を定義し、その境界を実行のコードで守ったうえで、実際のデータの失敗から改善を続けること。これが元レポートの最終的な推奨です。

付録:用語集①
スライド 101 のテキストと解説
付録:用語集① 用語 | 定義 ハーネス(Harness) | モデルの周りのプロンプト・ツール・ループ・状態・検査・ログなど、実行の仕組み全体 軌跡(Trajectory) | エージェントが呼んだツール・順序・引数の記録 pass@k / pass^k | k 回のうち 1 回でも成功する確率 / k 回すべて成功する確率 LLM-as-a-Judge | LLM に回答や成果物を採点させる方法 Agent-as-a-Judge | 評価器自身がエージェントとして成果物や記録を探索して採点する方法 構造化出力 | モデルの出力を JSON Schema などの構造に適合させる機能 ガードレール | 入力・出力・ツール呼び出しを検査する仕組み 実行ブローカー | 更新系ツールの実行を一手に引き受け、検証・認可・承認・冪等性・監査を行う層 冪等性キー | 同じ操作の再試行を一度だけの実行として扱うための ID 101
解説

本資料で使った主な用語の定義です。

付録:用語集②
スライド 102 のテキストと解説
付録:用語集② 用語 | 定義 Durable Execution | 状態を永続化し、障害後に再開できる実行の仕組み(LangGraph、Temporal 等) interrupt | 承認や追加入力のために実行を止め、再開する仕組み(再開はノードの先頭から) 間接プロンプトインジェクション | ツールの出力や文書など未信頼のデータに埋め込まれた指示 Lethal trifecta | 私的データへのアクセス・未信頼コンテンツ・外部送信の 3 つがそろった危険な状態 MCP | エージェントとツール・データをつなぐプロトコル(Model Context Protocol) A2A | エージェント同士をつなぐプロトコル(Agent2Agent) SLI / SLO / エラーバジェット | 測る指標 / その目標 / 目標に対して許容できる失敗の量 Oracle Context | 正解の証拠を直接与える評価条件。読解・判断の上限を測る 3 の法則 | n 件すべて無事故のとき、事故率の 95% 上限はおよそ 3/n 102
解説

用語集の続きです。

付録:主要出典①(元レポートが参照した一次資料)
スライド 103 のテキストと解説
付録:主要出典①(元レポートが参照した一次資料) 評価・ベンチマーク:τ-bench(arXiv:2406.12045)/τ²-bench(arXiv:2506.07982)/τ³-bench(Sierra、2026-03)/Anthropic「Demystifying evals for AI agents」(2026-01)/Judging LLM-as-a-Judge(arXiv:2306.05685)/Agent-as-a-Judge(arXiv:2410.10934)/AlphaEval(arXiv:2604.12162)/TraceTrial-Bench(arXiv:2610.32285)/AgentChaosBench(arXiv:2608.14680)/BFCL・Epoch AI 監査(2026-09) 制御・安全:OpenAI Structured Outputs・Agents SDK Guardrails/Cedar/OPA/NeMo Guardrails/AgentSpec(arXiv:2503.18666、ICSE 2026)/AWS AgentCore Policy・Bedrock Automated Reasoning checks/AgentDojo(arXiv:2406.13352)/CaMeL(arXiv:2503.18813)/Inspect Sandboxing/MCP Security Best Practices 回復・観測・改善:LangGraph(Checkpointers・Interrupts)/Temporal Activity/Anthropic「Effective harnesses for long-running agents」/OpenTelemetry GenAI agent spans/自己修正研究(arXiv:2310.01798)/MAST(arXiv:2503.13657)/GEPA(arXiv:2507.19457、ICLR 2026)/NIST AI Agent Standards Initiative(2026-02) 103
解説

元レポートが参照した一次資料のうち、本資料で言及した主なものです。

付録:主要出典②(本資料で補足した資料)
スライド 104 のテキストと解説
付録:主要出典②(本資料で補足した資料) 基礎:Anthropic「Building effective agents」(2024-12)・「Effective context engineering」・「Writing effective tools」(2025-09)/OpenAI「A practical guide to building agents」/Google「Introduction to Agents」(2025-11)/HumanLayer「12-Factor Agents」/MCP Specification 2026-07-28/A2A v1.0(2026-03)/METR(2025-03) 実務・統計:Grafana(agent SLO、2026-10)/Google SRE Workbook/Microsoft Cloud Adoption Framework(AI agents)/Anthropic「How we built our multi-agent research system」(2025-06)・「A statistical approach to model evaluations」(arXiv:2411.00640)/Anthropic Prompt caching/NIST CAISI「Strengthening AI agent hijacking evaluations」/OpenAI「Why SWE-bench Verified no longer measures frontier coding capabilities」(2026-02) 規制・標準:OWASP Top 10 for Agentic Applications 2026(2025-12)/OWASP LLM Top 10 2025/AI 事業者ガイドライン 第 1.2 版(2026-03)/AISI Japan 評価観点ガイド 第 1.20 版(2026-07)/EU Regulation 2026/1744/ISO/IEC 42001 事例:Part 10 の主要出典を参照 104
解説

本資料で補足として追加した資料です。