コンテンツにスキップ

ADR-0012: AI の出力を未検証の入力として扱い、テスト生成の独立性をリスク区分で段階化する

採用(2026-08-05)

当初は「PLr/SIL の要件と故障注入テスト手順の標準化」を行う方針を置いていた。調査により次が判明した。

  • PL(ISO 13849-1)と SIL(IEC 61508 系)は別体系である。対応表は条件付きの参考情報にすぎず、PL a に対応する SIL は存在しない。算出値が区分の境界に近い場合は規格の附属書で帰属を判定する
  • AI が安全機能そのものを実現する場合と、AI が開発を支援する場合は、規格上まったく別の問題である。本 ADR が扱うのは後者である
  • 機能安全の分野には、開発を支援するツールの信頼性要求を、そのツールの誤りを後段で検出できる度合いに応じて下げる枠組みが存在する。生成モデルは仕様書をもたず、決定論的でなく、版によって挙動が変わるため、ツール自体の適合性を立証する経路は成立しない
  • 実装とテストの両方を同一のモデルに同一の文脈で書かせると、テスト駆動開発が依拠していた独立性が失われる。実装を先に読ませた場合、テストの欠陥検出能力が有意に下がるという研究がある

本標準には既に「リスク区分 R1 では AI自律レベルを L1 に固定する」という規定がある。上記のツール信頼度の枠組みは、これと同じ結論へ独立に到達する。

  1. 「PLr/SIL」という併記をしない。規格ごとに別体系であることを明記し、一般的な記述では抽象語「安全度水準」を用いる。具体的な指標は適用規格を特定してから確定する
  2. AI の出力を「未検証の入力」として扱う。決定論的な検証を経て初めて成果物になるという原則を第5章 5.8.1 に置く。全案件に適用する
  3. 記録として、モデルの版・生成に用いた指示・検証の記録を求める。版を記録しない生成は再現できず、検証の対象を特定できない
  4. AI に担わせない領域を4項目で明示する。安全に関する最終的な判断、人間のレビューを経ない安全関連コードの変更、形式的検証の代替、非決定性の隠蔽
  5. テスト生成の独立性を4段階に区分し、リスク区分へ対応づける。弱(別セッション)=R3、中(テスト先行・実装コードを渡さない)=R2、強(人間が受入基準を事前定義)=R1、最強(組織的独立)=安全関連ソフトウェア
  6. エージェントを分けたことをもって独立性の確保とみなさない。同一モデルでは事前学習の知識という共通の原因が残る。同種の冗長を独立性として認めない機能安全の原則と同じ構造である
  7. 安全関連ソフトウェアを無条件に R1 とする。ただし安全関連部とそれ以外を切り分け、それ以外には通常の区分を適用してよいとする
  8. 安全性の独立した評価を、既存のゲートへ吸収せず重ねる。評価者の独立性の要件が独立レビュアと異なるためである
  9. ミューテーション試験を、AI 生成テストの十分性を測る指標として位置づける。網羅率を AI 生成テストの品質指標にしない
  10. 附属書F として新設する。判定フロー・手法割当て・故障挿入の項目・記録要求を実施の手引きとして置き、要求事項の正本は第5章 5.8 に置く
  • 当初の方針どおり PLr/SIL の要件を直接規定する — 本標準は特定業界の規格適合ガイドではない。規格を特定せずに指標だけを書くと、誤った体系の指標が適用される
  • AI 生成コードに人間の記述より厳しい検証を課す — 検証の要求は成果物の性質で決まるものであり、生成の手段では決まらない。手段によって基準を変えると、生成の事実を隠す誘因を生む
  • 独立性を「別エージェントで実行する」の一段階のみとする — 実装は容易だが、共通の原因が残るため実効性を欠く。研究が最も明確に効果を示したのは順序による独立性である
  • 安全関連システム全体を R1 とする — 切り分けを求めないほうが規定は単純になるが、安全機器を扱う組織で AI の活用が全面的に停止する
  • 附属書ではなく本文の新章とする — 章立ては ADR-0009 で確定しており、適用対象が限定される内容のために本文を増やさない
  • 第5章に 5.8「AI が生成した成果物の統制」を新設し、既存の 5.8・5.9 を 5.9・5.10 へ繰り下げた
  • 第5章 5.4.4 に安全関連ソフトウェアの扱いと安全関連部の切り分けを追加した
  • 第4章 G-6 に独立した安全性の評価を重ねる旨、G-7 に判定基準7を追加した
  • 第1章 1.4 に安全関連ソフトウェア・安全度水準・未検証の入力・故障挿入試験の4語を追加し、1.5 の附属書を6編とした
  • 附属書F を新設した(sidebar.order 25)
  • 決定2〜6 は安全関連ソフトウェアに限らず全案件へ適用する。とくに決定5の段階「中」は R2 の通常の開発に及ぶため、テスト生成の運用手順の変更を伴う
  • ISO/IEC TR 5469:2024 の使用レベルと技術クラスの定義は入手できておらず、本標準では引用していない。引用するには規格の購入が必要である
  • 安全状態への遷移に関する規格要求(許容故障時間との関係を含む)は調査が不十分であり、附属書F F.5 の試験項目は最小限の集合にとどまる
  • 調査根拠は research/phase4-standard/123-safety-verification.md に記録した