コンテンツにスキップ

プロセス内部監査

本標準の統制の多くは、記録を残すことによって成立しています。ゲートは記録の存在を検査しますが、記録の内容が実態と一致しているかは検査しません。この乖離を確かめる手続が内部監査です。

出荷判定(G-7) プロセス内部監査
対象 個別のリリース 一定期間の運用全体
確かめること 事前に定めた出荷基準を満たし、定めた検証の記録と保証の開示が揃っているか 規程どおりに運用されているか
判定の効果 リリースの可否 リリースを止めない
実施の時点 出荷の直前 定期(リリースと独立)
実施者 出荷判定者 案件に関与していない担い手

監査はリリースを止めません。止める機能はゲートが持ちます。監査に停止権を与えると、判定の場が二重になり、監査の日程が納期の制約を受けます。監査が動かすのは是正であり、出荷ではありません。

ゲートで検出できない状態が3種類あります。

状態 ゲートで検出できない理由
記録が形式的に埋まっているだけ ゲートは記録の存在を見る。内容の実質は判定できない
例外の事後処理が滞留している 例外の申請時点では通過している。滞留は時間の経過で生じる
統制の設定そのものが緩められている 検査の除外設定を広げた場合、検査はその後も通過し続ける

3行目が最も重い状態です。自動検査の除外設定は、一度広げると以後すべての通過を無効化します。この変更は記録上「検査に通過した」としてしか現れません。

# 要件
1 監査の対象となる案件に関与していない
2 当該案件の支援(移行支援担当・標準所管)に関与していない
3 監査の結果を、開発部門の長が差し戻せない報告線を持つ
4 監査の対象となる案件で、出荷判定者の席の責任者であった者は、観点13・14 を監査しない

要件2と3の根拠はフェーズ5(イネーブルメント計画)の分離の要求事項によります。兼務の禁止は第3章 3.5に規定します。

要件を満たす担い手を置けない場合は、次のいずれかを選び、選んだ事実を監査記録へ明記します。

  • 他チーム・他部門の担い手へ委託する
  • 外部へ委託する
  • チーム間で相互に監査する。同一期間に相互を監査しない(相互の免除が成立するため)

要件4 は、自己監査を避けるための要件です。観点13 は出荷判定者が突合した保証の開示を、観点14 は出荷判定者が記載した異議を確かめます。出荷判定者の席の責任者であった者がこの2つを監査すると、自分の判定を自分で確かめる形になります。品質保証部門の者が内部監査を担う組織で起きます。

  • 観点13・14 は、当該案件の出荷判定に関与していない者が監査する
  • 置けない場合は、観点13・14 を未実施として監査記録へ表示する。実施したものとして所見 0 件と記録しない
  • 未実施が2期続いた案件は、他部門または外部への委託を検討の対象にする

本節の要件は、一定期間の運用全体を対象とする内部監査の実施者に掛かります。委任の変更に対する事後の抜き取り(第8章「事後監査の手続」)の実施者は、同章の表によります。事後の抜き取りは独立レビュー(G-6)の判定の時点を移したものであり、実施者は独立レビュアの席の責任者です。

全件の点検は、監査の側の帯域を超えます。抜き取りによります。抽出は2つの方法を併用します。

方法 割合の目安 ねらい
無作為抽出 抽出数の半分 対象になりうるという状態を全体へ及ぼす
リスクに基づく抽出 残り半分 逸脱が起きやすい条件へ資源を寄せる

リスクに基づく抽出の条件は次のとおりです。

  • 例外承認またはファストトラックを適用した案件
  • 判定期限を超過した記録がある案件
  • 自動検査の設定を変更した案件
  • 直近の監査で所見が出た案件
  • 出荷ごとの保証の開示に、未達の記載がある案件。独立した人の確認を経ていない変更の件数と、構成上の未達のゲートと逸脱の数が多い案件から選ぶ
  • 検出能力(保証の開示の項目6)が「未測定」のまま、連続して出荷している案件。連続した出荷の回数が多い案件から選ぶ
  • 品質保証の対象外として出荷した変更の件数が多い案件。期限つきの受容が多い案件

最後の2つの条件は、開示が免罪符になることへの歯止めです。「未達と開示したから出荷してよい」という運用が定着すると、未達を解消する動機が失われます。未達の多い案件ほど、監査の対象として選ばれやすくします。開示された未達が放置されていないかを、案件に関与していない者が見るためです(ADR-0056)。未測定も同じです。未測定は正当な値ですが、続いている限り、確認が働いていたかを誰も確かめていません。未測定の継続を是正へつなぐ契機は、この抽出条件と、出荷ごとに出荷判定者が書く理由(観点14)の2つです。保証の開示の項目は第4章 G-7によります。

対象を当事者に選ばせてはなりません。選定の関与は、見せられる範囲だけが監査される状態を作ります。

頻度は四半期を既定とし、1回あたり5件以上を抽出します。件数が確保できない規模では、対象を四半期の全件とし、抜き取りによりません。

抽出数と頻度を、前期の所見件数から機械的に決めません。所見が少ないほど監査が薄くなる構造は、所見を出さない動機を作ります。較正の歯止めは運用メトリクスによります。

記録の存在ではなく、内容と実態の一致を見ます。

# 観点 逸脱の例
1 独立レビューの挙動要約が、対象の挙動を記述しているか 定型文の反復、変更の要約になっていない記述
2 例外承認・ファストトラックの事後レビューが期限内に実施されたか。独立した人の確認を経ずに出荷した R1 の変更に、例外承認の記録が対応しているか 未実施のまま次の例外を申請している。独立した人の確認を経ていない R1 の変更が、例外承認の記録なしに出荷されている
3 台帳の未回収項目が期限内に処理されているか 技術負債、暫定のライセンス許可、欠陥注入の未回収
4 自動検査の除外設定が承認を経ているか 個別の判断で除外を追加している
5 サンドボックスによる適用免除が期限内か 期限を超過したまま運用が続いている
6 承認者が所有者定義上の権限者と一致しているか。人の名簿に書かれた人とアカウントが、実在する人物と対応しているか 権限のない者の承認が記録として残っている。1人が複数のアカウントで、作成の指示と承認を行っている。名簿に実在しない人が書かれている
7 根拠水準マークの見直し期限が超過していないか 期限を延長し続けている
8 リスクカタログの各行に受け止めが対応しているか 受け止めの列が空欄のまま、空欄であることを誰も把握していない
9 期日の逼迫時に、スコープの削減より先に残業が選ばれていないか 遅延の記録に、削減の検討の痕跡がない
10 委任で先へ進めた変更が、登録した範囲と条件の内側にあるか 登録した変更種別に当たらない変更が、人の事前確認なしに進んでいる。機械の規則が R3 と分類した変更に、人が見れば R2 以上と判定する変更が含まれている
11 体制の変化点の後に成立した判定記録が、改訂後の D-0 体制図の版を参照しているか D-0 の改訂を経ずに判定が成立している。判定記録と構成とで、参照する D-0 の版が食い違っている
12 適合性確認が失効した担い手の確認が、検出の層に数えられていないか モデルの版または指示資産の版が変わった後も、再確認を経ずに委任が続いている。席の責任者が交代した後も、新しい責任者の承認を経ずに委任が続いている
13 出荷ごとの保証の開示に記載の欠落が無く、値が出所の記録と一致しているか 未達の変更が「成立」と表示されている。検出能力の欄が空欄のまま出荷されている。独立した人の確認を経ていない成果物に、定型の文が無い
14 G-8 の決断の記録に、開示された未達・未測定への受容と、出荷判定者の異議の有無が記載されているか。理由の記載を要する開示で、異議の有無に理由が書かれているか。異議がある場合に、受容したリスクの欄へその扱いが書かれているか 保証の開示に未達が載っているのに、受容したリスクの欄がそれに触れていない。出荷判定者の異議の欄が空欄のまま、受容が記名されている。独立した人の確認を経ていない R1 の変更があるのに、理由の無い「異議なし」が続いている。異議があるのに、その扱いが書かれていない
15 受入基準の承認が、実装の開始より前に成立しているか。企画承認(G-1)で定めた閾値が、例外承認を経ずに変えられていないか 受入基準の承認日時が、実装の最初のコミットより後である。閾値の変更に、対応する例外承認の記録が無い
16 機械検査の「対象なし」と「未実施」の記録が、実態と一致しているか 実装の開始後も「対象なし」のまま通過している。実施していない検査が、通過として集計されている
17 変更ごとの生成の条件(モデルの版・指示資産の版)を特定できるか。宣言した担い手の識別と、実際に動いたモデルが一致しているか 版を特定できない変更がある。宣言と異なるモデルで生成した変更が、宣言した担い手の変更として記録されている
18 品質保証の方針と受容の基準(層1)が有効に働いているか。記名が有効で、体制・事業・外枠の変化点の後に改められているか。G-8 の受容が、照らした層1 の版を書いているか。記名者が3つの権限(予算と要員の配置、評価の方針、出荷を止める権限)を持つか、持たない権限に連署か上申先があるか 外枠(法令・契約)が変わったのに、層1 が改められていない。受容の決断の記録に層1 の版が無い。層1 の権限の段階を超える受容が、事業決裁者の単独の記名で成立している。出荷を止める権限を持たない部門長が、連署も上申先の指定も無く記名している。記名者が適用範囲の案件の事業決裁者を兼ねている
19 期限つきの受容(組織継続の側の状態、品質保証の対象外として出荷すること)の期限が切れていないか 代替の無い依存先、退出を試していない依存先、後継不在の席の受容が、期限を過ぎたまま出荷が続いている。期限を延ばし続けている
20 停止の申し立てが扱われているか。解除が受容の権限者の記名と理由で行われているか。件数が評価の減点や人の目標値に使われていないか 申し立ての後に、記名の無い解除で保留が外れている。申し立ての件数・差し戻しの件数・AI の利用量・PR の本数に目標値を置いた指標がある
21 上申が上申先へ届いているか。出荷判定者の異議を退けた受容、段階を超える受容、申し立てを退けた解除に、届けた先と日付の記録があるか 異議を退けた受容に、上申の記録が無い。上申先が、受容した者と同じ人である
22 AI の確認を検出の層に数える条件2〜5(附属書H H.4)の確認の記録が、適合性確認の時点と四半期の棚卸しの時点に残っているか 確認の記録が無いまま、AI の層の検出率が保証の開示に載っている。確認の中身が「確認した」の一語だけである。検証側の指示の置き場が、変更から書き換えられる状態にある

観点1は、機械では判定できない唯一の項目です。要約が形式的かどうかの判断は人間が行い、AI の判定に置き換えません。判定に推定を含めると、所見の不在が「実質を伴っていた」という記録として残ります。

観点4 は機械検査でも検出できます。観点6 は、機械で検出できるのが一部に限られます。監査で見るのは、検出の仕組みが働いていたかです。検出できるはずのものが検出されていない場合、対象は案件ではなく検査の設定です。

観点 機械で検出できるもの 機械で検出できないもの
4 承認を経ていない除外設定の追加 —
6 名簿の人へ対応づかないアカウントの承認。承認した者が独立レビュアの席の責任者でない承認の件数(件数を出すだけで、欠落にしない)。席の責任者本人の力量の確認で、確認した者が名簿の外の記録(D-0 節9 と保証の開示の項目7 に「(名簿の外)」と出る) 承認者が所有者定義上の権限者であるか。名簿の人が実在するか。1人が複数のアカウントを使っていないか。名簿の外の確認した者が実在し、確認の記録に所属・役職があるか

観点6 の「機械で検出できないもの」は、監査だけが確かめます(CI/CD ゲート構成リファレンス「実装の制約」)。

観点10〜17 は、判断の席の担い手に AI を置く構成と、出荷ごとの保証の開示に対応します。観点18〜21 は、組織の保証の主張を支える層1 と、組織継続の側の受容、停止の申し立て、上申に対応します(ADR-0057)。観点22 は、AI の確認を検出の層に数える条件の確認に対応します。観点15〜17 は、附属書H H.3 の主張 C2・C3・C10 の崩れを観測するために置きます。規定の所在は次のとおりです。

観点 照合する規定 機械検査との関係
10 第5章 5.5.4の委任の条件 範囲への該当は機械の規則が判定する。監査は、規則そのものの分類が妥当かを見る
11 第3章 3.13の体制の変化点 版の不一致は機械で検出できる。監査は、起票されなかった変化点が無いかを見る
12 第3章 3.4.2 の適合性確認 担い手の識別の不一致は機械で検出できる。監査は、失効の後に上限が協働へ下がっていたかを見る。確認の記録の失効(担い手の識別の変化)と、承認の失効(席の責任者の交代)の両方を見る
13 第4章 G-7の保証の開示、附属書H H.6 記載の欠落は G-7 が突合する。監査は、記載された値と出所の記録の一致を見る。承認したアカウントと名簿の人の対応は機械で確かめるが、名簿の記載そのものが正しいかは観点6 で見る
14 第4章 G-8「出荷判定者の異議」、第5章 5.7.2 の決断の記録、附属書H H.5 異議の欄の空欄は、記載の欠落として機械で検出できる。監査は、開示された未達・未測定と受容の記載との対応を見る。理由の記載を要する開示(下記)では、理由が書かれているかを見る。異議がある場合は、受容したリスクの欄に扱いが書かれているかを見る
15 第4章 G-1 基準4・G-2・G-4、第7章 7.3 承認日時とコミット日時の前後は機械で比べられる。監査は、承認の後に受入基準が書き換えられていないかを見る
16 第4章 G-5「検査対象が存在しない場合の扱い」 「対象なし」の記録は機械で残る。監査は、対象が現れた後も「対象なし」が続いていないかを見る
17 第5章 5.8.2、第3章 3.12.3、エージェントの操作の統制 宣言した担い手の識別と、コミットに記録された共著者の不一致は、機械で警告できる。監査は、警告が放置されていないかを見る
18 第6章 テンプレ11、第4章 G-8「受容の基準との照合と上申」 層1 の版の記載の有無は機械で検出できる。監査は、外枠と体制の変化に層1 が追随しているか、段階を超える受容が上申を経ているかを見る
19 附属書H H.6「組織継続の側の状態の表示」、第3章 3.4.3・3.12.3・3.12.5・3.12.11 期限切れは、保証の開示で記載の欠落として機械で検出できる。監査は、期限を延ばし続ける受容が無いかを見る
20 第7章 7.11、テンプレ11 の項目1 保留と解除の記名は機械で残る。監査の実施者は、適用範囲の組織単位の人事評価の規程と、目標設定の様式の写しを証跡として受け取り、監査記録へ添える。写しの中に、件数(申し立て・差し戻し・異議・所見)の目標値や減点、AI の利用量・PR の本数・リードタイムの個人の目標値が無いかを照合する。写しの提出を受けられない場合は、その事実を所見とする。評価の運用の実態は確かめられない
21 第4章 G-8「受容の基準との照合と上申」、第7章 7.11、テンプレ11 の項目5 上申の記録の有無は機械で検出できる。監査は、上申先が受容した者から独立しているかを見る
22 附属書H H.4、第3章 3.4.2・3.11.4 確認の記録の有無と日付は、証跡の集約が「条件未確認」として出す。監査は、条件3・4 の設定が実際にそうなっているかと、条件2・5 の確認の中身を見る

観点2 のうち、独立した人の確認を経ずに出荷した R1 の変更と例外承認の対応は、出荷のたびに G-7 が突合します(第4章 G-7)。監査は、突合が働いていたかを見ます。

観点14 は、開示と受容が形だけで結ばれていないかを確かめます。出荷判定者は未達の多さを理由に出荷を止められず、異議の有無を記載するだけです。「異議なし」の記載まで求めるのは、異議が無かった状態と、書かなかった状態を区別するためです。異議を読まないまま受容を記名する運用では、異議は機能しません。

出荷判定者は、開示が次のいずれかに当たる場合、異議の有無とあわせて理由を書きます(第4章 G-8「出荷判定者の異議」)。観点14 は、この理由の記載まで見ます。

# 理由の記載を要する開示
1 独立した人の確認を経ていない R1 の変更がある
2 検出能力が、前回の出荷に続いて未測定である
3 独立した人の確認を経ていない変更の件数、または構成上の未達のゲートと逸脱の数が、前回の出荷より増えた。2つの量を別々に比べ、どちらか一方の増加で当たる
4 事後の抜き取りを、作成を指示した本人が行っている
  • 上の事項に当たるのに理由が無い記載は、空欄と同じ記載の欠落である(第4章 G-8)。開示を読まずに書いた記載と区別できないためである
  • 欠落のまま受容が記名されている記録は、所見として扱う
  • 理由の内容の当否は、監査で判定しない。見るのは、開示された事実に触れているかである

既存の観点の番号は振り直しません。過去の監査記録が観点の番号で所見を参照しているためです。

プロセスを新設・改訂したときの検証

Section titled “プロセスを新設・改訂したときの検証”

規程を新しく作った直後は、運用の実績がありません。この時点で確かめられるのは、規程の側が回避行動を誘発しない構造になっているかです。手順を次に定めます。

リスクカタログの各行に対し、新しい規程がどの行を受け止めるかを一覧にします。受け止めのない行を、未対応として明示的に記録します。特に次の3つは見落とされます。

  • 影響先が「ヒト」の行(疲弊、離脱、練度の不足)
  • 他チーム起因の行(現場の裁量では解決できない)
  • 経営・意思決定カテゴリの行

リスクカタログの人間行動の節に挙げた行動それぞれについて、規程の側の受け皿を確認します。

確認する問い 不備のときに起きること
期日の直前に重大な不具合が出た場合の判定基準と上程の経路が明記されているか 現場の裁量に委ねられ、暗黙の圧力で強行される
投入済みの費用を勘定に入れない判断の場(案件に関与していない者による棚卸し)が制度化されているか 意思決定者が自らを審査し、自己正当化を回避できない
人手の不足が判明したとき、スコープの削減を最初に検討する手順になっているか 遅延時の増員と残業が既定の対処になる
報告の様式が、報告者へ原因の説明を求めていないか 報告が自己弁護の作業になり、報告そのものが減る
上程を受けた側の応答の期限が定義されているか 上げても現場で対応する状態が定着する
判定の場で反対の観点を明示的に求める仕組みがあるか 全員一致が「問題なし」と読み替えられる

次の問いに1つでも該当する規程は、負担だけを増やしてリスクを減らしていない可能性があります。

  1. 重大度によらず一律の様式の報告を求めていないか
  2. 上程しても意思決定の権限が移らない構造になっていないか
  3. 遵守の確認そのものが、対応に充てる時間を圧迫していないか
  4. 報告の様式が事実の記述より先に理由の説明を求めていないか
  5. 規程の完了や承認の取得が目的になっていないか

リスクカタログで定義したリスクオーナーと、規程上で行動する主体が一致しているかを確認します。本人には解決できないリスクを本人に負わせる構造は、隠蔽と放置を誘発します。

各条項を3区分へ分類します。

判定 状態
A 実質的に機能している
B 形式上は存在するが、負担のみが増えている
C 未対応(リスクを放置している)

BとCへ分類した条項には、具体的な改善案を付記します。改善案の例は、報告の様式から理由の記述欄を外すこと、上程先の応答の期限を定めること、残業への依存を検知する指標を運用メトリクスへ追加することです。

所見は3区分へ仕分けます。区分は改善サイクルおよび第5章 5.6.3と同一の語彙を用います。監査のための独自の区分を作りません。

区分 是正の対象 追跡
システム起因 プロセス・自動検査・コンテキスト基盤 改善サイクルへ引き渡す
リスク認識の不足 リスクの可視化、手順の見直し 同上
意図的な逸脱 規程に基づく措置 品質保証の機能が扱う
  • 是正の完了までを監査が追跡する。所見を出して終わりにしない
  • 前回の所見のうち未完了のものを、次回の監査の対象に必ず含める
  • 標準の記述が現場で解釈できないことに起因する所見は、標準の側の欠陥として標準所管へ戻す。現場の是正で閉じない

所見に個人識別子を含めません。集計はチーム単位および工程単位に限ります。この制約は第5章 5.6.2の欠陥注入と同じ理由によります。監査が人事評価の入力になると、記録は監査を通過する形へ最適化されます。

例外は「意図的な逸脱」の区分のみで、その判別は品質保証の機能が行います。監査人が区分を確定させません。

所見が出ない状態は、良好な運用と、監査が機能していない状態の両方から生じます。区別できないまま続けると、監査は工数の純増になります。

観測 疑うべきこと
2期連続で所見が0件 抽出方法、または観点の設定
所見が特定の観点へ偏る 他の観点の確認が実質的に省かれている
是正の完了率が低い 所見の粒度が実行可能でない
監査の所要時間が期を追って短くなる 確認が形式化している

所見が0件であった期は、抽出した対象の一覧と、各観点で確認した内容を記録へ残します。何を見て0件だったかを再現できない監査は、実施したことの証明になりません。

記録する項目 用途
監査計画(期間・対象範囲・観点) 実施前に合意する
抽出した対象と抽出方法 対象の選定に恣意が入っていないことの確認
観点ごとの確認内容と所見 是正の起点
所見の区分と是正の担い手 追跡
是正の完了記録 次回監査の入力

外部の監査へ提示する際の形式はQMS 文書管理との対応によります。提示の資料を監査の直前に作りません。

  • 抜き取りである以上、抽出されなかった範囲の逸脱は検出できない。所見の不在は、逸脱の不在を意味しない
  • 観点1(挙動要約の実質)の判定は、監査人の読解に依存する。判定の一貫性は担保できない
  • 監査が検出するのは運用の逸脱であり、規程そのものの誤りは検出しない。規程の妥当性は改善サイクルと根拠水準の見直しが扱う