人の確認と例外への対応

4-1流れの中に、人の確認を組み込む

業務の流れの途中に、人の確認や判断をあらかじめ組み込んでおく考え方をヒューマン・イン・ザ・ループと呼びます。「処理の輪（ループ）の中に人がいる」という意味です。第3章のレベル1・2は、まさにこの形です。

大事なのは、確認を「問題がありそうなら見る」ではなく、工程として決めておくことです。誰が、どの時点で、何を、どの件数だけ確かめるかを決め、業務分解表に1つの工程として書きます。書かれていない確認は、忙しい時期に真っ先に省かれます。

4-2確認を置く場所の3つの型

確認は、AIの処理の前・途中・後のどこにでも置けます。それぞれ止められる誤りが違います。

型	置く場所	止められる誤り	例
入口の確認	AIに渡す前	材料の不備による誤り	請求書の画像が読める解像度か、必須項目がそろっているかを、システムが自動で確かめる
関所の確認	AIの結果が次の工程に進む前	AIの判断や出力の誤り	AIが作った回答案を、担当者が根拠と照らして確かめてから送る
事後の確認	処理が終わった後	傾向としての誤り、ゆっくり進む劣化	週に1回、AIの分類結果から20件を抜き出して正しいか確かめる

どれか一つで十分ということはありません。影響の大きい工程には関所を置き、量が多く影響の小さい工程は事後の抜き取りで見守り、どちらにも入口の確認で材料の不備を減らす、という組み合わせが基本です。

4-3確認が形だけになる理由

AIの結果が正しい状態が続くと、人は中身をよく見ずに承認するようになりがちです。これを自動化バイアス（機械の結果を過度に信用してしまう傾向）と呼びます。99件正しかった後の100件目は、つい見逃してしまうのです。

確認が形だけになる原因は、担当者の気のゆるみだけではありません。多くの場合、次のような設計の問題があります。

• 何を確かめればよいか決まっていないので、ざっと眺めるだけになる
• 確かめる件数が多すぎて、1件にかけられる時間が足りない
• AIの結果に根拠が示されておらず、正しいかどうかを判断する材料がない
• 誤りを見つけても報告する先がなく、見つける動機が生まれない

4-4確認を形だけにしない5つの工夫

1. 確認の観点を決める

「内容を確認する」ではなく、「金額」「宛先」「適用した規程の条項」「期日」のように、何を見るかを3〜5項目のチェック項目にします。観点が決まっていれば、確認は短時間で済み、人による差も小さくなります。

2. AIに根拠を示させる

AIの出力に、判断の根拠をあわせて出させます。「どの規程のどの部分に基づいたか」「請求書のどの箇所から金額を読み取ったか」が示されていれば、人は根拠と結果を照らし合わせるだけで確かめられます。

3. 迷ったものを分けて出させる

AIに、判断に自信がないもの、条件の境目にあるものを「要確認」として分けて出すよう指示します。人はまず要確認のものを重点的に見ることで、限られた時間を誤りの起きやすい箇所に集中できます。

4. 確認する件数を現実的にする

1日に確認できる件数と時間には限りがあります。全件確認が負担なら、影響の大きいものは全件、それ以外は抜き取りにする、と分けます（4-5）。

5. 誤りを報告でき、それが直る仕組みにする

確認した人が見つけた誤りを記録し、ルールや知識、AIへの指示の改善につなげる流れを作ります。見つけた誤りが直っていくのが見えると、確認は形だけの作業ではなく、仕組みを良くする作業になります。

4-5全件確認と抜き取り確認

確認する件数は、誤りの影響と、AIの正確さの実績で決めます。

状況	確認の方法	例
誤りの影響が大きい	全件確認（関所）	お客様に送る回答、支払い金額
影響は中程度、実績が少ない	全件確認から始め、実績を見て抜き取りへ	導入直後の仕訳候補
影響は中程度、実績が十分	条件付き全件＋残りは抜き取り	10万円以上は全件、それ未満は1割を抜き取り
影響が小さい	抜き取り（事後）	社内問い合わせの分類

抜き取り確認では、どのように選ぶかも決めておきます。担当者が見やすいものを選ぶと、誤りの起きやすいものが漏れます。日付や番号で機械的に選ぶ、または「新しい取引先」「金額の大きいもの」を必ず含める、といった選び方を決めます。

4-6AIが判断できないときの受け渡し

AIは、判断に迷うケースでも、もっともらしい答えを出してしまうことがあります。そこで、判断できない場合は「判断できない」と返し、決められた担当者に回すように、指示と流れの両方で設計します。人に回すことをエスカレーションと呼びます。

1

AIが経費申請を規程と照らし合わせる判定の結果と、根拠にした規程の条項を出す

規程の範囲内と判定できた

経理担当が抜き取りで確認して支払いへ。確認した記録を残す。

判定できない・例外に当たる

経理担当に理由を添えて回す。2営業日以内に判断し、結果を記録する。

エスカレーションは、次の5つを決めておかないと機能しません。

回す先と期限が決まっていないと、判断待ちの案件がたまり、結局AIを使わないほうが早いという状態になります。また、人が判断した結果を判断例として蓄積すれば（第7章）、次からはAIが判断できるケースが増えていきます。

4-7確認の記録を残す

AIが関わる業務では、確認したことを記録に残しておくことが重要です。あとで誤りが見つかったとき、原因がAIにあるのか、確認の漏れか、ルールの問題かを切り分けられるからです。

記録する項目	何のために
AIの出力と、その根拠	AIが何を根拠にどう判断したかを後から確かめる
確認した人と日時	誰がいつ確かめたかを示す
確認の結果（そのまま承認／修正／差し戻し）	AIの正確さを測る材料にする
修正した場合は、修正の内容と理由	誤りの傾向をつかみ、改善につなげる
使ったルールや指示の版	ルールの変更前後で結果がどう変わったかを追う

「確認の結果」を集計すれば、AIの正確さの実績になります。第3章で見た「段階を上げる条件」を判断する材料は、この記録から得られます。確認の記録は、責任の証拠であると同時に、仕組みを育てるためのデータです。