第5章|プロンプトと実務活用
DAY 29 ・ 約15分生成AIの不得意なこと
厳密な計算・最新情報・文字数指定などの限界を知る。
生成AIの流暢さと信頼性を分け、仕事の種類と影響に応じて確認手段・停止条件・人の責任を選べる。
言葉を知る
用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。
ハルシネーション
生成AIが、事実ではない内容や存在しない出典を、自然で確からしい文章として作る現象です。意図的な嘘とは限らず、生成の仕組み上起こり得ます。
ファクトチェック
主張を一次情報、原資料、複数の独立資料などと照合し、事実として採用できるか確認する作業です。検索結果の要約だけで終えず、発行元と日付、対象範囲を見ます。
決定論的処理
同じ入力と規則から同じ結果を得ることを重視する処理です。料金計算、日付判定、文字数、許可条件などは、生成AIの文章生成より規則・コード・専用ツールが向きます。
ヒューマン・イン・ザ・ループ
重要な工程へ、人が理解・修正・拒否・停止できる形で参加する設計です。単に最後に承認ボタンを置くだけでなく、根拠と判断時間、権限を与えます。
リスクベース
失敗の起こりやすさと影響の大きさに応じて、確認、権限、監視、承認の強さを変える考え方です。すべてを同じ重さで確認せず、重大な用途へ資源を集中します。
一次情報
この分担なら、生成AIの探索と整理を活かしながら、最新性、計算、適格性、申請判断を一次情報・専用ツール・人へ戻せます。
フォールバック
例外、禁止、期限など見落とせない条件は、別のチェック表でも照合します。
仕組みを理解する
1.自然な文章と、正しい内容は別の能力
生成AIは、文脈に続きやすい表現を組み立て、読みやすい説明を作れます。しかし、出力するたびにすべての主張を原典と照合しているとは限りません。存在しない制度、論文、判例、商品仕様をもっともらしく作ることがあります。文体が断定的、説明が詳しい、数字が細かい、出典らしい名前があることは、正確さの証拠になりません。重要な主張を一文ずつ分け、誰が、いつ、どの資料で確認したかを残します。確認できない内容は、推測、仮説、未確認として扱います。AIへ『絶対に間違えないで』と強く書いても、仕組み上の不確実性は消えません。
2.チャットAIは、分からないと必ず止まるわけではない
人は情報が足りなければ『分かりません』と答えることを期待しますが、生成AIは不足部分を学習したパターンで補い、会話を続ける場合があります。質問が曖昧でも、前提を一つ選んで答えるため、利用者は正しい理解だと誤認しやすくなります。不足があれば質問し、仮定を明示し、根拠がなければ停止するよう指示します。ただしAIがすべての不足を発見できるとは限りません。依頼者も、対象、期間、地域、資料、単位、例外を確認します。高影響な用途では、回答を生成できたことを合格とせず、根拠が確認できない場合に安全に止まれたことを評価します。
3.最新情報は、接続と確認がなければ保証できない
モデルが学習した知識には時点があり、料金、法律、役職、製品、募集期限、サービス機能は変更されます。検索機能があっても、古いページ、非公式記事、検索結果の切り抜きを使う可能性があります。『最新を教えて』だけでなく、基準日、対象地域、公式資料を指定し、発行日と更新日を確認します。制度なら所管官庁、商品なら提供会社、規格なら策定団体の原文へ戻ります。複数資料が矛盾するときは、AIに多数決をさせず、適用範囲と版を確認します。回答に検索日と未確認事項を残し、時間が経てば再確認します。最新情報の整理は支援できますが、現時点の有効性を自動保証するものではありません。
4.厳密な計算は、計算機やコードで検証する
生成AIは計算過程を説明できても、桁、符号、割合、単位換算を誤ることがあります。複数段階の計算や長い表では、途中の値が一つ違うだけで結論も変わります。AIには式の候補や検算観点を出させ、実計算は表計算、電卓、コードなど決定論的な道具で行います。入力値、単位、丸め方法、税の扱い、欠損を明示し、期待される範囲と照合します。売上、給与、請求、統計、広告指標では、計算式と元データへ戻れるようにします。正しい答えが一度出ても、別の入力で同じ精度とは限りません。代表値、ゼロ、負数、上限、欠損など境界条件をテストします。
5.文字数・形式・一覧の完全性も別に検査する
『ちょうど四千字』『必ず十件』『すべての項目を列挙』という依頼は、自然言語生成だけでは厳密に守れない場合があります。見た目が整った表でも、行の重複、欠落、項目名の違いが残ります。文字数はプログラムで数え、JSONや表は型、必須項目、許可値を検査します。元一覧との件数照合、重複排除、合計一致も機械的に確認します。形式違反なら自動で外部システムへ渡さず、再生成または人へ差し戻します。AIに『条件を満たしたか自己確認して』と頼むことは補助になりますが、同じモデルの自己申告を検査結果にしません。生成と検証を別の工程・道具へ分けます。
6.長い文脈では、重要情報が埋もれることがある
長い資料を一度に渡せても、すべての箇所を同じ精度で使えるとは限りません。中央付近の例外、脚注、古い版と新しい版の違いが見落とされることがあります。資料を目的別に整理し、版と優先順位を示し、章ごとに抽出した後で統合します。重要条件は短い仕様表へまとめ、根拠箇所を引用させます。全文を投入する前に、利用権限と機密性を確認します。大量に渡すほど良いのではなく、必要な資料だけを選びます。文脈長が大きいモデルでも、業務上の重要度を自動で理解するわけではありません。例外、禁止、期限など見落とせない条件は、別のチェック表でも照合します。
7.因果関係や人の意図を断定しやすい
売上低下と広告変更が同時に起きても、広告が原因と断定できるとは限りません。季節、価格、在庫、競合、計測変更など別の説明があります。生成AIは、限られた情報から筋の通った物語を作るのが得意なため、観測事実と推測が混ざりやすくなります。出力を観測、解釈、仮説、追加確認、提案へ分けます。人の感情や意図も、文章だけから『怒っている』『悪意がある』と確定しません。採用評価、顧客対応、口コミ分析などでは、理由が書かれていない内容を勝手に補わず、判定不能を許します。仮説は検証方法と反証条件を伴って扱います。
8.少数派・珍しい例・変化した環境に弱いことがある
学習データや例に少ないケースでは、一般的なパターンへ寄せて誤る可能性があります。新商品、珍しい方言、障害への配慮、複雑な家族関係、例外的な契約などは、標準ケースの基準だけで処理できません。全体精度が高くても、特定集団や境界ケースの失敗が隠れることがあります。分類や推薦は、属性・状況別の結果、対象外、誤検知と見逃しを確認します。運用開始後に入力分布が変われば、試験時の性能は維持されません。修正率、拒否率、苦情、引継ぎを監視し、変化を見つけたら停止・再評価します。珍しいケースを無理に自動化せず、人へ渡す設計も品質の一部です。
9.権利・倫理・組織判断を自動で引き受けられない
生成AIは法令や原則を説明できますが、具体的な契約、著作権、個人情報、差別、医療、安全について組織の責任を負いません。似た事例を挙げても、地域、時期、契約、事実関係で判断は変わります。法律・規程・専門判断が必要な場合は担当部署や専門家へ戻します。『一般的な情報であり専門的助言ではない』という注意書きだけで、危険な自動処理が安全になるわけではありません。入力できる情報、利用目的、保存、出力先、異議申立て、訂正を仕組みとして決めます。高影響な決定はAIだけで確定せず、本人が人による再確認を求められるようにします。
10.プロンプトだけでは、権限事故を防げない
『削除しない』『外部へ送らない』と文章で指示しても、誤解、攻撃的入力、予期しない連携で操作が実行される可能性があります。閲覧、作成、更新、送信、削除、購入などの権限を必要最小限に分けます。最初は読み取りと下書きだけにし、不可逆な操作は人の承認を通します。対象件数、金額、送信先、時間帯に上限を設け、異常時に一括停止できるようにします。外部文書の命令を信頼せず、データと指示を分離します。ログには誰が何を承認し、どの資料とモデルで実行したかを残します。生成AIの不得意さは文章品質だけでなく、システムに接続したときの行動範囲まで考える必要があります。
11.確認方法は、失敗の影響で変える
社内メモの言い換えと、医療・採用・融資・契約・送金では、必要な確認強度が違います。影響が小さく戻せる仕事は利用者の確認、高影響で戻しにくい仕事は二者承認、専門家確認、限定試行、監査ログを組み合わせます。正確さだけでなく、誤った場合の対象人数、金額、権利、安全、発見しやすさ、訂正可能性を評価します。受入基準と中止基準を開始前に決め、重大誤りが出たら性能平均が高くても止めます。人の確認を置く場合は、元資料とAI案を比較できる画面、判断時間、拒否権、相談先が必要です。確認者が形だけ承認する状態をヒューマン・イン・ザ・ループと呼びません。
12.読者演習:AI・専用ツール・人へ仕事を分ける
架空の補助金申請支援を題材にします。AIには公募要項の章ごとの要約、必要書類候補、質問一覧を作らせます。期限、対象条件、補助率、上限額は公式要項の該当ページを人が照合し、金額計算は表計算へ移します。申請資格や経費区分の曖昧な点は、推測せず事務局への質問にします。会社の機密と個人情報は必要最小限にし、外部送信は担当者が承認します。標準ケース、期限直前、対象外経費、資料矛盾を含む確認例で試し、重大条件の誤りゼロを中止基準にしてください。最後に、誤りを見つけた人、停止方法、訂正先、記録期間を決めれば、限界を前提にした実務設計になります。
実例で理解する
具体例で考える
補助金候補を調べる会社では、AIへ『使えそうな制度を教えて』とだけ尋ねて申請を決めません。基準日、地域、事業内容、従業員規模、希望経費を示し、候補名、所管、公式URL、対象、期限、未確認事項を表へ整理させます。担当者は公式の公募要項を開き、対象者、申請期間、補助率、上限、対象外経費をページ番号付きで照合します。公式ページに概要と公募要項の両方がある場合は、申請条件を定める最新版の要項を優先し、更新日と版を記録します。過去年度の採択例は参考にしても、今年度の対象条件として転用しません。費用計算は表計算で行い、税、端数、上限適用、補助対象期間を別担当者が検算します。設備費、広告費、外注費などの名称が似ていても、要項の定義と証拠書類が違うため、AIの一般的な説明だけで経費区分を決めません。要項にない判断はAIへ推測させず、事務局への質問として残し、質問日、回答者、回答内容を保存します。AIへ入力する事業計画には、顧客名、未公開技術、口座、本人確認資料を必要以上に含めません。試行では、終了済み制度、地域外、対象外経費、要項改定、同名制度、締切時刻、申請前着手が禁止されるケースを混ぜ、古い情報を現行として提示しないか確認します。検索結果に公式らしい名称が出ても、URLの発行主体と原文を開けなければ候補扱いに留めます。重大条件の誤りが一件でもあれば自動推薦を止めます。候補整理の時間だけでなく、誤候補率、確認時間、問い合わせ件数、申請後の差戻し理由を測ります。制度更新を検知したら、過去の回答を使い回さず、同じ確認集合で再試験します。申請書の文章案は作らせても、実績や雇用人数、売上見込みを作話させず、根拠資料と責任者の承認を必須にします。この分担なら、生成AIの探索と整理を活かしながら、最新性、計算、適格性、申請判断を一次情報・専用ツール・人へ戻せます。
手を動かして理解する
- 今日の三つの用語を、見ずに説明する
- 仕事や生活の例へ置き換える
- 間違えた確認問題の理由を声に出して説明する
04|今日の理解度を確認する
今日の理解度を確認する
次の説明が示す用語を、選択肢から1つ選んでください。 「生成AIが、事実ではない内容や存在しない出典を、自然で確からしい文章として作る現象です。意図的な嘘とは限らず、生成の仕組み上起こり得ます。」
ハルシネーション:生成AIが、事実ではない内容や存在しない出典を、自然で確からしい文章として作る現象です。意図的な嘘とは限らず、生成の仕組み上起こり得ます。
ハルシネーション: 生成AIが、事実ではない内容や存在しない出典を、自然で確からしい文章として作る現象です。意図的な嘘とは限らず、生成の仕組み上起こり得ます。
代表例: 実際の対象の中で頻度が高く、標準的な判断を示す例です。珍しい例だけを集めず、日常的に処理する中心ケースから選びます。
境界例: 二つの分類の間や、判断保留・対象外になりやすい例です。何をしないか、迷ったときどう止めるかを伝えるために使います。
評価集合: プロンプト作成に使った例とは分けて用意する確認用データです。代表例、境界例、危険例を含め、変更前後を同じ条件で比較します。
次の説明が示す用語を、選択肢から1つ選んでください。 「主張を一次情報、原資料、複数の独立資料などと照合し、事実として採用できるか確認する作業です。検索結果の要約だけで終えず、発行元と日付、対象範囲を見ます。」
ファクトチェック:主張を一次情報、原資料、複数の独立資料などと照合し、事実として採用できるか確認する作業です。検索結果の要約だけで終えず、発行元と日付、対象範囲を見ます。
ファクトチェック: 主張を一次情報、原資料、複数の独立資料などと照合し、事実として採用できるか確認する作業です。検索結果の要約だけで終えず、発行元と日付、対象範囲を見ます。
境界例: 二つの分類の間や、判断保留・対象外になりやすい例です。何をしないか、迷ったときどう止めるかを伝えるために使います。
評価集合: プロンプト作成に使った例とは分けて用意する確認用データです。代表例、境界例、危険例を含め、変更前後を同じ条件で比較します。
要約: 元資料の重要な内容を、目的に合わせて短く再構成する作業です。単なる文字数削減ではなく、誰が何を判断するために読むかによって残す情報が変わります。
次の説明が示す用語を、選択肢から1つ選んでください。 「同じ入力と規則から同じ結果を得ることを重視する処理です。料金計算、日付判定、文字数、許可条件などは、生成AIの文章生成より規則・コード・専用ツールが向きます。」
決定論的処理:同じ入力と規則から同じ結果を得ることを重視する処理です。料金計算、日付判定、文字数、許可条件などは、生成AIの文章生成より規則・コード・専用ツールが向きます。
決定論的処理: 同じ入力と規則から同じ結果を得ることを重視する処理です。料金計算、日付判定、文字数、許可条件などは、生成AIの文章生成より規則・コード・専用ツールが向きます。
評価集合: プロンプト作成に使った例とは分けて用意する確認用データです。代表例、境界例、危険例を含め、変更前後を同じ条件で比較します。
要約: 元資料の重要な内容を、目的に合わせて短く再構成する作業です。単なる文字数削減ではなく、誰が何を判断するために読むかによって残す情報が変わります。
校正: 誤字、脱字、文法、表記揺れ、読みにくさなどを点検し、意味を変えない範囲で整える作業です。事実の正しさや法的妥当性を保証する校閲とは分けます。
次の説明が示す用語を、選択肢から1つ選んでください。 「重要な工程へ、人が理解・修正・拒否・停止できる形で参加する設計です。単に最後に承認ボタンを置くだけでなく、根拠と判断時間、権限を与えます。」
ヒューマン・イン・ザ・ループ:重要な工程へ、人が理解・修正・拒否・停止できる形で参加する設計です。単に最後に承認ボタンを置くだけでなく、根拠と判断時間、権限を与えます。
ヒューマン・イン・ザ・ループ: 重要な工程へ、人が理解・修正・拒否・停止できる形で参加する設計です。単に最後に承認ボタンを置くだけでなく、根拠と判断時間、権限を与えます。
要約: 元資料の重要な内容を、目的に合わせて短く再構成する作業です。単なる文字数削減ではなく、誰が何を判断するために読むかによって残す情報が変わります。
校正: 誤字、脱字、文法、表記揺れ、読みにくさなどを点検し、意味を変えない範囲で整える作業です。事実の正しさや法的妥当性を保証する校閲とは分けます。
編集: 読者、目的、媒体に合わせて、構成、情報の順序、説明量、見出し、表現を組み直す作業です。元の主張を勝手に変えず、変更理由を確認できるようにします。
次の説明が示す用語を、選択肢から1つ選んでください。 「失敗の起こりやすさと影響の大きさに応じて、確認、権限、監視、承認の強さを変える考え方です。すべてを同じ重さで確認せず、重大な用途へ資源を集中します。」
リスクベース:失敗の起こりやすさと影響の大きさに応じて、確認、権限、監視、承認の強さを変える考え方です。すべてを同じ重さで確認せず、重大な用途へ資源を集中します。
リスクベース: 失敗の起こりやすさと影響の大きさに応じて、確認、権限、監視、承認の強さを変える考え方です。すべてを同じ重さで確認せず、重大な用途へ資源を集中します。
校正: 誤字、脱字、文法、表記揺れ、読みにくさなどを点検し、意味を変えない範囲で整える作業です。事実の正しさや法的妥当性を保証する校閲とは分けます。
編集: 読者、目的、媒体に合わせて、構成、情報の順序、説明量、見出し、表現を組み直す作業です。元の主張を勝手に変えず、変更理由を確認できるようにします。
レビュー: 作成物を受入基準と元資料に照らし、採用、修正、差戻しを判断する工程です。AIの自己評価だけでなく、担当者や専門家が責任範囲に応じて確認します。
AIが自信のある文章で詳しく答え、出典名も示した場合、内容は正確だと判断してよい?
いいえ。流暢さ、断定の強さ、細かな数字、出典らしい名称は正確さの証拠ではありません。原典を開き、発行元、日付、対象範囲、引用箇所を確認します。
いいえ: 正解です。原典を開き、発行元、日付、対象範囲、該当箇所が回答を支えるか確認します。
はい: 不正解です。流暢さ、断定の強さ、出典らしい名称は、内容が正確である証拠にはなりません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 流暢さと事実性を分け、最新情報・数字・固有名詞・引用は発行元、日付、対象範囲が分かる一次情報へ戻して確認する
- ✓ 計算・文字数・件数・形式・一覧の完全性は決定論的な専用ツールで検査し、生成と検証を別工程・別証拠へ分離する
- ✓ 失敗の影響に応じて閲覧・送信・削除などの権限、承認、監視、停止を強め、AIが推測せず安全に対象外へ引き継ぐことも品質として評価し、重大誤りが出たら平均点に関係なく直ちに運用を止める