第4章|安全・法律・社会原則
DAY 19 ・ 約15分ハルシネーションと事実確認
もっともらしい回答を、検証できる主張と根拠へ分解する。
ハルシネーションが起こる仕組みと検索・RAGの限界を説明し、重要な情報を一次情報で確認してから利用できる。
言葉を知る
用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。
ハルシネーション
生成AIが、事実と異なる内容、存在しない人物・制度・出典などを、自然で説得力のある形で出力する現象です。意図的なうそとは限らず、もっともらしい続きの生成と事実の保証が別であることから起こります。
主張
真偽を確かめられる形で述べられた内容です。回答全体を一度に信じるのではなく、日付、金額、人物、条件、因果関係などの小さな主張へ分けると、何を検証すべきか明確になります。
一次情報
制度の所管官庁、製品の提供会社、論文の原文、契約書、法令、当事者の公式発表など、確認対象に直接近い資料です。一次情報にも改訂や誤りはあり得るため、発行元、日付、版、対象範囲を確認します。
根拠
ある主張を支持する観察、記録、統計、文書などです。URLが表示されているだけでは根拠にならず、その資料の本文が、対象の主張を実際に支持している必要があります。
出典
情報のもととなった資料や発信元です。著者・組織名、資料名、公開日、更新日、URL、該当箇所などをそろえると、別の人が同じ資料へ到達して確認できます。
不確実性
情報不足、曖昧な質問、資料の不一致、予測のばらつきなどにより、結論へ確信を持てない状態です。安全な回答では、不明点を隠さず、確実な部分と推測を分け、追加確認の方法を示します。
対象範囲
情報が適用される人、地域、期間、製品版、契約、条件などの境界です。内容が正しくても、別の自治体、年度、プラン、法域へ当てはめれば誤用になります。
裏取り
一つの回答や記事だけに依存せず、独立した資料や公式記録を使って内容を確かめることです。同じ誤情報を転載した複数ページは独立した確認にならないため、情報源のつながりも見ます。
仕組みを理解する
1.自然な文章と、事実の正しさを切り離して考える
生成AIは、質問へ素早く答え、複雑な内容を読みやすく整理できます。その文章は語調が落ち着き、理由や数字、引用まで付くため、人は正しい説明だと感じやすくなります。しかし、読みやすさ、詳しさ、自信の強さは、事実性を測る指標ではありません。ハルシネーションとは、もっともらしいが事実と異なる内容を生成する現象です。OpenAIも、言語モデルのハルシネーションを、確信を持って示されるもっともらしい誤答として説明し、現在のモデルにも残る課題だとしています。大切なのはAIを人格化して『うそをついた』と決めることではなく、出力の仕組みと利用時の責任を理解することです。雑談や発想支援と、医療、法律、契約、金銭、公開情報では、必要な確認の強さが違います。
2.回答を小さな主張へ分ければ、確認対象が見える
長い回答を丸ごと『正しい・間違い』で評価すると、正しい説明の中に混じった一つの誤りを見逃します。まず、日付、人数、金額、制度名、引用、対象条件、因果関係を、一文ずつ検証できる主張へ分けます。例えば『東京都のこの補助金は、従業員50人以下の会社が対象で、締切は9月30日、上限は100万円』なら、制度の存在、実施主体、対象地域、従業員条件、締切、上限額という別々の主張があります。次に、どの主張が行動を変えるかを印します。締切や対象条件の誤りは申請機会を失わせるため優先度が高く、説明文の言い換えより先に確認します。AIへ『事実と推測を分け、各主張に根拠と確認日を付けて。不明なら不明と書いて』と頼むことは整理に役立ちますが、自己申告された根拠そのものも人が開いて確かめます。
3.仕組み上、言語の続きやすさと真実は同じ目的ではない
大規模言語モデルは、多数の文章から言葉や概念の関係を学び、入力と会話履歴に続きそうな要素を順に生成します。学習によって事実らしい関連も身につけますが、一文ごとに現実のデータベースへ照合し、真偽の印を読み出しているわけではありません。よく現れる知識や典型的な説明は安定しやすい一方、低頻度の人名、日付、固有番号、最新の規則、任意に決まった細部は不安定になりやすいと考えられます。また、評価が『何か答えれば得点、分からないと言えば無得点』に近いと、慎重に保留するより推測する方が有利になります。このため、運用側は正答率だけでなく、必要な場面で保留できるか、根拠不足を示せるかも評価します。モデルが大きい、回答が長い、温度を低くしたという一条件だけで、事実が保証されることはありません。
4.情報が足りない質問では、前提を補ってしまう危険がある
『今年の補助金の締切は?』『この薬は安全?』『契約を解除できる?』という質問には、地域、制度名、年度、年齢、症状、契約種別、法域などが欠けています。人なら聞き返す場面でも、生成AIは会話を前へ進めるため、典型的な前提を補って答えることがあります。答えが偶然合う場合もあるため、この失敗は気づきにくいものです。質問する側は、対象、時点、目的、使える資料を示し、足りない条件を最初に質問させます。答える側の設計では『分からない』『資料内にない』『確認が必要』を許し、引用できない主張を無理に埋めないようにします。ただし、そう指示しても必ず保留するとは限りません。分からないと言える設計、実際に保留した割合、誤って断定した危険例をテストし、人へ戻す条件を決めます。
5.生成AIができることと、保証できないことを分ける
生成AIは、長い資料の確認候補を抽出する、主張と根拠の表を作る、複数資料の相違点を並べる、検索語や質問項目を提案する、専門用語を平易に説明する、といった作業に向きます。調査の入口を広げ、人が見落としやすい確認点を出す補助者として有用です。一方、学習済みモデルだけでは、今日の制度変更、非公開データ、目の前の患者の状態、当事者の意図を自動で知ることはできません。検索機能があっても、取得できなかったページ、アクセス権のない資料、更新直後の情報は欠けます。さらに、資料同士が矛盾する場合の法的・医学的判断や、誤った結果への責任を引き受けることもできません。AIには候補作成と整理を任せ、重要な事実の確定と最終判断は、権限と専門性を持つ人へ残します。
6.通常のチャット、検索付きAI、RAGの違いを理解する
通常のチャットAIは、学習で得たパターンと会話内の情報から回答します。検索付きAIは、検索エンジンなどから現在のウェブ情報を取得し、それを使って回答できます。RAGは、組織の文書や検索基盤から関連資料を取り出し、その内容を生成の文脈へ加える仕組みです。検索やRAGは最新情報や固有資料へ近づけるため、ハルシネーションの危険を下げる助けになります。しかし、検索漏れ、古いキャッシュ、誤った文書、アクセス制御の不備、関係の薄い部分の取得、資料の読み違い、生成時の取り違えは残ります。したがって『検索したから正しい』『社内RAGだから安全』とは言えません。どの資料を、いつ、どの版で取得し、回答のどの主張がどの箇所に支えられているかを追えることが必要です。
7.引用やURLがあっても、本文が主張を支えるとは限らない
生成AIは、存在しない論文名、著者、判例、URLを組み立てることがあります。実在するURLを示しても、そのページに主張が書かれていない、対象年度が違う、要約が反対の意味になっている場合があります。確認では、まずリンクを自分で開き、発行元が所管官庁、提供会社、原著者など目的に合う一次情報かを見ます。次に公開日と更新日、版番号、対象地域・期間・製品・契約を確認します。最後に見出しや検索結果の抜粋ではなく、本文の該当箇所が主張を直接支持しているかを読みます。別の資料へ転記された同じ文章を二つ見つけても、共通の誤情報を複製しているだけなら裏取りになりません。URLの数ではなく、独立性、関連性、最新性、本文との一致を記録します。
8.生活の実務例:制度・健康・旅行は、行動前に公式情報へ戻る
AIへ旅行計画を尋ね、『入国にビザは不要、パスポート残存期間は三か月でよい』と答えが出ても、そのまま航空券を確定しません。国籍、渡航目的、滞在日数、乗継地、出発日で条件が変わるため、外務省、渡航先政府、航空会社の最新案内を確認します。薬の飲み合わせなら、AIには質問事項の整理を頼めますが、製品の添付文書、医療機関、薬剤師へ確認し、自己判断で服用を変えません。補助金なら、所管組織の募集要項を開き、版、対象者、経費、締切、提出方法を確認します。これらは一つの誤りが健康、金銭、移動へ直接影響します。『AIがそう言った』は判断根拠にならないため、確認した公式資料、日付、担当窓口を記録してから行動します。
9.仕事の実務例:提案書・議事録・契約は、根拠表で管理する
営業提案書をAIで作ると、顧客の売上、競合製品の価格、法令上の義務などが滑らかに混ざることがあります。担当者は、外部へ出す数値と固有名詞を抽出し、『主張・出典・該当箇所・確認日・確認者』の表を作ります。会議の文字起こしから議事録を作る場合も、AIが曖昧な発言を決定事項へ変えたり、担当者や期限を補ったりする可能性があります。録音や原メモと照合し、参加者の承認を得ます。契約書では、条項の要約や論点抽出には使えても、法的結論や署名判断を自動確定しません。版の取り違え、秘密情報の入力、参照条番号の誤りを確認し、法務・責任者へ戻します。下書きの速さではなく、検証後の正確さと再作業まで含めて評価します。
10.典型的な失敗は、AIをAIで確認して安心すること
一つ目の失敗は、同じ質問を同じAIへ言い換えて尋ね、似た答えが返ったため正しいと判断することです。同じ学習傾向や誤った前提を共有していれば、回答の一致は独立した証拠になりません。二つ目は、自分が期待した結論に合う回答だけを採用する確証バイアスです。反対資料や例外条件を探す質問も必要です。三つ目は、検索結果の要約だけを読み、原文を開かないことです。四つ目は、引用の数を品質と考え、同じ発表を転載した記事を別々の裏取りとして数えることです。五つ目は、一度正しかった回答を更新後も使い続けることです。対策は、独立した一次情報、反証の探索、確認日と版の記録、期限を決めた再確認です。AIによる別回答は誤り発見の手掛かりにはなっても、最終的な証明ではありません。
11.影響が大きいほど、確認・承認・停止を強くする
デジタル庁の生成AI利用ガイドラインは、対策を講じてもリスクをゼロにできず、事実と異なる出力を利用者が信じて被害につながる場合を想定しています。NISTの生成AIリスク管理プロファイルも、リスクを文脈に応じて管理するための行動を示しています。実務では、広告文の語調案と、診断、採用、融資、契約、送金を同じ確認方法にしません。高影響な用途は、自動公開を避け、承認者、必要な根拠、保留条件、異議申立て、事故時の連絡先を決めます。入力には個人情報や機密を必要以上に含めず、出力と参照資料、モデルやサービスの版、確認結果を記録します。誤りを見つけたら、その一文だけでなく同じ方法で作った成果物の範囲を調べ、公開停止、訂正、関係者への通知を行います。
12.五段階の確認を実際の回答へ適用する
読者演習として、生成AIへ『自分の地域で今月利用できる支援制度を一つ教えて』と尋ねます。実際の申請はせず、第一に回答を制度名、実施主体、対象、金額、期限、手続という主張へ分けます。第二に各主張の重要度と、不明な前提を記します。第三に提示されたURLを開き、公式発行元、公開日、更新日、版、対象地域を確認します。第四に本文の該当箇所を読み、回答と一致する文、異なる条件、書かれていない点を表へ写します。第五に別の公式案内や担当窓口で裏取りし、『確認済み・不一致・不明』へ分類します。URLが存在しても本文が支えなければ不合格です。最後にAIへ、誤りを直すだけでなく『なぜ誤ったか、次回どこで保留すべきか』を説明させ、人が再確認します。この手順を仕事の回答にも転用してください。
実例で理解する
具体例で考える
担当者がAIへ補助金を調べさせ、制度名、補助率、締切、URLを含む表を得ました。公式公募要領を開くと、URLは実在していても前年度版で、補助率は別枠の条件、締切は予定日でした。そこで各行を主張に分け、『確認済み・条件付き・未公表』へ直し、該当箇所を付けます。未公表部分は推測で埋めず窓口へ質問し、確認済み資料を根拠に責任者が判断します。
手を動かして理解する
- 今日の三つの用語を、見ずに説明する
- 仕事や生活の例へ置き換える
- 間違えた確認問題の理由を声に出して説明する
04|今日の理解度を確認する
今日の理解度を確認する
生成AIが補助金の締切日と公式らしいURLを示しました。業務で利用する前の対応として最も適切なのはどれですか。
行動へ影響する主張を分解し、所管組織の最新資料で発行元、版、対象条件、本文を確認します。
回答の文体が丁寧なら、そのまま社内へ共有する: 文章の丁寧さと事実性は別です。外部・社内利用前に重要な主張を検証します。
同じAIへもう一度尋ね、同じ日付なら確定する: 同じ誤った前提や学習傾向から同じ答えが出ても、独立した裏取りにはなりません。
制度名・対象・締切などの主張へ分け、現在の公式募集要項で確認する: 検証対象を明確にし、適用される一次情報で確かめる適切な手順です。
URLの文字数が長ければ公式情報だと判断する: URLの長さは、発行元や内容の正しさを示しません。
大規模言語モデルで、もっともらしい誤答が生じ得る理由として最も適切なのはどれですか。
言語モデルは学習した関係から続きとして適切そうな出力を作りますが、全主張を事実データベースへ照合して保証する仕組みではありません。
モデルが利用者を困らせる意図を必ず持つため: ハルシネーションを意図的なうそと決めつけず、生成の仕組みと情報不足から考えます。
長い回答ではコンピューターが計算を一切しないため: 長い回答でもモデルは計算を行います。問題は計算の目的と事実保証が同じではないことです。
学習した文章を毎回一字一句そのまま取り出すため: 出力は入力と文脈に応じて生成され、必ず原文をそのまま取り出すわけではありません。
文脈に続きそうな要素の生成と、現実の事実を一文ずつ保証する処理が同じではないため: 自然な続きの生成と事実確認を分けて理解する説明です。
生成AIが論文へのリンクを引用として示したとき、確認方法として最も適切なのはどれですか。
出典の存在だけでなく、適切な版と対象で、原文の該当箇所が主張を直接支持するかを確かめます。
リンクを開き、著者・発行元・日付・対象範囲と、本文が主張を支える箇所を確認する: 出典の真正性、最新性、適用範囲、内容の一致を確認できる手順です。
リンクが青色で表示されれば、本文は読まずに採用する: 表示形式は出典の実在や内容の一致を保証しません。
引用が三件以上あれば、すべて独立した一次情報だとみなす: 同じ情報の転載や二次資料かもしれず、件数だけでは独立性を判断できません。
検索結果の見出しだけが一致すれば、論文全体も一致すると判断する: 見出しや抜粋は文脈を省くため、原文の該当箇所まで読みます。
検索機能や社内RAGを使う生成AIについて、最も適切な説明はどれですか。
検索やRAGは根拠を与えて危険を下げる助けですが、取得と生成の両工程を検証し、正しさを保証されたものとは扱いません。
資料を取得できれば、回答の読み違いは絶対に起きない: 正しい資料があっても、関係箇所の選択や要約で誤る可能性があります。
現在情報や固有資料へ近づけるが、検索漏れ・古い版・取得ミス・生成時の誤りは残る: 検索・RAGの利点と限界を両方示す適切な説明です。
社内文書を使う場合は、アクセス権や版管理を考えなくてよい: 秘密情報の権限、文書の最新版、取得範囲を管理する必要があります。
検索結果が一件あれば、他の一次情報との照合は不要になる: 重要な主張は適用範囲を確認し、必要に応じて独立資料や担当窓口で裏取りします。
生成AIで作った契約・医療・送金に関わる案を扱う運用として、最も適切なのはどれですか。
高影響な用途では、AIを候補作成へ限定し、根拠確認、人の承認、記録、問題時の停止と訂正を組み合わせます。
AIが自信を示した案だけを自動確定する: 自信のある表現は事実性や安全性を保証せず、高影響な決定の根拠になりません。
誤りが見つかっても、その一文だけ直して記録を残さない: 同じ方法で作った成果物へ誤りが広がっている可能性があり、範囲確認と記録が必要です。
案を主張と根拠へ分け、一次情報で確認し、権限を持つ人が承認して記録する: 検証と責任を人の運用へ組み込む、影響に見合った方法です。
生成速度が速ければ、影響評価と停止手順を省略する: 速さは安全性を示さず、事故時に止めて訂正できる手順が必要です。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 自然さ・詳しさ・自信の強さと、事実の正しさは別に評価する
- ✓ 回答を主張へ分け、一次情報の発行元・日付・版・対象範囲・本文一致を確認する
- ✓ 影響に応じて保留・人の承認・記録・訂正を組み込み、検索やRAGも検証する