本文へ移動
← 目次 生成AI基礎講座 DAY 19

第4章|安全・法律・社会原則

DAY 19 ・ 約15分

ハルシネーションと事実確認

もっともらしい回答を、検証できる主張と根拠へ分解する。

今日できるようになること

ハルシネーションが起こる仕組みと検索・RAGの限界を説明し、重要な情報を一次情報で確認してから利用できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。

ハルシネーション

生成AIが、事実と異なる内容、存在しない人物・制度・出典などを、自然で説得力のある形で出力する現象です。意図的なうそとは限らず、もっともらしい続きの生成と事実の保証が別であることから起こります。

主張

真偽を確かめられる形で述べられた内容です。回答全体を一度に信じるのではなく、日付、金額、人物、条件、因果関係などの小さな主張へ分けると、何を検証すべきか明確になります。

一次情報

制度の所管官庁、製品の提供会社、論文の原文、契約書、法令、当事者の公式発表など、確認対象に直接近い資料です。一次情報にも改訂や誤りはあり得るため、発行元、日付、版、対象範囲を確認します。

根拠

ある主張を支持する観察、記録、統計、文書などです。URLが表示されているだけでは根拠にならず、その資料の本文が、対象の主張を実際に支持している必要があります。

出典

情報のもととなった資料や発信元です。著者・組織名、資料名、公開日、更新日、URL、該当箇所などをそろえると、別の人が同じ資料へ到達して確認できます。

不確実性

情報不足、曖昧な質問、資料の不一致、予測のばらつきなどにより、結論へ確信を持てない状態です。安全な回答では、不明点を隠さず、確実な部分と推測を分け、追加確認の方法を示します。

対象範囲

情報が適用される人、地域、期間、製品版、契約、条件などの境界です。内容が正しくても、別の自治体、年度、プラン、法域へ当てはめれば誤用になります。

裏取り

一つの回答や記事だけに依存せず、独立した資料や公式記録を使って内容を確かめることです。同じ誤情報を転載した複数ページは独立した確認にならないため、情報源のつながりも見ます。

02|仕組みを理解する

仕組みを理解する

1.自然な文章と、事実の正しさを切り離して考える

生成AIは、質問へ素早く答え、複雑な内容を読みやすく整理できます。その文章は語調が落ち着き、理由や数字、引用まで付くため、人は正しい説明だと感じやすくなります。しかし、読みやすさ、詳しさ、自信の強さは、事実性を測る指標ではありません。ハルシネーションとは、もっともらしいが事実と異なる内容を生成する現象です。OpenAIも、言語モデルのハルシネーションを、確信を持って示されるもっともらしい誤答として説明し、現在のモデルにも残る課題だとしています。大切なのはAIを人格化して『うそをついた』と決めることではなく、出力の仕組みと利用時の責任を理解することです。雑談や発想支援と、医療、法律、契約、金銭、公開情報では、必要な確認の強さが違います。

2.回答を小さな主張へ分ければ、確認対象が見える

長い回答を丸ごと『正しい・間違い』で評価すると、正しい説明の中に混じった一つの誤りを見逃します。まず、日付、人数、金額、制度名、引用、対象条件、因果関係を、一文ずつ検証できる主張へ分けます。例えば『東京都のこの補助金は、従業員50人以下の会社が対象で、締切は9月30日、上限は100万円』なら、制度の存在、実施主体、対象地域、従業員条件、締切、上限額という別々の主張があります。次に、どの主張が行動を変えるかを印します。締切や対象条件の誤りは申請機会を失わせるため優先度が高く、説明文の言い換えより先に確認します。AIへ『事実と推測を分け、各主張に根拠と確認日を付けて。不明なら不明と書いて』と頼むことは整理に役立ちますが、自己申告された根拠そのものも人が開いて確かめます。

3.仕組み上、言語の続きやすさと真実は同じ目的ではない

大規模言語モデルは、多数の文章から言葉や概念の関係を学び、入力と会話履歴に続きそうな要素を順に生成します。学習によって事実らしい関連も身につけますが、一文ごとに現実のデータベースへ照合し、真偽の印を読み出しているわけではありません。よく現れる知識や典型的な説明は安定しやすい一方、低頻度の人名、日付、固有番号、最新の規則、任意に決まった細部は不安定になりやすいと考えられます。また、評価が『何か答えれば得点、分からないと言えば無得点』に近いと、慎重に保留するより推測する方が有利になります。このため、運用側は正答率だけでなく、必要な場面で保留できるか、根拠不足を示せるかも評価します。モデルが大きい、回答が長い、温度を低くしたという一条件だけで、事実が保証されることはありません。

4.情報が足りない質問では、前提を補ってしまう危険がある

『今年の補助金の締切は?』『この薬は安全?』『契約を解除できる?』という質問には、地域、制度名、年度、年齢、症状、契約種別、法域などが欠けています。人なら聞き返す場面でも、生成AIは会話を前へ進めるため、典型的な前提を補って答えることがあります。答えが偶然合う場合もあるため、この失敗は気づきにくいものです。質問する側は、対象、時点、目的、使える資料を示し、足りない条件を最初に質問させます。答える側の設計では『分からない』『資料内にない』『確認が必要』を許し、引用できない主張を無理に埋めないようにします。ただし、そう指示しても必ず保留するとは限りません。分からないと言える設計、実際に保留した割合、誤って断定した危険例をテストし、人へ戻す条件を決めます。

5.生成AIができることと、保証できないことを分ける

生成AIは、長い資料の確認候補を抽出する、主張と根拠の表を作る、複数資料の相違点を並べる、検索語や質問項目を提案する、専門用語を平易に説明する、といった作業に向きます。調査の入口を広げ、人が見落としやすい確認点を出す補助者として有用です。一方、学習済みモデルだけでは、今日の制度変更、非公開データ、目の前の患者の状態、当事者の意図を自動で知ることはできません。検索機能があっても、取得できなかったページ、アクセス権のない資料、更新直後の情報は欠けます。さらに、資料同士が矛盾する場合の法的・医学的判断や、誤った結果への責任を引き受けることもできません。AIには候補作成と整理を任せ、重要な事実の確定と最終判断は、権限と専門性を持つ人へ残します。

6.通常のチャット、検索付きAI、RAGの違いを理解する

通常のチャットAIは、学習で得たパターンと会話内の情報から回答します。検索付きAIは、検索エンジンなどから現在のウェブ情報を取得し、それを使って回答できます。RAGは、組織の文書や検索基盤から関連資料を取り出し、その内容を生成の文脈へ加える仕組みです。検索やRAGは最新情報や固有資料へ近づけるため、ハルシネーションの危険を下げる助けになります。しかし、検索漏れ、古いキャッシュ、誤った文書、アクセス制御の不備、関係の薄い部分の取得、資料の読み違い、生成時の取り違えは残ります。したがって『検索したから正しい』『社内RAGだから安全』とは言えません。どの資料を、いつ、どの版で取得し、回答のどの主張がどの箇所に支えられているかを追えることが必要です。

7.引用やURLがあっても、本文が主張を支えるとは限らない

生成AIは、存在しない論文名、著者、判例、URLを組み立てることがあります。実在するURLを示しても、そのページに主張が書かれていない、対象年度が違う、要約が反対の意味になっている場合があります。確認では、まずリンクを自分で開き、発行元が所管官庁、提供会社、原著者など目的に合う一次情報かを見ます。次に公開日と更新日、版番号、対象地域・期間・製品・契約を確認します。最後に見出しや検索結果の抜粋ではなく、本文の該当箇所が主張を直接支持しているかを読みます。別の資料へ転記された同じ文章を二つ見つけても、共通の誤情報を複製しているだけなら裏取りになりません。URLの数ではなく、独立性、関連性、最新性、本文との一致を記録します。

8.生活の実務例:制度・健康・旅行は、行動前に公式情報へ戻る

AIへ旅行計画を尋ね、『入国にビザは不要、パスポート残存期間は三か月でよい』と答えが出ても、そのまま航空券を確定しません。国籍、渡航目的、滞在日数、乗継地、出発日で条件が変わるため、外務省、渡航先政府、航空会社の最新案内を確認します。薬の飲み合わせなら、AIには質問事項の整理を頼めますが、製品の添付文書、医療機関、薬剤師へ確認し、自己判断で服用を変えません。補助金なら、所管組織の募集要項を開き、版、対象者、経費、締切、提出方法を確認します。これらは一つの誤りが健康、金銭、移動へ直接影響します。『AIがそう言った』は判断根拠にならないため、確認した公式資料、日付、担当窓口を記録してから行動します。

9.仕事の実務例:提案書・議事録・契約は、根拠表で管理する

営業提案書をAIで作ると、顧客の売上、競合製品の価格、法令上の義務などが滑らかに混ざることがあります。担当者は、外部へ出す数値と固有名詞を抽出し、『主張・出典・該当箇所・確認日・確認者』の表を作ります。会議の文字起こしから議事録を作る場合も、AIが曖昧な発言を決定事項へ変えたり、担当者や期限を補ったりする可能性があります。録音や原メモと照合し、参加者の承認を得ます。契約書では、条項の要約や論点抽出には使えても、法的結論や署名判断を自動確定しません。版の取り違え、秘密情報の入力、参照条番号の誤りを確認し、法務・責任者へ戻します。下書きの速さではなく、検証後の正確さと再作業まで含めて評価します。

10.典型的な失敗は、AIをAIで確認して安心すること

一つ目の失敗は、同じ質問を同じAIへ言い換えて尋ね、似た答えが返ったため正しいと判断することです。同じ学習傾向や誤った前提を共有していれば、回答の一致は独立した証拠になりません。二つ目は、自分が期待した結論に合う回答だけを採用する確証バイアスです。反対資料や例外条件を探す質問も必要です。三つ目は、検索結果の要約だけを読み、原文を開かないことです。四つ目は、引用の数を品質と考え、同じ発表を転載した記事を別々の裏取りとして数えることです。五つ目は、一度正しかった回答を更新後も使い続けることです。対策は、独立した一次情報、反証の探索、確認日と版の記録、期限を決めた再確認です。AIによる別回答は誤り発見の手掛かりにはなっても、最終的な証明ではありません。

11.影響が大きいほど、確認・承認・停止を強くする

デジタル庁の生成AI利用ガイドラインは、対策を講じてもリスクをゼロにできず、事実と異なる出力を利用者が信じて被害につながる場合を想定しています。NISTの生成AIリスク管理プロファイルも、リスクを文脈に応じて管理するための行動を示しています。実務では、広告文の語調案と、診断、採用、融資、契約、送金を同じ確認方法にしません。高影響な用途は、自動公開を避け、承認者、必要な根拠、保留条件、異議申立て、事故時の連絡先を決めます。入力には個人情報や機密を必要以上に含めず、出力と参照資料、モデルやサービスの版、確認結果を記録します。誤りを見つけたら、その一文だけでなく同じ方法で作った成果物の範囲を調べ、公開停止、訂正、関係者への通知を行います。

12.五段階の確認を実際の回答へ適用する

読者演習として、生成AIへ『自分の地域で今月利用できる支援制度を一つ教えて』と尋ねます。実際の申請はせず、第一に回答を制度名、実施主体、対象、金額、期限、手続という主張へ分けます。第二に各主張の重要度と、不明な前提を記します。第三に提示されたURLを開き、公式発行元、公開日、更新日、版、対象地域を確認します。第四に本文の該当箇所を読み、回答と一致する文、異なる条件、書かれていない点を表へ写します。第五に別の公式案内や担当窓口で裏取りし、『確認済み・不一致・不明』へ分類します。URLが存在しても本文が支えなければ不合格です。最後にAIへ、誤りを直すだけでなく『なぜ誤ったか、次回どこで保留すべきか』を説明させ、人が再確認します。この手順を仕事の回答にも転用してください。

03|実例で理解する

実例で理解する

具体例で考える

担当者がAIへ補助金を調べさせ、制度名、補助率、締切、URLを含む表を得ました。公式公募要領を開くと、URLは実在していても前年度版で、補助率は別枠の条件、締切は予定日でした。そこで各行を主張に分け、『確認済み・条件付き・未公表』へ直し、該当箇所を付けます。未公表部分は推測で埋めず窓口へ質問し、確認済み資料を根拠に責任者が判断します。

手を動かして理解する

  1. 今日の三つの用語を、見ずに説明する
  2. 仕事や生活の例へ置き換える
  3. 間違えた確認問題の理由を声に出して説明する

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

生成AIが補助金の締切日と公式らしいURLを示しました。業務で利用する前の対応として最も適切なのはどれですか。

QUESTION 02

大規模言語モデルで、もっともらしい誤答が生じ得る理由として最も適切なのはどれですか。

QUESTION 03

生成AIが論文へのリンクを引用として示したとき、確認方法として最も適切なのはどれですか。

QUESTION 04

検索機能や社内RAGを使う生成AIについて、最も適切な説明はどれですか。

QUESTION 05

生成AIで作った契約・医療・送金に関わる案を扱う運用として、最も適切なのはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 自然さ・詳しさ・自信の強さと、事実の正しさは別に評価する
  • ✓ 回答を主張へ分け、一次情報の発行元・日付・版・対象範囲・本文一致を確認する
  • ✓ 影響に応じて保留・人の承認・記録・訂正を組み込み、検索やRAGも検証する

NEXT LESSONDAY 20「個人情報・機密情報を守る」へ次のDAYに進む →