第2章|生成AIの仕組み
DAY 09 ・ 約15分LLM・トークン・文脈長
長い資料や会話を扱う前に、モデルが参照できる範囲と限界を理解する。
LLM、トークン、コンテキストウィンドウの関係を説明し、必要な資料を安全に絞って検証できる。
言葉を知る
用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。
LLM
Large Language Model(大規模言語モデル)の略です。大量の文章などから言葉の並びと関係を学び、入力された文脈に続く内容を生成します。文章を丸ごと人間のように記憶して検索する箱ではなく、学習した多数のパラメータとその場の入力を使って出力を計算するモデルです。
トークン
モデルが文章を受け取り、出力するときに扱う細かな単位です。一文字や一語と常に一致するわけではなく、よく現れる文字列、単語の一部、記号などに分かれます。同じ文字数でも言語、表記、記号、使用するモデルによって数は変わります。
トークナイザー
文章をモデルの語彙に対応するトークンへ分割し、数値の並びへ変える仕組みです。モデルごとに分割規則が異なるため、別のモデル用の概算だけで上限や費用を断定せず、利用するサービスやAPIの計数機能で確認します。
コンテキストウィンドウ
一回の処理でモデルが参照できる情報量の枠です。利用者の質問だけでなく、システム上の指示、会話履歴、添付資料、ツールの結果、生成する回答などがこの枠を使います。上限が大きくても、内容を均等かつ正確に使える保証ではありません。
入力トークン
回答を作る前にモデルへ渡される指示、会話、資料、ツール結果などに使われるトークンです。画面では短い質問に見えても、過去の会話や添付ファイルが含まれれば入力全体は大きくなります。
出力トークン
モデルが回答として生成する側のトークンです。入力と出力の上限が別に示されるサービスもあり、入力で枠を使い切れば長い回答を出せない場合があります。必要な回答形式と長さを先に決めることが重要です。
長文コンテキスト
本、契約書群、長い会話、コードベースなど大量の情報を一度に参照させる使い方です。資料間の比較や全体像の把握に役立ちますが、量が増えるほど費用、待ち時間、矛盾、重要箇所の見落としも増えるため、投入量そのものを品質とみなしません。
検索拡張
質問に関係する資料の一部を先に検索し、その結果をモデルへ渡して回答させる設計です。すべての資料を毎回入れずに済みますが、検索で必要箇所を取れなければ回答にも届きません。検索結果、版、権限、引用箇所を別に確認します。
仕組みを理解する
1.LLMは、言葉を扱う大きな計算モデル
LLMは大量の文章から、どの言葉がどのような文脈で現れるかを学んだ言語モデルです。利用時には、学習済みの関係と現在与えられた文脈を使い、次のトークンの候補を計算して文章を組み立てます。要約、分類、翻訳、質問への回答、文章案、コード案など幅広い作業ができるのは、異なる仕事をすべて専用ルールで登録したからではなく、言葉で示された目的と例から作業の形を捉えられるためです。ただし、流ちょうな文章を作ることと、現実の事実を確認することは別です。モデルは責任や目的を自分で決めず、入力されていない最新情報を自動で知るわけでもありません。
2.文章は、そのままではなくトークンへ分けて処理される
私たちは文章を単語や文として読みますが、モデルはまずトークナイザーで入力をトークンの列へ変えます。短い日本語が一文字ずつ分かれる場合も、複数文字がまとまる場合もあり、英数字、絵文字、特殊記号、空白でも数え方が変わります。したがって『千文字なら必ず千トークン』とは言えません。トークンはモデルが計算する単位であり、入力できる量、出力できる量、処理時間、API利用料の基礎になります。実務で上限ぎりぎりの資料を扱うときは、文字数だけでなく、対象モデルの公式な計数機能や利用量表示で測ります。概算は準備には使えても、送信可否を保証する値にはしません。
3.トークン列から、位置と関係を計算して回答を作る
トークンへ分けた後、各トークンはモデルが計算できる数値表現へ変換されます。Transformerを使うLLMでは、Attentionなどにより、現在の処理と関係の深い位置を計算しながら文脈を扱います。例えば『銀行の口座』と『川の岸』では同じ表記に近い語でも、周囲の語との関係から意味の候補が変わります。出力時には一度で完成文を取り出すのではなく、入力とそれまでに生成したトークンから次の候補を選び、その結果を文脈へ加えてまた計算します。この繰り返しで長い回答ができますが、途中の誤った前提も後続へ影響します。自然な続きを作る仕組みだけで、引用や数字の正しさは保証されません。
4.コンテキストウィンドウは、作業机の広さに近い
コンテキストウィンドウは、一回の処理でモデルの前に置ける作業机の広さにたとえられます。机には、サービス側の基本指示、利用者の質問、過去のやり取り、添付した文書、検索やツールの結果、回答として出す分まで載ります。利用者が見ている最後の質問だけが入力の全部とは限りません。枠を超えると、送信できない、古い部分が除かれる、履歴が要約される、出力できる長さが減るなど、サービスごとの処理が起こります。モデル名だけで上限を決め付けず、選択中のモデル、契約、機能、入力形式の公式仕様を確認します。会話を続けられる画面と、すべての過去発言を一字一句参照している状態も同じではありません。
5.枠に入ることと、正確に使えることは別
長い文脈へ資料を入れられても、すべての箇所が同じ強さで使われるとは限りません。似た規定が何度も現れる、旧版と新版が混ざる、質問と無関係な文章が大量にある、重要な条件が表の注記へ埋もれる、といった状況では見落としや取り違えが起きます。長文性能の評価で一つの情報を探せても、複数の条件を結合する仕事では成績が変わることがあります。文脈長が大きいモデルほど必ず自社業務の品質が高い、という順位にはなりません。必要な箇所を絞る、文書の版と日付を明示する、質問を一つずつ分ける、回答へ引用元を付けさせるなど、情報設計と検証が必要です。
6.長い会話では、重要条件を会話の流れだけへ預けない
チャットAIと何十回もやり取りすると、最初に伝えた読者、禁止事項、納期、用語の定義が後半で弱まったように見えることがあります。文脈の上限、履歴の要約、相反する新しい指示、サービス側の処理など複数の原因があり、画面から正確な内部状態を推測することはできません。失われると困る条件は、最新版の短い仕様書やチェックリストへまとめ、節目ごとに再提示します。変更した条件には日付と版を付けます。『前と同じで』だけに頼らず、今回の成果物で守る条件を明示すると、担当者が交代しても確認できます。チャット履歴は便利な作業記録ですが、正式な要件管理や承認記録の代わりではありません。
7.チャットAIは、LLMに履歴・検索・ファイル機能を組み合わせたサービス
LLMは回答を計算する中核モデルで、チャットAIはそれを利用しやすくするサービスです。会話履歴を保存する、ファイルから関連箇所を探す、ウェブ検索を行う、コードを実行する、安全上の制限を加えるといった機能はモデル本体と別の層です。そのため、同じLLM名でもサービスや設定が違えば、参照できる資料、上限、保持期間、費用、回答が変わります。反対に、チャット画面で長い会話が見えても、内部では古い履歴を短くまとめたり、必要なファイル断片だけを検索したりする場合があります。比較するときは、モデルの文脈長だけでなく、履歴の扱い、ファイル方式、検索根拠、データ利用条件、管理者設定を確認します。
8.できることは、長い資料の整理・比較・変換を速くすること
十分な長文能力と適切な情報設計があれば、複数の議事録から決定事項を集める、契約書の条項を比較する、長いマニュアルから手順候補を作る、コードの複数ファイルをまたいだ変更案を出す、といった支援ができます。資料の全体像をつかみ、関係しそうな箇所を見つけ、人が読む順番を作る用途は有効です。全文を入れる方がよい場合もあれば、検索で関連箇所だけを渡す方が速く安定する場合もあります。目的、資料量、更新頻度、必要な引用精度で選びます。成果物は完成判断ではなく、調査候補、比較表、下書きとして受け取り、原文へ戻れる形で使います。
9.できないことは、資料の完全理解と最新性を自動保証すること
文脈枠が広くても、資料内のあらゆる事実を漏れなく理解し、矛盾を解消し、正しい版を選び、法的な意味まで保証することはできません。文脈にない情報を知ること、閲覧権限のないシステムを確認すること、現実の変更を自動で追うことも、検索や連携がなければできません。検索拡張を使っても、検索が取り逃したページは回答材料にならず、取得した旧資料を新しいものと誤認する可能性があります。回答が長く引用が多いことも、網羅性の証明にはなりません。特に医療、法律、契約、財務、安全に関する判断では、資格や責任を持つ人が正式文書と運用状況を確認します。
10.失敗例は、旧規程と新規程を全部混ぜてしまうこと
社内の休暇制度を調べるため、担当者が十年分の規程、改定案、廃止済みのFAQ、議事録を一つの長い入力へ入れたとします。モデルは最新規程の対象者と旧FAQの申請期限を組み合わせ、読みやすい手順を作りました。どちらも入力内に存在するため、文章だけを見ると誤りへ気付きにくい状態です。原因は、文脈長の不足だけではなく、版の混在、優先順位の不明確さ、出典確認の欠如です。対策は、施行中の正本を先に確定し、廃止資料を除外し、文書ごとに版・日付・状態を付け、回答へページや条番号を添えさせることです。人は引用箇所が本当に結論を支えるかを原文で読みます。
11.安全上の注意は、必要最小限の情報と権限から始める
文脈へ入れられる量が増えるほど、個人情報、顧客情報、契約上の秘密、アクセス制限された資料を余計に渡す危険も増えます。『長い資料を扱えるから全部入れる』のではなく、目的に必要な範囲だけを選び、氏名や識別子を削除し、利用サービスの保存・学習利用・共有・削除条件を確認します。検索拡張では、利用者が本来読めない文書が検索結果へ混ざらないよう、元のアクセス権を保ちます。悪意ある指示が資料内へ埋め込まれる可能性もあるため、資料は命令ではなく参照情報として扱い、外部送信や削除など影響の大きい操作は人が承認します。入力記録を残す場合も、秘密情報を無期限に複製しない保管期限を決めます。
12.確認方法と読者演習は、短い正解例で試してから広げる
長文処理を導入するときは、答えと根拠が分かっている小さな資料で、必要箇所を見つけられるか、引用が合うか、複数条件を正しく結べるかを試します。次に、関連章だけを渡す方法と全文を渡す方法を比べ、正確さ、欠落、処理時間、費用を記録します。読者演習として、手元の長い文書を一つ選び、知りたい質問を一文にします。正答に必要なページ、不要な付録、版と日付、削除すべき個人情報を書き出してください。資料を三つ程度のまとまりへ分け、各まとまりの要点と引用候補を作らせ、最後に統合します。回答の各主張を原文へ戻って確認し、全文投入より良かったかを採点します。
実例で理解する
具体例で考える
人事担当者が200ページの就業規則から育児休業の申請手順を案内する場面を考えます。最初に対象者、施行日、正式版を確認し、旧版と改定案を除外します。目次から関連章を選び、質問を『対象条件』『提出書類』『期限』『承認先』へ分けます。生成AIには回答ごとに条番号とページを付け、不明な項目は推測せず『確認が必要』と書くよう指示します。担当者は引用箇所を正本で読み、社内の現在の申請画面と照合します。氏名や個別事情は必要になるまで入力せず、個別相談と一般案内を分けます。全文を一度に渡す場合とも結果を比較し、正確さ、時間、費用を記録します。こうして、長文能力を資料選択と検証の補助へ使い、制度判断と案内責任は人へ残します。
手を動かして理解する
- 今日の三つの用語を、見ずに説明する
- 仕事や生活の例へ置き換える
- 間違えた確認問題の理由を声に出して説明する
04|今日の理解度を確認する
今日の理解度を確認する
同じ千文字程度の文章でも、使用するモデルや表記によって処理量が変わる主な理由はどれですか。
モデルは文章をトークンへ分けて処理します。分割規則はモデルや表記によって異なるため、文字数とトークン数は一対一ではありません。
文字数が多いほど必ず一文字だけになるから: 一文字が一トークンになるとは限らず、複数文字や単語の一部、記号などにも分かれます。
モデルごとの分割規則で、文字列や記号が異なる単位へ分かれるから: トークナイザーの違いによって、同じ文章でも数え方が変わります。
日本語は数値へ変換されないから: 日本語もトークンへ分けられ、モデルが扱える数値表現へ変換されます。
文章の意味が正しければ処理量がゼロになるから: 内容の正しさとは別に、入力と出力は計算単位として数えられます。
長いチャットを続けたとき、最初の重要条件が回答へ反映されなくなりました。最も適切な対策はどれですか。
会話履歴の表示と、モデルが現在参照している内容は同じとは限りません。失われると困る条件は版を付けた仕様として再提示します。
会話画面に残っているので何もしない: 表示されている履歴の全量が、毎回一字一句同じように参照される保証はありません。
同じ会話をさらに長くして思い出させる: 無関係な履歴も増え、重要条件がさらに埋もれる可能性があります。
重要条件を画像だけに変えて隠す: 形式を変えても参照の確実性は上がらず、読み取り誤りも増えます。
最新版の短い仕様書へまとめ、節目ごとに明示して確認する: 重要条件を独立した最新版として管理し、現在の作業で再確認できます。
十年分の社内規程から現在の申請期限を調べるとき、最初に行うべきことはどれですか。
長文の誤りは量だけでなく、版の混在と優先順位の不明確さから起きます。先に有効な正本を確定し、引用を原文で確認します。
施行中の正本を確定し、旧版と改定案を分ける: どの資料を根拠にするかを先に決める、適切な版管理です。
すべての資料を版の説明なしで一度に渡す: 旧情報と新情報を組み合わせた誤答を作る危険が高まります。
最も長い回答を正解とみなす: 回答の長さは、現在の規程に合うことや網羅性の証拠ではありません。
出典を付けず要点だけを公開する: 根拠へ戻れず、誤りや改定の影響を検証できません。
コンテキストウィンドウについて、最も適切な説明はどれですか。
文脈枠は現在の処理へ載せられる情報量です。学習済み知識の総量や表示欄の大きさではなく、枠内の完全理解も保証しません。
モデルが学習した全知識の保存容量だけを示す: 学習時の知識量ではなく、現在の一回の処理で参照する範囲です。
画面に表示できる文字数だけを示す: 画面表示とは別で、サービス側の指示やツール結果も枠を使う場合があります。
一回の処理で参照する指示・履歴・資料・出力などの情報量の枠を示す: 現在の入力と出力を扱う範囲を正しく表しています。
枠内のすべてを均等かつ正確に理解する保証を示す: 枠へ入ることは、見落としや矛盾がないことを保証しません。
機密を含む長い資料を生成AIで整理するとき、安全な進め方として最も適切なものはどれですか。
長文処理でもデータ最小化と元のアクセス権が基本です。必要な範囲だけを使い、重要な主張は引用元と人の承認で確認します。
扱える上限まで全資料を入れ、後から用途を決める: 不要な秘密情報を広げ、目的外利用と誤参照の危険を増やします。
目的に必要な範囲へ絞り、個人情報・権限・保存条件を確認してから使う: データ最小化、権限維持、利用条件確認を組み合わせた安全な手順です。
検索結果なら元文書の権限を無視して共有する: 検索後も元文書の閲覧権限と機密区分を守る必要があります。
回答が自然なら引用元を確認せず公開する: 自然さは正確さや根拠の実在を保証しないため、原文確認が必要です。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ LLMは入力をトークンへ分け、現在の文脈から出力を順に作る
- ✓ コンテキストウィンドウへ入ることと、内容を正確に使えることは別
- ✓ 必要最小限の資料、版管理、引用確認、人の承認で長文処理を安全にする