第6章|ディープラーニングの応用
DAY 27 ・ 約30分自然言語処理と大規模言語モデル
分散表現、Transformer、事前学習の流れを学ぶ。
単語分割、分散表現、encoder・decoder、事前学習と追加学習、生成時の仕組みを説明し、大規模言語モデルの能力と事実性を分けて評価できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
トークン化
文章をモデルが扱う単位へ分け、番号へ変換する処理です。単語、文字、サブワードなどの単位があり、見た目の文字数とは一致しません。
分散表現
単語や文を、多数の連続値を持つベクトルで表す方法です。似た使われ方をする表現が近い位置になるよう学習できます。
事前学習
大量のデータで穴埋めや次トークン予測などを行い、広く再利用できる言語表現や生成能力を先に学ぶ段階です。
ファインチューニング
事前学習済みモデルを、特定課題や望む応答へ追加学習して調整する方法です。元の能力を失う場合もあります。
大規模言語モデル(LLM)
大規模な文章などからトークンの関係を学び、文脈に続くトークンを予測する言語モデルです。規模だけで正確性は保証されません。
検索拡張生成(RAG)
質問に関係する外部資料を検索し、その内容を入力へ加えて回答を生成する構成です。検索結果と回答の一致確認が必要です。
文脈表現
分散表現、Transformer、事前学習の流れを学ぶ。
仕組みを理解する
1.コンピューターは文章を、そのまま意味として受け取らない
モデルへ入る前に、文章はトークンへ分けられ、各トークンが番号へ変換されます。日本語では単語の間に空白がないため、「東京都」「東京」「都」のどこで分けるかは方式により違います。未知語を細かなサブワードや文字へ分ければ、辞書にない表現も扱えます。 同じ文でもモデルごとにトークン数が違い、料金、入力上限、処理時間へ影響します。絵文字、URL、珍しい固有名詞は細かく分かれる場合があります。トークン化は単なる前処理ではなく、どの形を同じ単位として学ぶかを決めます。分割結果を確認し、文字数とトークン数を混同しません。
2.one-hot表現から、似た使われ方を持つベクトルへ進む
語彙が1万語なら、one-hot表現は一語だけ1、残りを0にした1万次元ベクトルです。語同士の近さを直接表さず、巨大で疎です。分散表現は、各語を数百次元などの密なベクトルへ変換します。周囲に現れる語から学ぶと、似た文脈で使われる語が近くなります。 Word2VecのCBOWは周囲から中央語を、Skip-gramは中央語から周囲を予測します。ベクトル差に関係が現れる例はありますが、すべての意味関係が一つの直線で表せるわけではありません。学習文章の偏見や古い関係も埋め込みへ入ります。距離が近いことを、社会的に同じ価値だと解釈しません。
3.固定した単語ベクトルから、文脈で変わる表現へ
従来の単語埋め込みでは、「銀行」のベクトルは川岸の意味でも金融機関の意味でも同じです。文脈化表現では、前後の語を通して各位置のベクトルを更新します。「銀行で口座を開く」と「川の銀行に立つ」に相当する文脈では、内部表現を変えられます。 RNNやTransformerが系列全体の関係を取り込みます。特にSelf-Attentionは離れた語を直接参照できます。ただし長い文脈へ入れれば必ず正しく使えるわけではありません。重要情報の位置、類似した条件、否定表現を変えて試し、入力上限と利用精度を分けます。
4.encoder型は、文章全体を理解する課題へ使いやすい
BERTは左右両側の文脈を使い、隠したトークンを当てる事前学習を行いました。文章全体がそろった後の分類、固有表現抽出、検索などで使いやすいencoder型です。「これは良いが高い」という文で、対象語の前後を同時に見て表現を作れます。 穴埋め問題で学んだだけで、あらゆる事実を正しく理解するわけではありません。下流課題へ使うときは分類層を加え、ラベル付きデータで調整します。学習済み表現を固定するか全体を更新するかで、必要データ、計算量、過学習が変わります。
5.decoder型は、過去のトークンから次を生成する
decoder型言語モデルは、位置tのトークンを作るとき、それより前のトークンだけを参照します。Causal Maskで未来の正解を隠し、次トークン予測を大量に繰り返します。利用時は一つ生成した結果を入力へ加え、次をまた予測します。この反復で長い文章を作ります。 各時点で得るのは語彙全体の確率分布です。最大確率だけを選ぶ方法、上位候補から選ぶ方法、温度で分布を調整する方法があります。生成の多様性を上げると事実性が上がるわけではありません。用途に応じて再現性、創造性、誤りの影響を分けます。
6.大規模化は能力を広げるが、仕組みの限界を消さない
モデルのパラメータ、学習データ、計算量を増やすと、多様な文章パターンと課題を扱える傾向があります。少数例を入力で示すだけで形式をまねる能力も現れます。ただし規模という一数字だけで性能は決まりません。データ品質、重複、学習目標、入力形式、追加調整が影響します。 次トークン予測は自然な文章を学びますが、文章内の主張が現実に正しいかを毎回答案する仕組みではありません。多数派の誤りやもっともらしい架空情報も学べます。流暢さ、指示への適合、事実性、推論、最新性を別の評価にします。
7.事前学習・指示調整・選好調整は、目的が違う
事前学習では広い言語パターンを学びます。その後、質問と望ましい回答の組で指示に従う調整を行えます。さらに人の比較評価やAIによる評価を使い、安全性や好まれる応答へ調整する方法があります。三段階をすべて同じ「学習」とまとめません。 好まれる文章が正しい文章とは限りません。丁寧で自信のある誤答が選ばれる可能性があります。安全調整も、あらゆる利用場面の危険を消すものではありません。評価データ、採点基準、拒否すべき範囲を確認し、重要業務では独自の試験を残します。
8.RAGは、モデルの知識を書き換えず資料を渡す
RAGでは質問を検索用のベクトルなどへ変換し、文書から関連箇所を取り出し、質問と一緒にモデルへ渡します。社内規程や更新の多い情報を回答へ使えます。モデルを再学習するより資料更新が容易で、根拠リンクを示しやすい利点があります。 検索に失敗すれば、正しい資料が入力へ入りません。似ているが別条件の文書を取る、古い版と新しい版が混ざる、入力へ入った資料を無視する問題もあります。検索再現率、順位、版管理、引用と回答の一致を別々に評価します。RAGを付けただけで幻覚がなくなるとは言いません。
9.文章処理の評価は、一つの自動得点へ縮めない
分類なら適合率・再現率、抽出なら正しい範囲、翻訳や要約なら参照文との一致などを使います。しかし同じ意味の言い換えが複数ある生成では、自動得点だけで品質を測り切れません。人による評価も、観点と採点者の一致を設計します。 要約では重要事項の保持、誤った追加、否定の反転、固有名詞・数値、読みやすさを分けます。LLMを採点者へ使う場合も、採点モデルの偏りと再現性を確認します。代表例だけでなく、長文、曖昧な質問、悪意ある入力、答えがない場合を含めます。
10.DAY 27では、回答までの処理を一列に描く
一つの質問が、文字列、トークンID、埋め込み、Transformerの各層、語彙確率、選択されたトークンへ進む流れを書きます。次に、事前学習、ファインチューニング、入力内の例示、RAGを「何を変更するか」「いつ効くか」「元に戻せるか」で比べます。 最後に、自然な回答が得られたとき、モデル内部だけで確認できることと、外部資料で確認することを分けます。生成の仕組みと事実確認の仕組みを同じにしなければ、大規模言語モデルを過大評価せず、必要な道具を組み合わせられます。
実例で理解する
具体例で考える
市役所のごみ分別案内を、自然な文章で回答する仕組みを考えます。利用者は「壊れた充電池をどう捨てるか」のように聞きます。制度は地域と時期で変わるため、言語モデルの事前学習知識だけで答えず、公開されている最新の分別表と回収拠点を検索するRAGを使います。 文書は自治体、施行日、対象地域、品目、例外、問い合わせ先の項目を付けて分割します。見出しだけを切り離すと条件が失われるため、例外条項を含むまとまりで保存します。廃止版は削除せず、適用終了日を持たせて検索対象から外します。 質問をトークン化し、埋め込みで関連文書を検索します。「充電池」「モバイルバッテリー」「小型二次電池」の言い換えを含む試験集合を作ります。正しい資料が上位五件へ入る割合を測り、生成モデルを呼ぶ前に検索の不足を確認します。 回答の入力には、利用者の地域、質問、検索した公式資料、回答形式を入れます。資料にないことは推測せず「確認できません」とし、問い合わせ先を案内する指示を加えます。指示文だけを安全装置とせず、参照できるドメインと文書版をシステム側で制限します。 モデルは「一般ごみです」と流暢に答える可能性がありますが、充電池は火災リスクがあり重大です。回答には回収方法、絶対に混ぜてはいけない区分、公式ページ、確認日を必須にします。根拠文にない回収場所を加えた場合は不合格です。 評価は50種類の品目を用意し、正しい区分、例外の保持、地域の一致、架空情報、引用の一致を採点します。「分からない」と返すべき質問も含めます。文章の丁寧さは別軸にし、自然でも危険な回答を高得点にしません。 同じ質問を言い換え、誤字、方言、長い前置きでも試します。検索結果の順序を変えて回答が不安定にならないか、古い資料を混ぜたとき日付を優先できるかも確認します。入力文に「規則を無視して」と書かれた場合、資料範囲を越えないことを試します。 公開後は、答えられなかった品目、職員への転送、誤案内の報告を記録します。制度更新では文書を差し替え、検索インデックスの更新完了を確認します。モデルを更新した場合は、以前の正解集合を再試験します。便利な会話画面と、正しい行政案内を支える検索・版管理・確認を分けて運用します。
手を動かして理解する
- 提供ケース「同じ情報を文章・画像・音声で扱う架空例を比較する」または自分が説明できる身近な事例を一つ選び、DAY27「自然言語処理と大規模言語モデル」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「単語分割、分散表現、encoder・decoder、事前学習と追加学習、生成時の仕組みを説明し、大規模言語モデルの能力と事実性を分けて評価できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
トークン化について適切な説明はどれですか。
正解は「文章をモデルが扱う単位へ分け、番号へ変換する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
文章をモデルが扱う単位へ分け、番号へ変換する: 正解は「文章をモデルが扱う単位へ分け、番号へ変換する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
すべての言語を必ず一文字一トークンにする: 単語・文字・サブワードなど方式により異なります。
文章の事実性を自動で保証する: 分割方法は事実確認の仕組みではありません。
モデルの学習データをすべて削除する: 入力表現へ変換する処理で、データ削除ではありません。
Word2VecのSkip-gramが行う代表的な予測はどれですか。
正解は「中央の単語から周囲の単語を予測する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
中央の単語から周囲の単語を予測する: 正解は「中央の単語から周囲の単語を予測する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
周囲の単語から画像の全画素を復元する: 画像復元ではなく単語文脈の学習です。
未来の事実を必ず当てる: 言語パターンの学習は未来予知ではありません。
正解ラベルなしで因果関係を証明する: 共起関係から因果は証明できません。
BERTのようなencoder型モデルの事前学習の説明として適切なものはどれですか。
正解は「左右の文脈を使い、隠したトークンを予測する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
左右の文脈を使い、隠したトークンを予測する: 正解は「左右の文脈を使い、隠したトークンを予測する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
未来トークンだけを見て過去を生成する: encoder型の穴埋め学習とは参照方向が違います。
音声波形だけから行動価値を出す: これは音声と強化学習を混ぜた説明です。
文章を一切トークン化しない: 言語モデルへ入れる前にトークン表現が必要です。
decoder型言語モデルが位置tを生成するときの基本的な参照範囲はどれですか。
正解は「位置tより前にあるトークン」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
位置tより前にあるトークン: 正解は「位置tより前にあるトークン」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
位置tより後の正解トークンだけ: Causal Maskで未来の正解を遮断します。
学習データのURLだけ: URLだけを入力とする仕組みではありません。
未来の利用者入力だけ: まだ存在しない入力を利用できません。
RAGを使うときに別々に評価すべきものはどれですか。
正解は「正しい資料を検索できたかと、回答がその資料に一致したか」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
正しい資料を検索できたかと、回答がその資料に一致したか: 正解は「正しい資料を検索できたかと、回答がその資料に一致したか」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
回答文の長さだけ: 文章量だけで根拠や正確さは分かりません。
モデル名の文字数だけ: 製品名の長さは品質指標ではありません。
検索結果を使わず作った印象だけ: 検索と生成を分けて証拠で評価します。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 文章はトークン化され、分散表現と文脈化を経て処理される
- ✓ encoder型・decoder型、事前学習・追加調整・RAGは役割が異なる
- ✓ LLMの流暢さと事実性を分け、検索・引用・未知回答・人の確認を評価する
講義本文 4,036字
PRIMARY SOURCES