本文へ移動
← 目次 生成AI基礎講座 DAY 11

第2章|生成AIの仕組み

DAY 11 ・ 約15分

ChatGPTの歴史と進化

GPTから対話型AIへ発展した流れを、モデル・調整・サービスに分けて理解する。

今日できるようになること

生成型事前学習、指示調整、人のフィードバック、会話サービスの関係を歴史と仕組みから説明し、現在の機能を名前だけで判断せず確認できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。

GPT

Generative Pre-trained Transformerの略で、Transformerを土台に、大量のデータで事前学習して文章の続きを生成するモデル系列です。GPTという名前は中核モデルを指し、会話画面、検索、ファイル保存などを含むサービス全体の名前とは分けて考えます。

事前学習

大量の文章から、ある文脈の次にどのトークンが続きやすいかを繰り返し予測し、言葉の関係や文章の型をパラメータへ取り込む工程です。資料を一件ずつ保存するデータベースではなく、幅広い言語能力の土台を作ります。

Transformer

文章中の離れた部分を含む要素同士の関係へ重みを付けるAttentionを中心に、多くの位置を並列に学習しやすくしたモデル構造です。GPTのTはこのTransformerを表します。

Few-Shot

少数の入力例と望ましい出力例をプロンプト内で見せ、モデルの重みをその場で変えずに、新しい仕事の形式や判断基準を伝える使い方です。GPT-3の研究では、規模の拡大とともに少数例からの実行能力が調べられました。

指示チューニング

質問への回答、要約、分類など、人が求める指示と望ましい応答の例を使い、事前学習済みモデルを指示へ従いやすく追加調整することです。文章続きを予測する基礎能力を、利用者の依頼へ向ける役割があります。

RLHF

Reinforcement Learning from Human Feedbackの略で、複数のモデル出力を人が比較した好みから報酬モデルを作り、その評価を手掛かりに言語モデルを調整する方法です。人の評価を使っても、完全な正しさや安全が保証されるわけではありません。

アライメント

AIの振る舞いを、人の意図、価値、安全上の条件へ近づけようとする考え方と研究領域です。誰の価値をどう反映するか、未知の状況でも働くかという難題があり、一度の学習で完成するものではありません。

ChatGPT

OpenAIが2022年11月30日に研究プレビューとして公開した、生成AIを会話形式で利用するサービスです。対話モデルだけでなく、画面、会話履歴、安全対策、利用設定、時期により変わる各種ツールを組み合わせた製品として捉えます。

02|仕組みを理解する

仕組みを理解する

1.出発点は、文章の続きを予測する事前学習

2018年のOpenAIの研究は、ラベル付きデータを大量に用意して課題ごとに一から学習する代わりに、まず広い文章で生成型の事前学習を行い、その後で個別課題へ合わせる方法を示しました。モデルは文の続きを当てる練習を重ねる中で、単語の使われ方、文法、説明の型、話題同士の関係をパラメータへ圧縮します。この土台があるため、少ない追加データでも分類や質問応答へ応用できます。ただし、文章パターンを学ぶことと、発言の真偽を一件ずつ保証することは同じではありません。学習データの偏りや欠落、学習後に起きた出来事はそのまま限界として残ります。

2.GPTという名前は、三つの要素を表す

Generativeは新しい続きを生成すること、Pre-trainedは個別利用の前に広いデータで学習していること、TransformerはAttentionを中心とするモデル構造を表します。初期のGPTは現在の会話サービスより小規模でしたが、『広く事前学習し、用途へ適応する』という考え方を明確にしました。ここで重要なのは、GPTが人間のように本を読んで意味を記憶する、と考えないことです。入力をトークンへ分け、文脈から次のトークンの確率を計算し、出力を順に作ります。自然な説明ができても、出典の実在や現在の制度を自動確認しているとは限りません。

3.GPT-2は、規模と生成能力だけでなく公開方法も問い直した

2019年のGPT-2は、より大きなモデルと多様なウェブ文章によって、課題専用の訓練をしなくても、入力に続くまとまった文章を作れる可能性を示しました。同時に、説得力のある偽文章などへの悪用を考え、OpenAIは小さい版から段階的に公開し、検出や社会的影響を検討しました。この出来事は、性能の進歩だけで歴史を理解してはいけないことを教えます。能力が上がるほど、公開範囲、利用条件、監視、誤用対策も設計対象になります。『高性能だから公開すべき』『危険があるから隠すべき』の二択ではなく、証拠を集めながら段階的に扱う考え方が生まれました。

4.GPT-3は、例や指示から仕事を切り替える力を広げた

2020年に発表されたGPT-3の研究では、モデルの規模を大きくし、重みを更新しなくても、指示と少数の例を文章として与えるだけで翻訳、質問応答、文章補完など多くの課題へ対応するFew-Shot能力が調べられました。これは一つのモデルを用途ごとに作り直さず、プロンプトで仕事を切り替える現在の利用につながります。一方、研究は苦手な課題、ウェブ由来データの問題、もっともらしい偽文章の影響も報告しました。できる課題の数が増えても、すべてを同じ精度で理解するわけではなく、計算、最新事実、専門判断は別の検証が要ります。

5.文章の続きを作る能力と、指示へ従う能力は別

事前学習だけのモデルへ『月面着陸を子ども向けに説明して』と書いても、依頼へ答える代わりに、似た質問の一覧を続けることがあります。学習上の中心課題は、利用者の意図を満たすことではなく、次の文章を予測することだからです。そこで、人が書いた望ましい回答例を使う指示チューニングが重要になりました。目的、対象読者、形式、安全条件へ従う例を学ばせることで、単なる文章補完から助手らしい応答へ近づきます。それでも、曖昧な指示を正しく推測したり、矛盾する要求を常に解決したりできるわけではありません。

6.InstructGPTは、人の比較評価を調整へ使った

OpenAIが2022年1月に公表したInstructGPTでは、まず人が望ましい応答例を作り、次に複数の出力を比較して順位を付け、その比較から報酬モデルを学習し、最後に言語モデルを調整する方法が示されました。これがRLHFの代表的な流れです。研究では、単に大きなGPT-3を使うより、小さくても指示へ合わせたモデルの出力が人に好まれる場合がありました。規模だけで使いやすさが決まらない証拠です。ただし、人の評価には文化、基準、見落としが入り、平均的な好みがすべての人や場面に適切とは限りません。評価者の好みへ合うことと、事実が正しいことも別です。

7.ChatGPTは、対話形式を製品としてまとめた

ChatGPTは2022年11月30日、研究プレビューとして公開されました。最初の公式説明では、会話形式によって追加質問へ答える、誤りを認める、誤った前提へ異議を示す、不適切な依頼を断ることが目標として示されました。これは突然ゼロから生まれたのではなく、GPT系の事前学習、指示チューニング、人のフィードバックによる調整を対話用に組み合わせたものです。利用者が質問を重ねられる画面は、技術を専門家以外にも使いやすくしました。一方、公式発表も当初から、もっともらしい誤答、言い回しへの敏感さ、過度な拒否などの限界を明記していました。

8.モデル、対話AI、サービスを分ける

GPTは結果を作るモデル系列、対話AIは会話の履歴や役割を使って応答する仕組み、ChatGPTは利用者が触れるサービスです。サービスには、モデル選択、システム側の指示、会話保存、検索、ファイル読込、画像や音声、コード実行、安全フィルターなどが時期や契約に応じて組み合わされます。そのため『ChatGPTが検索できたからGPTモデルは常にインターネットを見ている』『会話を覚えたから基盤モデルが自分専用に再学習された』とは限りません。どのモデル、どの機能、どの設定、いつの状態かを分けなければ、性能もデータの扱いも正しく比較できません。

9.チャットAIになって、できる仕事は広がった

会話形式では、最初に目的を伝え、回答を見て条件を追加し、例を示し、形式を直す反復ができます。文章の下書き、要約、アイデア整理、コードの説明、学習相手などでは、この往復が実用性を高めます。さらに検索や外部ツールを組み合わせれば、学習済み知識だけでは扱いにくい現在情報の取得や計算も補えます。しかし、チャット画面が責任を持つわけではありません。送信、決済、契約、採用、医療のような高影響作業は、正本、専用システム、専門家、人の承認へ戻します。便利な会話と、検証済みの業務処理を区別することが必要です。

10.失敗例は、会話の自然さを成長や正しさと取り違えること

担当者が『前回の会話を覚えているので、毎日の指摘から自動で学び、会社専用モデルになった』と考え、更新された規程の回答を確認せず配布した場面を考えます。実際には、保存された会話や設定が推論時に参照されただけかもしれず、モデルの学習時点や正確さは変わっていません。さらに同じサービス名でも、内部モデルや機能は更新されます。昨日の成功だけを証拠にすると、古い規程や存在しない条文を自然に説明する誤りを見逃します。会話履歴は便利な作業記録ですが、正式な知識管理、版管理、評価の代わりにはなりません。

11.安全性は、学習・調整・製品運用の三層で考える

学習データには偏りや権利の問題、調整には評価者の価値観や報酬の抜け道、製品運用には機密入力、誤情報、依存、悪用の危険があります。RLHFを使ったという説明だけで安全を断定せず、どの場面で何を防ぐのかを確認します。重要情報を入力する前に、利用中のサービス、契約、データ利用と保存の設定を公式資料で確かめ、必要最小限にします。出力は一次情報と照合し、外部公開や高影響判断には承認者を置きます。モデルや機能は更新されるため、導入時に合格した評価を定期的に再実行し、問題時に停止または前の方法へ戻せるようにします。

12.確認方法と読者演習で、名前の混同をなくす

生成AIの説明を見たら、提供会社、サービス名、モデル名、追加機能、契約・設定、確認日を六列に分けます。次に、回答だけでできること、検索やツールが必要なこと、人の承認が必要なことを分類します。読者演習として、普段使うチャットAIで『今週の社内ニュースを三件要約する』仕事を考えてください。事前学習だけで分かる範囲、最新資料を検索する工程、要約を作る推論、公開前の人の確認を一行ずつ書きます。最後に、検索を切った場合、旧資料を混ぜた場合、もっともらしい架空情報を出した場合の三つを試験条件にします。これで、歴史の暗記を実務の確認手順へ変えられます。

03|実例で理解する

実例で理解する

具体例で考える

社内ヘルプデスクでChatGPTを使う例を考えます。まず、GPT系モデルが持つ文章生成と指示追従の能力で、問い合わせを『申請』『故障』『権限』へ分類し、丁寧な下書きを作ります。しかし、今月の申請期限や社員ごとの権限は事前学習へ頼らず、施行中の社内規程と権限付きシステムから取得します。画面に会話履歴が残っていても、正式な手順書の代わりにはしません。回答には根拠文書の版と該当箇所を付け、送信前に担当者が確認します。評価では通常質問だけでなく、旧版を引用する質問、根拠が存在しない質問、秘密情報を求める質問を含めます。こうすると、事前学習は言語の土台、指示調整とRLHFは会話の使いやすさ、検索は現在の根拠、サービス画面は利用手段、人は承認と責任という役割に分けられます。

手を動かして理解する

  1. 今日の三つの用語を、見ずに説明する
  2. 仕事や生活の例へ置き換える
  3. 間違えた確認問題の理由を声に出して説明する

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

ある製品の説明で、生成モデル本体と、会話画面・検索・保存などを含む製品全体を区別したいとき、最も適切な整理はどれですか。

QUESTION 02

GPTという名称の三つの要素を説明するものとして、最も適切なのはどれですか。

QUESTION 03

人のフィードバックを使った調整について、最も適切な説明はどれですか。

QUESTION 04

チャットAIが昨日の指定形式を再び使ったため、担当者が『基盤モデルが会社専用に学習し直した』と考えました。まず確認すべきことはどれですか。

QUESTION 05

最新の社内規程に基づく回答をチャットAIで作る運用として、最も適切なものはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ GPTは生成型事前学習とTransformerを土台にするモデル系列
  • ✓ 指示チューニングとRLHFは人の依頼へ近づけるが、事実性や安全を保証しない
  • ✓ ChatGPTはモデルと会話・ツール・設定を組み合わせるサービスなので、層と確認日を分けて評価する

NEXT LESSONDAY 12「主要な生成AIサービス」へ次のDAYに進む →