本文へ移動
← 目次 生成AI基礎講座 DAY 14

第3章|現在の生成AI

DAY 14 ・ 約15分

教師あり・教師なし・強化学習

正解、構造、報酬という三つの手掛かりから、課題に合う学習方法を選ぶ。

今日できるようになること

学習方法の名前だけでなく、必要なデータ、評価方法、失敗の形、安全な導入条件まで説明できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。

教師あり学習

入力と正解ラベルの組を使い、未知の入力に対する分類や数値予測の規則を学ぶ方法です。正解が付いていても、ラベルの定義、付け方、対象期間に偏りがあれば、実運用で望む予測にはなりません。

ラベル

各学習例へ付ける正解や目標値です。「解約した・しなかった」の分類名、翌月売上の金額などが該当します。ラベルは自然に存在するとは限らず、業務上の目的を人がデータへ写したものです。

教師なし学習

正解ラベルを与えず、データの類似、まとまり、低次元の表現、珍しいパターンなどを探る方法です。見つかった構造は自動的な真実や業務区分ではなく、人が意味と利用可否を検討します。

クラスタリング

特徴の近さを定義し、似た例を集団へ分ける代表的な教師なし学習です。距離の測り方、使う特徴、集団数を変えると結果も変わるため、発見された群には後から人が意味を付けます。

強化学習

エージェントが環境の状態を見て行動し、得られた報酬を手掛かりに、将来を含む合計報酬が大きくなる方策を学ぶ方法です。各場面の正解行動を一件ずつ教える教師あり学習とは異なります。

報酬

強化学習で、ある状態で行動した結果を数値として評価する信号です。測りやすい数字だけを報酬にすると、利用者の満足や安全を損なっても点数を稼ぐ近道を学ぶことがあります。

方策

ある状態でどの行動を選ぶかを定める規則や確率的な対応です。強化学習は、目先の報酬だけでなく後の結果も考え、期待される累積報酬を高める方策を探します。

ベースライン

新しいモデルと比較する基準です。現行の人手手順、単純なルール、平均値予測などを置き、複雑な学習方法が本当に品質や時間を改善したかを同じ条件で確かめます。

02|仕組みを理解する

仕組みを理解する

1.学習方法は流行ではなく、課題の形から選ぶ

教師あり・教師なし・強化学習は、性能の順位を表す名前ではありません。違いの中心は、何を手掛かりに、何を得たいかです。過去の問い合わせと正しい担当部署があり、新しい問い合わせの部署を当てたいなら教師あり学習の分類です。正解区分がまだなく、似た問い合わせのまとまりを探索したいなら教師なし学習のクラスタリングが候補です。表示する案内の順番を変えると次の利用行動も変わり、長期的な満足を高めたいなら強化学習として考える余地があります。最初に「正解はあるか」「出力は種類・数値・構造のどれか」「今の行動が次の状態へ影響するか」を書けば、技術名から無理に仕事を作る失敗を避けられます。

2.教師あり学習は、過去の正解から未知の答えを予測する

教師あり学習では、一件ごとの入力とラベルを組にしてモデルへ与えます。迷惑メール判定なら本文や送信元が入力、「迷惑・通常」がラベルです。家賃予測なら広さや築年数が入力、実際の家賃が目標値です。出力があらかじめ決めた種類なら分類、連続する数値なら回帰と呼びます。学習中は予測とラベルの差を損失として測り、その差を小さくするようモデルを調整します。ただし、過去のラベルへよく合うことと、将来の未知データで役立つことは別です。訓練用、調整用、最終テスト用を分け、実運用に近い期間や対象で性能を確認します。

3.ラベルは客観的な真実ではなく、目的を写す設計である

「退職した」は記録から比較的明確に作れても、「優秀な社員」「良い顧客」「危険な投稿」のようなラベルには価値判断が混ざります。担当者ごとに判定が違う、過去の制度や偏見が残る、結果が出た人だけ記録されるといった問題もあります。例えば、過去に承認された融資だけを成功例として学習すると、審査されなかった人の結果は分からず、過去の対象選択まで引き継ぐ恐れがあります。ラベル作成では定義書、複数人の一致率、分からない場合の扱い、対象集団ごとの件数を確認します。高影響な用途では、モデルの正答率だけでなく、誰にどの誤りが集中するかまで点検します。

4.教師なし学習は、正解のないデータから仮説を得る

教師なし学習は、あらかじめ正解を付けずに、似た例のまとまりやデータの構造を探します。クラスタリングでは、顧客の購入頻度、金額、商品カテゴリなどを特徴として、定義した近さに基づきグループを作れます。これは、人が見落としていた傾向を発見し、調査の出発点を作ることに向きます。一方、出力された「クラスタ1」は自然界に最初から存在する顧客タイプではありません。年齢を強く使えば年齢の近い群、購入額を強く使えば金額の近い群になりやすく、特徴の尺度や欠損処理でも結果が変わります。業務に使う前に、各群の中身、安定性、意味、少数者への影響を人が確認します。

5.似ているとは何かを決めなければ、クラスタにも意味はない

クラスタリングの結果は、類似度の定義とアルゴリズムの仮定に左右されます。商品なら価格、用途、購入時期のどれを重視するかで「似た商品」は変わります。数値の桁が大きい特徴だけが距離を支配しないよう正規化し、目的に関係しない個人識別情報を除きます。集団数を先に固定する方法もあれば、密度や階層でまとめる方法もあります。評価では、群内が近く群間が離れているかという数値だけでなく、期間や初期値を変えても似た構造が出るか、担当者が行動へ結び付けられるかを見ます。「三群に分かれたから三種類の人間がいる」と断定せず、観察されたデータに対する一つの仮説として扱います。

6.強化学習は、行動と結果が連続する問題を扱う

強化学習では、エージェントが状態を観測し、方策に従って行動し、環境から報酬と次の状態を受け取ります。倉庫ロボットが進路を選ぶと位置と残り時間が変わり、推薦が一つ表示されると利用者の次の行動も変わります。今すぐ得られる小さな報酬だけでなく、その行動が後の選択肢や最終結果へ与える影響を考える点が特徴です。ゲームのように大量に試せる環境では強みがありますが、現実の医療、採用、価格設定で無制限な試行錯誤をすることはできません。安全なシミュレーション、過去ログによる検証、許可された狭い行動範囲、人の監督が必要です。

7.報酬の数値は、人の本当の目的を完全には表せない

強化学習は定義された報酬を増やしますが、その数値の外側にある目的を自動で察しません。動画推薦を視聴時間だけで評価すれば、刺激が強く離れにくい内容を優先し、満足、安全、多様性を損なう可能性があります。配送を速さだけで評価すれば、危険な経路や作業者への過度な負担が選ばれるかもしれません。これはモデルが命令へ逆らったのではなく、測りやすい代理指標を忠実に最大化した結果です。複数の評価、禁止制約、行動上限、異常時の停止、人の承認を組み合わせ、報酬が高いのに現場では望ましくない例を意図的にテストします。

8.チャットAIの会話と、三つの学習を混同しない

チャットAIへ「今の回答は悪い」と伝えると次の返答が変わるため、その場でモデル全体が強化学習しているように見えます。しかし通常は、会話履歴を次の推論の文脈として使っているだけで、利用者との一往復ごとに基盤モデルを再学習しているとは限りません。基盤モデルの開発では教師ありの例、教師なしに近い事前学習、人の評価を使った追加調整など複数の方法が組み合わされますが、サービス上の会話、モデルの訓練、個別組織での追加学習は別の工程です。「会話したから永久に覚えた」「低評価を押せば自社専用モデルになった」と考えず、製品の公式仕様、保存設定、学習利用条件を確認します。

9.できることと、できないことを方法ごとに分ける

教師あり学習は、正解ラベルが安定していて将来も同じ関係が続く分類・回帰に強い一方、ラベルにない目的や急な環境変化を自力で理解できません。教師なし学習は未知の構造を探索できますが、発見された群の意味や善悪を決められません。強化学習は長期的な行動選択を扱えますが、安全な試行環境と慎重な報酬設計が要り、現実で試してよい行動を自動で決められません。三つを組み合わせることもあります。例えば教師なしで候補群を見つけ、人が意味を確認してラベルを作り、教師あり分類器へ発展させます。組み合わせても、目的設定、権限、説明責任は人に残ります。

10.実務では、モデルより先にベースラインと失敗費用を決める

問い合わせ振り分けを改善するなら、まず現在の正答率、処理時間、担当者の修正量を測ります。「最も多い部署へ全部送る」「明確な単語だけルールで分ける」といった単純なベースラインも用意します。複雑なモデルが数ポイント高くても、保守費用や説明の難しさが増えるなら採用しない判断があります。また、営業問い合わせを総務へ送る誤りと、緊急の安全報告を見逃す誤りでは損失が違います。全体平均だけでなく重要な種類、少数集団、境界例を分け、許容できない失敗へ停止条件を置きます。AIを使うことが目的ではなく、現行手順より安全に価値を出せるかが合否です。

11.データ漏えい、偏り、攻撃を学習工程から確認する

学習用データには個人情報、機密、著作物が含まれ得ます。目的に必要な範囲だけを使い、収集根拠、利用許可、保存期間、アクセス権を決めます。攻撃者が不正な例やラベルを混ぜるデータ汚染、訓練データの特徴を推測する攻撃、特定入力で誤作動させる攻撃も想定します。外部データを安全と決めつけず、出所、版、重複、異常値を記録し、モデルとデータの変更を追跡します。高影響な判断はモデル出力だけで自動確定せず、人が根拠を確認し、異議申立てと訂正経路を用意します。安全性は学習方法の名前では決まらず、データ、評価、権限、運用の全体で作ります。

12.確認手順を一枚にし、身近な課題で選択を練習する

読者演習として、解約防止、顧客グループの発見、倉庫の経路選択から一つ選んでください。まず目的を一文にし、入力、得たい出力、利用できる正解、行動が次の状態へ与える影響を書きます。次に教師あり・教師なし・強化学習の候補を選び、理由、必要データ、評価指標、最も困る誤りを一つずつ記入します。最後に、単純なルールや人の判断で十分ではないか、個人情報を減らせるか、影響を受ける人ごとに誤りを測れるか、停止と再確認ができるかを確認します。正解のない探索なら「見つけた群を誰が解釈するか」、報酬を使うなら「点数だけ高い失敗例」を必ず追加してください。これで技術名ではなく業務条件から学習方法を選べます。

03|実例で理解する

実例で理解する

具体例で考える

通販会社が顧客支援を改善する例を考えます。既に「配送・返品・支払い・商品」という正しい担当区分が付いた問い合わせが十分にあり、新しい問い合わせの振り分けを予測するなら教師あり分類が候補です。新商品の相談にはまだ正解区分がなく、似た相談のまとまりを見つけて窓口設計の仮説を作るなら教師なしのクラスタリングを使えます。回答候補の提示順が利用者の次の行動を変え、長期的な解決率を高めたい場合は強化学習も検討できます。ただし、正解率、群の安定性、解決率だけで採用しません。緊急相談の見逃し、少数言語の誤分類、刺激的な表示による短期クリック偏重を別に評価し、モデルが迷う場合は担当者へ戻します。現行手順と単純ルールをベースラインにして、匿名化した代表例と危険例で比較し、改善が確認できた範囲だけを段階的に自動化します。

手を動かして理解する

  1. 今日の三つの用語を、見ずに説明する
  2. 仕事や生活の例へ置き換える
  3. 間違えた確認問題の理由を声に出して説明する

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

過去の問い合わせに正しい担当部署が付いており、新しい問い合わせの担当部署を予測したい場合、最初に検討する方法はどれですか。

QUESTION 02

クラスタリングで得られた三つの顧客群を業務へ使う前の確認として、最も適切なものはどれですか。

QUESTION 03

視聴時間だけを報酬にした推薦が、刺激の強い動画へ偏りました。改善策として最も適切なものはどれですか。

QUESTION 04

チャットAIへ会話中に『この表現は使わないで』と伝え、次の返答が変わりました。この現象の説明として最も適切なものはどれですか。

QUESTION 05

学習方法を選ぶ前の実務確認として、最も適切な進め方はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 三つの方法は正解・構造・報酬という手掛かりと課題の形で選ぶ
  • ✓ ラベル、類似度、報酬は人が設計するため、偏りと代理指標を評価する
  • ✓ ベースライン、危険例、影響別評価、停止と人の確認まで含めて導入する

NEXT LESSONDAY 15「ディープフェイクと偽情報」へ次のDAYに進む →