本文へ移動
← 目次 生成AI発展講座 DAY 18

第4章|ディープラーニングの概要

DAY 18 ・ 約30分

損失関数と正則化

間違いの測り方と、過学習を抑える考え方を学ぶ。

今日できるようになること

代表的な損失関数とL1・L2正則化、Dropout、早期終了、データ拡張の役割を説明し、評価指標との違いを踏まえて選べる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

損失関数

予測と正解のずれを学習用の数値へする関数です。勾配を計算でき、最小化する方向へパラメータを更新します。

平均二乗誤差(MSE)

予測誤差を二乗して平均する回帰損失です。大きな誤差を強く罰する一方、外れ値の影響を受けます。

交差エントロピー

正解クラスへ置いた予測確率が低いほど大きくなる分類損失です。確率モデルの負の対数尤度と関係します。

L1・L2正則化

損失へ重みの大きさに応じた罰を加えます。L1は疎な重み、L2は極端な重みを滑らかに抑える方向へ働きます。

Dropout

学習時に一部ユニットを確率的に無効化し、特定経路への依存を減らす正則化です。推論時は全ユニットを使います。

早期終了

検証損失の改善が止まった時点で学習を止め、訓練データへの過度な適合を抑える方法です。

過学習

両方高い学習不足、訓練だけ低い過学習、両方下がる適切な学習です。

02|仕組みを理解する

仕組みを理解する

1.損失関数は、学習が直す方向を決める

モデルは予測を作るだけでは自分を直せません。正解との差を損失で一つの数値へし、その勾配から重みを更新します。損失が小さいほど訓練目的に合っていますが、現実の価値を完全に表すとは限りません。 画像分類の交差エントロピーが下がっても、安全上重要な一種類を見逃す場合があります。学習に使う損失、モデル選択に使う評価指標、現実の費用を分けます。微分しやすい代理損失で学び、再現率や業務費用で採用判断することがあります。何を最小化したかを報告しなければ、性能の意味を読めません。

2.MSEは大きな誤差を強く罰する

MSEは各予測と正解の差を二乗し平均します。誤差2は4、誤差10は100となり、大きな外れを強く減らす方向に学びます。正規分布の雑音を仮定した最尤推定とも関係します。滑らかで微分しやすく、回帰の標準的な損失です。 外れ値や誤ラベルがあると、それへ強く引かれます。平均絶対誤差MAEは絶対値を使い外れ値に比較的頑健ですが、0で滑らかでありません。Huber損失は小誤差で二乗、大誤差で絶対値に近くなります。損失の形は、どの誤差を強く直すかという選択です。残差分布と業務上の重大誤差を見て決めます。

3.交差エントロピーは、正解確率の低さを罰する

二値分類で正解が陽性なら、予測確率pが1へ近いほど損失は小さく、0へ近いほど急激に大きくなります。多クラスでは正解クラスへ割り当てたsoftmax確率の負の対数を使います。正解へ高い確率を置くよう学習できます。 誤って自信満々な予測へ大きな罰が入る一方、ラベル誤りにも強く反応します。数値安定のため、softmaxやシグモイドと対数を一体化したロジット用損失を使います。損失が低くても確率校正が完全とは限りません。未知分布での信頼度、しきい値、混同行列を別に確認します。

4.クラス不均衡では、重み付けとデータを検討する

陽性が極端に少ない分類では、多数の陰性を正しくするだけで平均損失が小さくなり、陽性を十分学べない場合があります。陽性損失へ大きな重みを付ける、少数例を増やす、難しい例を重視するFocal Lossなどを検討します。 重みを変えると予測確率の解釈や適合率・再現率も変わります。少数例を複製すると過学習し、合成データが現実を代表しない危険があります。まず収集過程とラベルを確認し、層化分割で評価します。損失調整だけで公平性や少数群性能が自動改善するとは限りません。属性別件数と誤りを残します。

5.L2正則化は、極端な重みを滑らかに抑える

L2正則化は重みの二乗和を元の損失へ加えます。大きな重みほど強く罰し、多数特徴へ滑らかに分散させる方向に働きます。ニューラルネットではweight decayとして実装されることがあります。訓練誤差を少し許して、未知データへの安定性を狙います。 正則化係数が大きすぎれば重みが小さくなり過ぎ、学習不足になります。バイアスや正規化パラメータへ同じ罰を付けない設計もあります。Adamとweight decayの組合せでは、損失へL2を足す方法とAdamWの分離した減衰が同じでない点に注意します。検証データで強さを選びます。

6.L1正則化は、一部の重みをゼロへ近づける

L1正則化は重みの絶対値の和を損失へ加えます。多数の重みを0へしやすく、疎なモデルや特徴選択のような効果を持ちます。不要な入力を減らし、計算や説明へ役立つ場合があります。 相関する特徴があると、どれか一つだけを残す選択が分割ごとに変わることがあります。ゼロになったから現実に不要、残ったから原因とは断定できません。深いネットワークの全重みへ単純にL1を掛ければ必ず解釈可能になるわけでもありません。目的が圧縮か汎化かを明確にし、性能と安定性を比較します。

7.Dropoutは、学習時に異なる部分ネットワークを作る

Dropoutは学習時に各ユニットを一定確率で0にします。更新ごとに異なる経路を使うため、一つのユニット同士が過度に依存することを抑え、多数の部分ネットワークを平均するような効果があります。推論時は全ユニットを使い、尺度を調整します。 学習・推論モードを取り違えると、推論結果が毎回変わる、出力尺度がずれる問題が起きます。畳み込みやTransformerでは適用位置と率を調整します。Batch Normalizationとの組合せやデータ量によって効果は異なります。Dropout率が高いほど安全ではなく、学習不足とのバランスを検証します。

8.早期終了は、検証性能が悪化する前に止める

学習を続けると訓練損失は下がり続けても、検証損失は途中から上がることがあります。早期終了は検証指標が一定回数改善しなければ止め、最良時点の重みを保存します。学習回数自体を正則化として使う考え方です。 検証指標の揺れですぐ止めないようpatienceを設定します。学習率を変更した直後や評価頻度も影響します。検証データへ何度も早期終了を合わせると、検証への過適合が起こります。最終テストは別に残します。停止したepoch、最良値、再現条件を記録します。

9.データ拡張は、意味を保った変化を学習へ加える

画像の平行移動、切り抜き、明るさ変更、音声の雑音追加、文章の慎重な変換などで訓練例を増やします。現実で起こる変化に対して予測を安定させ、暗記を抑えます。元データを複製するだけより多様性を与えられます。 変換がラベルの意味を保つことが必要です。数字6を上下反転すると9になる、病変画像の色変更が診断情報を消す、文章の言い換えが感情を変える場合があります。検証・テストへ同じ元例の拡張版を混ぜると漏えいです。拡張の種類と強さを利用環境から決め、重大特徴を壊していないか専門家が確認します。

10.DAY 18では、損失と正則化の役割を分ける

回帰と分類の課題を一つずつ選び、出力層、損失、評価指標を組にします。損失を最小化しても評価指標や業務価値と一致しない例を書きます。次にL2、Dropout、早期終了、データ拡張から二つを選び、何を抑え、強すぎると何が起こるか説明します。 訓練損失と検証損失の曲線を三種類描きます。両方高い学習不足、訓練だけ低い過学習、両方下がる適切な学習です。対策をモデル、データ、正則化へ分けます。手法名を追加する前に、どの症状へ何の理由で使うかを言えることが到達点です。

03|実例で理解する

実例で理解する

具体例で考える

設備故障までの日数を予測する回帰モデルを考えます。通常誤差より大きな見逃しを強く減らしたいのでMSEを候補にしますが、センサー故障による外れ値へ引かれるためHuber損失も比較します。評価ではMAE、重大な過大予測件数、保守費用を別に示します。 訓練損失だけ下がり検証損失が上がる場合、L2と早期終了を試します。時系列の切り出し位置を少し変えるデータ拡張は、故障兆候を壊さない範囲にします。Dropoutは推論時に無効化し、モデル版とモードを固定します。 損失の低さだけで保守日を自動確定せず、安全側の規則と担当者確認を残します。正則化は危険を直接禁止する方法ではなく、未知データへの過度な適合を抑える方法です。 比較では、正則化なし、L2のみ、Dropoutのみ、両方を同じ初期値と学習予算で学習します。訓練損失、検証損失、重大な過大予測、パラメータの大きさを記録します。訓練損失が高く検証も悪い場合、正則化をさらに強めるのではなく学習不足を疑います。 早期終了は検証損失が最良だった重みへ戻します。最後のepochの重みを誤って保存しないよう、停止時点と最良時点を分けます。patienceを変えて結果が大きく変わるなら、学習率スケジュールと評価間隔も確認します。テストデータはこの調整へ使いません。 センサー系列のデータ拡張では、時間を少しずらす、現実範囲の雑音を加えるなど、故障ラベルを保つ変換だけを使います。故障直前部分を切り落とす変換はラベルの根拠を消します。拡張後の例を専門家が見て、現実に起こり得るかを確認します。 損失関数を変える場合は、同じモデルでも何を重く直すかが変わります。MSEからHuberへ替えて平均誤差が少し増えても、誤センサーへの耐性が上がる場合があります。採用判断では損失値同士を直接比較せず、共通のMAE、重大誤差、費用で評価します。 正則化係数、Dropout率、停止epochをテストデータで選ばないことも重要です。検証で候補を固定し、未使用テストで一度確認します。テスト結果が悪ければ、同じテストへ合わせ続けず、新しい評価データを準備します。正則化の強さもモデルの一部として版管理します。データ量が増えた場合は以前の最適値を再検証します。訓練例の多様性で必要な強さも変わるためです。再評価の条件、期限、担当者もあらかじめ決め、判断記録を次回の検証担当者へ引き継ぎます。

手を動かして理解する

  1. 提供ケース「二つの入力を持つ簡単なニューロン図を紙上で追跡する」または自分が説明できる身近な事例を一つ選び、DAY18「損失関数と正則化」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「代表的な損失関数とL1・L2正則化、Dropout、早期終了、データ拡張の役割を説明し、評価指標との違いを踏まえて選べる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

損失関数の主な役割はどれですか。

QUESTION 02

大きな誤差を二乗して強く重く扱う、回帰の代表的な損失はどれですか。

QUESTION 03

L1正則化とL2正則化の違いとして適切なものはどれですか。

QUESTION 04

Dropoutの学習時と利用時の扱いとして適切なものはどれですか。

QUESTION 05

早期終了の適切な実施方法はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 損失は学習方向、評価指標は採用判断、業務費用は現実影響として分ける
  • ✓ L1・L2・Dropout・早期終了は異なる方法で複雑さと過学習を抑える
  • ✓ データ拡張はラベルの意味を保ち、検証への漏えいを防ぐ

講義本文 4,035字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 19「誤差逆伝播法」へ次のDAYに進む →