第4章|ディープラーニングの概要
DAY 20 ・ 約30分最適化手法
勾配降下法、学習率、Momentum、Adamを理解する。
バッチ・確率的・ミニバッチ勾配降下法、学習率、Momentum、Adam、学習率スケジュールを説明し、学習曲線から調整方針を立てられる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
勾配降下法
損失の勾配と反対方向へパラメータを動かし、損失を小さくする反復的な最適化方法です。
学習率
一回の更新で勾配方向へどれだけ動くかを決める値です。大きすぎると発散し、小さすぎると学習が遅くなります。
ミニバッチ
訓練データの一部をまとめ、平均勾配を計算する単位です。計算効率と勾配のばらつきを両立します。
Momentum
過去の勾配方向を移動平均として蓄え、同じ方向へ加速し、振動方向を抑える方法です。
Adam
勾配の一次モーメントと二次モーメントの移動平均を使い、パラメータごとに更新幅を調整する方法です。
エポック
訓練データ全体を一通り学習に使う単位です。同じエポック数でもバッチサイズにより更新回数が変わります。
確率的勾配降下法
勾配降下法、学習率、Momentum、Adamを理解する。
仕組みを理解する
1.最適化は、現在地点から損失の低い方向へ進む
パラメータを地図上の位置、損失を高さと考えると、勾配は最も急に高くなる方向です。その反対へ進めば近くでは損失が下がります。重みwをw-学習率×勾配で更新します。多次元では全パラメータへ同時に行います。 ニューラルネットの損失面は谷、鞍点、平らな領域を含む複雑な形です。毎回の勾配は局所情報で、最良解への直線案内ではありません。初期値、データ順、最適化手法で異なる解へ着きます。最適化損失が低いことと未知性能が高いことも別です。検証と正則化を合わせます。
2.バッチ勾配降下法は、全データの平均を使う
全訓練データで損失と勾配を計算して一回更新する方法です。勾配は安定しますが、データが大きいと一更新が遅く、メモリに入りません。同じ計算を多数GPUへ分散する場合も通信費用があります。 小規模データや凸最適化では扱いやすい一方、深層学習ではミニバッチが一般的です。全データ平均は少数の難しい例を隠す場合があります。平均損失だけでなく例別・群別を確認します。バッチという語は訓練全体を一括する意味と、処理単位の一般名で使われるため、サイズを明示します。
3.SGDは一例、ミニバッチは一部の平均で更新する
確率的勾配降下法SGDは一例ごとに更新します。更新が速い一方、勾配のばらつきが大きく損失が揺れます。ミニバッチは32例、256例など一部をまとめ、GPUの行列計算を活用しながら雑音を抑えます。実務でSGDと呼ぶとき、ミニバッチ更新を含むこともあります。 バッチが小さいと雑音が正則化のように働く場合があり、大きいと勾配は安定して並列効率が上がります。ただし同じエポックで更新回数が減り、学習率調整が必要です。データを各エポックでシャッフルし、同じ種類だけ続く順序偏りを避けます。時系列や系列内の順序を壊してよいかは別に判断します。
4.学習率は、最も重要な更新幅である
学習率が大きすぎると谷を飛び越え、損失が振動・発散します。小さすぎると損失がほとんど下がらず、平らな領域を抜けるのに時間がかかります。最初に複数桁の候補を試し、訓練・検証曲線と勾配を見ます。 バッチサイズ、正規化、最適化手法を変えると適切な学習率も変わります。損失がNaNなら単に下げる前に、入力異常や数値不安定も確認します。高い訓練損失が学習不足か、学習率不良か、モデル不足かを一つずつ比較します。設定値だけでなく変更時点をログへ残します。
5.学習率スケジュールは、初期に進み後半に整える
学習初期は比較的大きく動き、後半は学習率を下げて細かく調整します。一定回数ごとに下げるstep decay、滑らかに下げるcosine decay、検証改善が止まると下げる方法があります。最初の数更新を小さくするwarmupは、大規模モデルや大きなバッチの不安定さを抑えます。 スケジュールを複雑にすれば必ず改善するわけではありません。総更新回数と初期学習率をそろえ、一定学習率の基準と比べます。検証指標を見て下げる場合、早期終了との順序を決めます。再開学習では、重みだけでなく最適化状態と現在の学習率も復元します。
6.Momentumは、同じ方向を蓄え振動を抑える
細長い谷では、通常のSGDが左右へ振動しながらゆっくり進みます。Momentumは過去勾配の移動平均を速度として持ち、同じ方向の更新を蓄積し、符号が変わる方向を相殺します。坂を転がる球に慣性が付く比喩で説明されます。 係数が高すぎると通り過ぎる場合があります。Nesterov Momentumは、速度で少し先へ進んだ位置の勾配を見て修正します。Momentumを使うと学習率との組合せが変わります。速度状態も学習の一部なので、途中再開時に保存します。損失曲線の振動と収束速度を同じ条件で比較します。
7.AdaGradとRMSPropは、パラメータごとに幅を変える
AdaGradは過去の勾配二乗を累積し、頻繁に大きな勾配を受けたパラメータの更新を小さくします。疎な特徴に適しますが、累積値が増え続け学習率が早く小さくなる場合があります。 RMSPropは勾配二乗の指数移動平均を使い、古い影響を徐々に減らします。非定常な目的でも更新幅を調整し続けられます。適応的手法は手動調整を不要にする魔法ではありません。初期学習率、減衰率、数値安定項を持ち、未知性能や最終収束がSGDより必ず優れるわけではありません。
8.Adamは、Momentumと適応幅の考え方を組み合わせる
Adamは勾配の一次モーメントとして方向の移動平均、二次モーメントとして勾配二乗の移動平均を持ちます。初期の平均が0へ偏るためバイアス補正を行い、各パラメータの更新幅を調整します。実装しやすく、疎で雑音のある勾配でも初期学習が進みやすい方法です。 標準設定が多くの課題で動いても、最適とは限りません。学習率とweight decayを検証し、AdamWで重み減衰を更新から分離する方法があります。最終的な汎化でMomentum SGDが良い場合もあります。手法名だけで選ばず、同じ予算、スケジュール、複数シードで比較します。
9.学習曲線と再現性から、調整の根拠を残す
各エポックの訓練損失、検証損失、主要指標、学習率、勾配ノルム、処理時間を記録します。訓練損失が振動するなら学習率、滑らかに下がるが検証が悪化するなら過学習、両方停滞なら学習率・モデル・データを疑います。 乱数シードを固定すると比較しやすい一方、一つのシードだけで安定性は分かりません。最終候補は複数シードで平均とばらつきを確認します。ハードウェアやライブラリで完全再現できない演算もあるため、環境、コード、データ版を保存します。最高一回ではなく再実行可能な性能を採用します。
10.第4章を、三つの計算として整理する
DAY 16の順伝播で予測を作り、DAY 17の活性化で非線形な表現を作り、DAY 18の損失で誤りを測ります。DAY 19の逆伝播で各重みの勾配を求め、DAY 20の最適化で更新します。この循環をミニバッチごとに繰り返します。 小さな学習曲線を三つ描き、学習率が大きすぎる、小さすぎる、過学習の症状を分けます。SGD、Momentum、Adamを同じ初期値と予算で比較する計画を作ります。モデルが学んだという言葉を、どの損失をどのデータで、どの更新法でどこまで下げたかへ言い換えられれば、第4章の到達です。
実例で理解する
具体例で考える
画像分類モデルをミニバッチ64で学習します。最初にAdamを使い、学習率を三桁の候補で比較します。損失がすぐNaNになる設定は入力範囲と勾配ノルムを確認し、極端な学習率だけを下げます。訓練は下がるが検証が上がる場合は正則化と早期終了を検討します。 同じ計算予算でMomentum SGDも比較し、最高値だけでなく複数シードの平均、ばらつき、学習時間を示します。途中再開用に重み、最適化状態、学習率スケジュール、エポックを保存します。 採用後も推論モデルは重みを更新しません。新データで再学習するときは元モデルと同じ未使用評価へ戻り、改善と後退を種類別に確認します。 最初の比較では、バッチサイズ64を固定してSGD、Momentum、Adamを各三つの学習率で試します。総更新回数とデータ分割をそろえ、最良一回ではなく三シードの平均と標準偏差を示します。Adamが早く下がっても、最終検証性能と推論性能を別に比較します。 次にバッチサイズを32、128、512へ変えます。バッチが大きいほど一更新の勾配は安定しますが、同じエポックの更新回数は減ります。単純に時間だけ比べず、処理した例数、更新数、計算資源を記録します。大バッチへ学習率を比例させる方法も、warmupと安定性を確認します。 学習曲線が周期的に振動する場合は、学習率を下げる前後とMomentum係数を比較します。訓練損失が下がらない場合は、勾配が0か、学習率が小さすぎるか、ラベルが壊れているかを分けます。検証だけ悪化する場合は最適化より過学習を疑います。 途中停止から再開するとき、重みだけを読み込むとMomentumの速度やAdamの移動平均が失われ、更新が変わります。最適化状態、スケジュール、乱数状態、データ順を保存します。再開直後に損失が跳ねた場合、これらが復元されたかを確認します。 最終採用では、訓練の速さだけでなく、検証性能のばらつき、必要なGPU時間、設定の再現性を含めます。最適化手法は利用時の推論速度を直接変えないことが多い一方、得られる重みと学習費用を変えます。開発費用と本番費用を分けて判断します。 比較を終えたら、採用した手法だけでなく不採用理由も残します。Adamは早いが検証性能のばらつきが大きい、Momentumは時間がかかるが安定した、という証拠が次の再学習に役立ちます。新しい最適化手法が登場しても、同じ予算・分割・指標で基準と比べます。
手を動かして理解する
- 提供ケース「二つの入力を持つ簡単なニューロン図を紙上で追跡する」または自分が説明できる身近な事例を一つ選び、DAY20「最適化手法」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「バッチ・確率的・ミニバッチ勾配降下法、学習率、Momentum、Adam、学習率スケジュールを説明し、学習曲線から調整方針を立てられる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
勾配降下法の基本的な更新方向はどれですか。
正解は「現在の勾配と反対方向」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
現在の勾配と反対方向: 正解は「現在の勾配と反対方向」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
現在の勾配と必ず同じ方向: 勾配と同じ方向は局所的に損失を増やします。
重みに関係なく毎回0へ移動: 重みを一律0へする方法ではありません。
最も大きい入力値の方向だけ: 入力の大きさだけで更新方向は決まりません。
学習率が大きすぎると起こりやすいことはどれですか。
正解は「最小値を飛び越えて損失が振動・発散する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
最小値を飛び越えて損失が振動・発散する: 正解は「最小値を飛び越えて損失が振動・発散する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
更新が小さすぎて必ず停止する: これは学習率が小さすぎる場合に近い症状です。
パラメータ数が自動で減る: 学習率はモデル構造の接続数を変えません。
テスト情報の漏えいが必ずなくなる: データ分割の漏えいとは別の問題です。
ミニバッチ勾配降下法の説明として適切なものはどれですか。
正解は「訓練データの一部をまとめて平均勾配を計算し、反復更新する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
訓練データの一部をまとめて平均勾配を計算し、反復更新する: 正解は「訓練データの一部をまとめて平均勾配を計算し、反復更新する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
全データを一度も使わない: エポックを重ねて訓練データ全体を利用します。
テストデータだけで重みを更新する: テストデータは学習へ使いません。
一つの例を永久に繰り返す: バッチを入れ替え、特定例だけへ固定しません。
Momentumの主な考え方はどれですか。
正解は「過去の更新方向を蓄え、同じ方向へ進みやすくし振動を抑える」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
過去の更新方向を蓄え、同じ方向へ進みやすくし振動を抑える: 正解は「過去の更新方向を蓄え、同じ方向へ進みやすくし振動を抑える」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
各重みを乱数で毎回初期化する: 毎回初期化すると学習を蓄積できません。
勾配を計算せず正解率だけで更新する: Momentumも勾配を利用します。
利用時にも重みを変更し続ける: 通常の推論では重みを固定します。
Adamを使った実験の再現性を高めるために残すべき情報はどれですか。
正解は「初期値・乱数seed・データ順・バッチサイズ・学習率などの設定」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
初期値・乱数seed・データ順・バッチサイズ・学習率などの設定: 正解は「初期値・乱数seed・データ順・バッチサイズ・学習率などの設定」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
最終精度だけ: 結果だけでは同じ実験を再現できません。
モデルの商品名だけ: 名称だけでは学習条件が分かりません。
最もよかった一回の画面写真だけ: 一回の画像では条件やばらつきを確認できません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 勾配降下法は勾配と反対へ進み、学習率が更新幅と安定性を決める
- ✓ ミニバッチ、Momentum、適応的手法は勾配のばらつきと収束を異なる方法で扱う
- ✓ 学習曲線・複数シード・環境記録で、最適化と汎化を再現可能に比較する
講義本文 4,041字
PRIMARY SOURCES