第4章|ディープラーニングの概要
DAY 19 ・ 約30分誤差逆伝播法
出力の誤差から、直すべき重みを逆向きに求める。
計算グラフと連鎖律から誤差逆伝播を説明し、勾配消失・勾配爆発・数値検査を含む学習の流れを追える。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
計算グラフ
変数と演算を節点として、入力から損失までの依存関係を表した図です。順伝播と逆伝播の経路を見えるようにします。
勾配
各パラメータを少し増やしたとき、損失がどの方向へどれだけ変わるかを並べた値です。更新方向の手掛かりになります。
連鎖律
合成された関数の微分を、途中の局所的な微分の積として求める規則です。逆伝播の数学的な中心です。
誤差逆伝播法
出力側の損失から入力側へ、連鎖律で勾配を効率よく伝える計算方法です。重み更新そのものとは分けます。
勾配消失
層を逆向きに進むたび小さな微分が掛かり、前方層の勾配がほぼ0になる問題です。
勾配爆発
大きな微分が繰り返し掛かり、勾配が極端に大きくなって更新が不安定になる問題です。
局所勾配
勾配が得られた後、最適化手法が更新量を決めます。
仕組みを理解する
1.学習は、予測・損失・勾配・更新の循環で進む
順伝播で予測を作り、正解との差を損失へします。次に各重みが損失へ与えた影響を勾配として求め、最適化手法が重みを更新します。このうち、損失から各パラメータの勾配を求める処理が誤差逆伝播です。 逆伝播がモデルの誤り理由を人間の言葉で説明するわけではありません。「どの重みを少し動かせば現在の損失が下がるか」という局所的な感度計算です。勾配を求めても、学習率が悪ければ改善しません。逆伝播、最適化、損失、データを別の部品として理解します。
2.計算グラフは、複雑な式を小さな演算へ分ける
y=(wx+b)^2のような式を、掛け算a=wx、足し算z=a+b、二乗L=z²へ分けて図にします。順伝播はxとパラメータからa、z、Lを計算します。逆伝播はLからz、a、wへ勾配を戻します。 各演算は入力と出力、局所微分だけを知ればよく、ネットワーク全体の式を一度に展開しません。同じ中間値が複数経路へ分かれる場合、戻ってくる勾配を足します。自動微分ライブラリもこの依存関係を記録し、逆向きに計算します。グラフで依存を追うと、どのパラメータへ損失が影響しないかも分かります。
3.連鎖律は、途中の影響を掛け合わせる
wがzへ影響し、zがLへ影響するなら、wに対するLの微分は、Lのzに対する微分とzのwに対する微分の積です。途中が多くても同じ規則を繰り返します。出力側から計算すると、共有する途中勾配を一度求めて再利用できます。 入力x=2、重みw=3、z=wx=6、L=z²=36なら、dL/dz=2z=12、dz/dw=x=2なので、dL/dw=24です。wを増やすと損失が増える正の勾配です。勾配降下ではwを反対方向へ動かします。小さな例を計算すると、逆向きに値が戻る意味を理解できます。
4.活性化関数の局所微分も、同じ経路へ入る
重み付き和zの後にReLU a=max(0,z)がある場合、zが正ならda/dz=1で勾配を通し、負なら0で止めます。シグモイドは出力aを使ってa(1-a)と書け、0か1へ飽和すると小さくなります。各層の活性化の微分が連鎖律で掛かります。 前向きの出力だけを見ていると、なぜ学習が止まるか分かりません。層ごとの勾配平均や最大値、0率を確認します。非微分点では実装上の値を定めます。ほとんど全ての入力で勾配が得られれば学習できます。数学上の一点より、実データがどの領域を通るかが重要です。
5.一つの重みが複数箇所で使われると、勾配を合計する
畳み込みでは同じフィルタ重みを画像の多くの位置で共有します。再帰型ネットワークでは時刻をまたいで同じ重みを使います。一つのパラメータから損失へ複数経路があるため、各経路の勾配を足したものが最終勾配です。 共有はパラメータ数を減らし、位置や時刻へ同じ変換を適用する構造を表します。逆伝播は共有関係をたどり、すべての利用箇所の影響を集めます。実装でテンソルを切り離すと勾配経路が途切れることがあります。パラメータが計算グラフへ接続され、勾配が存在するかを確認します。
6.勾配消失は、前方の層が学べない状態を作る
深い層で0.5未満の微分を何度も掛けると、入力側へ届く勾配は急速に小さくなります。シグモイドやtanhの飽和、長い系列で起こりやすく、初期層の重みがほとんど更新されません。損失が下がらず、勾配値が層ごとに小さくなることが手掛かりです。 ReLU系、適切な初期化、正規化、残差接続、LSTMなどが対策になります。どれも万能ではなく、問題の構造へ合わせます。勾配が小さいこと自体が常に悪いわけではなく、学習が収束した場合もあります。初期から特定層だけ0に近い、損失が高いままという組合せで判断します。
7.勾配爆発は、更新を極端にして数値を壊す
大きな微分を繰り返し掛けると勾配が急増し、重み更新が飛び、損失が振動またはNaNになります。深いネットワークや長い系列で起こります。学習率を下げる、初期化を見直す、正規化を使う、勾配ノルムを上限へ切るgradient clippingなどで抑えます。 クリッピングは症状を抑えても、データ異常や損失実装の誤りを直しません。入力に極端値、0除算、対数0、ラベル範囲外がないか確認します。勾配ノルムと損失を記録し、いつ急増したかを追います。数値安定性はモデルの精度以前の前提です。
8.数値微分で、逆伝播の実装を小さく検査する
解析的な勾配が正しいか、パラメータを少しだけ正負へ動かした損失差から数値微分を求めて比較できます。勾配チェックは遅いため小さなモデルと少数パラメータで行います。相対誤差を見て、桁が大きく違う箇所を探します。 Dropoutなど乱数を使う処理は固定し、非微分点を避け、倍精度で確認します。数値勾配も刻み幅が大きすぎると近似誤差、小さすぎると丸め誤差が出ます。自動微分を使っても、間違った損失や切れたグラフは自動で直りません。小さな既知例と勾配チェックを残します。
9.逆伝播は、因果説明や最適解保証ではない
勾配は現在のデータ、重み、損失の近くでの変化方向です。ある特徴への勾配が大きくても、その特徴が現実の原因とは限りません。損失を下げる方向を求めても、非凸な損失面で世界的な最適解へ着く保証はありません。 勾配に基づく可視化や説明も、入力変化への感度として読みます。モデルが公正・安全かは別の評価が必要です。逆伝播を脳と同じ学習や、誤りの意味を理解する仕組みと表現しません。効率的な微分計算として位置付けると、できることとできないことを正確に説明できます。
10.DAY 19では、三演算の逆伝播を手で追う
x、w、bからz=wx+b、a=ReLU(z)、L=(a-y)²を作ります。具体的な数値を入れて順伝播し、Lからa、z、w、bへ局所微分を掛けて戻します。zが正の場合と負の場合を比べ、ReLUが勾配を通す条件を確認します。 次にwを勾配と反対へ少し動かし、損失が実際に下がるか再計算します。勾配が0になる場合、大きくなる場合を作り、対策を一つずつ対応させます。逆伝播と重み更新を別の段階として説明できれば、深層学習の学習計算を追えています。
実例で理解する
具体例で考える
需要予測ネットワークで予測120、正解100となり、二乗誤差を計算します。出力層から隠れ層へ、各重みと活性化の局所微分を掛けて勾配を戻します。ある隠れユニットのReLU入力が負なら、その経路の勾配は0です。 学習初期から前半層の勾配がほぼ0なら、活性化の飽和と初期化を確認します。勾配ノルムが急増して損失がNaNになるなら、入力異常、学習率、クリッピングを確認します。小さなネットワークで数値微分と比較し、実装を検査します。 勾配が得られた後、最適化手法が更新量を決めます。逆伝播が需要の因果を説明したとは扱わず、未知期間と業務指標で予測を評価します。 一つの数値例として、入力x=2、重みw=0.5、バイアスb=0、正解y=3を置きます。z=wx+b=1、ReLU後も1、二乗損失は(1-3)²=4です。損失の出力に対する微分は2(1-3)=-4、ReLUの微分は1、zのwに対する微分はx=2なので、wの勾配は-8です。 学習率0.01ならwは0.5-0.01×(-8)=0.58へ更新されます。再び順伝播すると出力1.16、損失は約3.39へ下がります。この一回の計算で、勾配の符号、学習率、更新、再計算の関係を追えます。学習率が1ならwは8.5へ飛び、損失が増えるため、方向が正しくても幅が重要です。 二つの経路で同じwを使う例も作ります。損失L1とL2の両方へwが影響するなら、全損失の勾配はdL1/dw+dL2/dwです。一方の経路だけを実装で切り離すと、その影響が学習へ反映されません。共有層や複数目的学習では、各損失の尺度と重みも勾配の大きさを変えます。 数値微分ではwを0.5001と0.4999へ動かし、二つの損失差を0.0002で割ります。解析勾配-8へ近ければ計算の整合を確認できます。差が大きいときは、符号、平均・合計、活性化、ブロードキャスト、損失の縮約を一つずつ調べます。 長いネットワークでは、各層の勾配ノルムを同じグラフへ置きます。出力側は十分でも入力側だけ極小なら消失、全層が突然巨大なら爆発を疑います。単一の全体平均だけでなく、層別に観測することで対策を選べます。 検査後は、同じ小さなバッチで修正前後の勾配と損失を比べます。一件だけで合う修正にせず、通常例、境界例、極端値を含めます。勾配チェックは正しい微分を確かめますが、学習目的やラベルが正しいことまでは保証しません。数学検査と課題設計の検査を別に残します。自動微分が正常でも、正解ラベルを逆にした損失は正確に間違った方向へ学習します。小さな既知例で予測と損失の向きも確認し、検査入力と期待値を保存します。修正理由と再発防止条件も担当者間で必ず記録します。
手を動かして理解する
- 提供ケース「二つの入力を持つ簡単なニューロン図を紙上で追跡する」または自分が説明できる身近な事例を一つ選び、DAY19「誤差逆伝播法」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「計算グラフと連鎖律から誤差逆伝播を説明し、勾配消失・勾配爆発・数値検査を含む学習の流れを追える。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
誤差逆伝播法が行うことはどれですか。
正解は「損失から計算グラフを逆向きにたどり、各パラメータの勾配を求める」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
損失から計算グラフを逆向きにたどり、各パラメータの勾配を求める: 正解は「損失から計算グラフを逆向きにたどり、各パラメータの勾配を求める」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
未知データの正解を先に作る: 未知データの正解生成ではありません。
モデルの因果関係を自動証明する: 勾配は局所感度で、現実の因果を証明しません。
学習率を必ず1に固定する: 学習率は最適化側で調整する値です。
z=wx、L=z²のとき、wに対するLの微分を求める考え方はどれですか。
正解は「dL/dzとdz/dwを掛ける連鎖律」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
dL/dzとdz/dwを掛ける連鎖律: 正解は「dL/dzとdz/dwを掛ける連鎖律」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
Lとwを文字列として連結する: 微分は文字列操作ではありません。
zを無視してLだけを見る: 途中のzを通る影響を追う必要があります。
テスト件数でLを必ず割る: 件数による平均化と連鎖律は別です。
同じ重みが計算グラフの複数経路で使われる場合、最終的な勾配はどうしますか。
正解は「各経路から戻る勾配を合計する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
各経路から戻る勾配を合計する: 正解は「各経路から戻る勾配を合計する」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
最初の経路以外を必ず捨てる: 共有パラメータへの全影響が必要です。
すべての勾配を0にする: 勾配を0にすると学習できません。
最大の重み値を答えにする: 重みの値と損失の勾配は別です。
前方の層だけ勾配がほぼ0で、損失が高いまま下がらないとき、まず疑うものはどれですか。
正解は「勾配消失」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
勾配消失: 正解は「勾配消失」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
勾配爆発だけ: 勾配爆発では値が極端に大きくなる傾向があります。
テスト正解率の定義: 指標定義だけでは層別勾配0を説明しません。
データの著作権が自動解決したこと: 学習挙動と権利処理は別問題です。
勾配チェックで確認できることと、できないことの組合せはどれですか。
正解は「微分実装の整合は確認できるが、学習目的やラベルの妥当性までは保証しない」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
微分実装の整合は確認できるが、学習目的やラベルの妥当性までは保証しない: 正解は「微分実装の整合は確認できるが、学習目的やラベルの妥当性までは保証しない」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
因果関係と公平性をすべて証明できる: 数値微分との比較は因果や公平性を証明しません。
テストデータが不要になる: 最終的な未知性能評価は別に必要です。
学習率の最適値を必ず一意に決められる: 勾配検査だけで最適な学習率は決まりません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 逆伝播は計算グラフを逆向きにたどり、連鎖律で各パラメータの勾配を求める
- ✓ 共有パラメータでは複数経路の勾配を合計し、自動微分でもグラフと損失を検査する
- ✓ 勾配消失・爆発を層別に監視し、逆伝播を因果説明と混同しない
講義本文 4,029字
PRIMARY SOURCES