第5章|ディープラーニングの要素技術
DAY 22 ・ 約30分正規化・データ拡張・スキップ結合
深いモデルを安定して学習させる工夫を理解する。
入力正規化、Batch Normalization、Layer Normalization、データ拡張、残差接続を、学習時と利用時の違いを含めて使い分けられる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
正規化/標準化
値の尺度や分布をそろえ、学習を安定させる前処理です。どの軸で何をそろえるかを明示する必要があります。
Batch Normalization
ミニバッチで層の値を標準化し、学習する倍率とずれを加える層です。学習時と利用時で統計の使い方が異なります。
Layer Normalization
一つの例の特徴方向で値を正規化する方法です。バッチサイズへ依存しにくく、系列モデルやTransformerで使われます。
データ拡張
意味や正解を保つ変換で訓練例を増やし、現実の変化へ強くする方法です。画像の反転、切り出し、明るさ変更などがあります。
スキップ結合
複数層を飛び越えて、前の値を後ろへ直接渡す接続です。情報と勾配が通る短い経路を作ります。
残差学習
層に完成した変換を直接学ばせず、入力からの差分を学ばせる考え方です。入力xと差分F(x)を足して出力を作ります。
勾配伝播
逆伝播でも加算経路を通じて勾配が直接戻りやすくなります。
仕組みを理解する
1.入力の尺度をそろえる処理と、層内の正規化を分ける
画像の画素を0〜255から0〜1へ変える、表データを平均0・標準偏差1へする処理は入力前処理です。特徴ごとに尺度をそろえると、特定の大きな数値だけが勾配を支配しにくくなります。訓練データで求めた平均と分散を、検証・テスト・本番へ同じように適用します。 Batch Normalizationなどはネットワーク内部の層です。入力前処理をしたから不要、内部正規化があるから本番前処理は不要とは限りません。「正規化」という一語でまとめず、対象が入力か中間値か、例方向か特徴方向か、統計をいつ求めるかを確認します。
2.Batch Normalizationは、ミニバッチの値をそろえる
訓練時のBatch Normalizationは、チャンネルごとにミニバッチの平均と分散を求め、値を標準化します。その後、学習可能な倍率γとずれβで必要な分布へ戻せるようにします。単に値を0へ押し込むのではなく、学習しやすい尺度を保ちながら表現力を残します。 元論文では層入力の分布変化を抑え、より高い学習率と容易な初期化を可能にする方法として提案されました。その後の研究では効果の説明に議論があります。名称や最初の説明を絶対的な原因とせず、実際には最適化を安定させる代表的部品として扱います。
3.利用時は、保存した移動統計を使う
一件だけを予測すると、その一件から安定したバッチ平均と分散を作れません。そのため利用時は、訓練中に蓄積した移動平均・移動分散を使います。γ、β、移動統計をモデル重みと一緒に保存します。学習モードのまま推論すると、同時に入った別の例で予測が変わる場合があります。 訓練時と利用時のモード切替は実装上の重要条件です。モデル本体だけを交換し、統計を古いまま残せば分布がずれます。前処理、正規化統計、重み、実行モードを同じ版として管理し、単件と複数件で予測が不自然に変わらないか確認します。
4.小さなバッチでは、別の正規化も候補になる
Batch Normalizationの統計はバッチ内の例へ依存します。画像が大きく、GPUへ数例しか載らない場合、平均と分散がばらつきます。複数GPUで統計を同期する、統計だけを固定する、Group Normalizationなど別の軸で正規化する方法があります。 Layer Normalizationは一例の特徴方向で平均と分散を求めるため、バッチサイズや他の例へ依存しません。系列長が変わるTransformerなどで広く使われます。どの方式が必ず上位ではなく、入力形状、バッチ、学習・推論条件から選びます。
5.データ拡張は、現実に起こる変化を学習へ入れる
画像の左右反転、回転、切り出し、拡大縮小、明るさ、色、雑音などを変え、正解ラベルを保った訓練例を作ります。元画像をコピーするだけではなく、利用時に起こる変化へ同じ判断を保つよう促します。モデル構造だけへ不変性を任せず、データで必要条件を示します。 変換は課題ごとに選びます。道路標識を上下反転する、文字を左右反転する、病変色を大きく変えると意味が壊れます。「拡張を増やせば精度が上がる」とは限りません。変換前後を人が確認し、現実の範囲とラベル保持を記録します。
6.検証とテストへ、同じ元データを漏らさない
一枚の画像から十枚の拡張画像を作り、ランダムに分割すると、元画像とほぼ同じ画像が訓練と検証へ分かれます。モデルは対象を覚え、未知性能より高い評価になります。先に人物、商品、患者、撮影単位などで分割し、訓練側だけを拡張します。 テスト時拡張は、同じ入力の複数変換を予測して平均する別手法です。使用するなら本番計算量と一緒に評価します。訓練用拡張、評価用の頑健性試験、テスト時拡張を同じ言葉で混ぜず、目的とデータ境界を分けます。
7.深くするだけで、訓練誤差まで悪くなることがある
表現力が高い深いネットワークなら、浅いネットワーク以上に訓練データへ合いそうです。しかし通常の層をただ積み重ねると、勾配が伝わりにくく、より深いモデルの訓練誤差が高くなる劣化問題が観察されました。これは未知データだけが悪化する過学習とは違います。 層数を増やせば自動的に賢くなるわけではありません。最適化できる経路、正規化、初期化、計算予算が必要です。訓練損失と検証損失を分け、訓練自体が進まないのか、訓練だけ進んで過学習したのかを判断します。
8.スキップ結合は、入力を近道で後段へ渡す
残差ブロックは、複数層の変換F(x)へ入力xを足し、y=F(x)+xを作ります。必要な変換が恒等写像に近いなら、F(x)を0へ近づければ入力をそのまま通せます。すべてを新しく作り直すより、入力から変える分を学びやすくします。 逆伝播でも加算経路を通じて勾配が直接戻りやすくなります。入力とF(x)の形状が同じならそのまま足せます。チャンネル数や縦横が違う場合は1×1畳み込みなどで形を合わせます。足せるからと無条件に接続せず、どの情報を保持し、どこで形を変えたかを追います。
9.正規化・拡張・残差接続は、解く問題が違う
正規化は値と勾配の尺度を安定させ、データ拡張は訓練例の変化を増やし、残差接続は深い計算の情報・勾配経路を短くします。三つを全部入れることが目的ではありません。症状に対応させて一つずつ比較します。 変更前後でデータ分割、初期値、更新回数、評価指標をそろえます。訓練が発散するなら尺度と学習率、訓練だけ良いなら正則化と拡張、深くすると訓練も悪いなら残差経路を候補にします。同時変更では改善理由が分かりません。
10.DAY 22では、学習曲線から対策を選ぶ
三つのグラフを作ります。最初から訓練損失が激しく振動する場合、入力尺度、正規化、学習率を確認します。訓練損失だけ下がり検証が悪化する場合、拡張と正則化を検討します。層を増やしたモデルで訓練損失も高い場合、残差接続と勾配を確認します。 次にBatch Normalizationの学習・利用モードを表にし、使用する平均・分散を書きます。拡張例がラベルを保つかを三件ずつ判定します。手法名ではなく、症状、働く場所、失敗条件、確認指標を説明できれば学習の安定化を判断できます。
実例で理解する
具体例で考える
紙の申込書を読み取る画像モデルを考えます。撮影端末により明るさ、傾き、余白が変わります。入力画素を訓練データの条件で標準化し、畳み込みブロックへBatch Normalizationを入れて学習を安定させます。 訓練時はミニバッチの統計を使い、利用時は保存した移動平均と分散を使います。開発環境で64枚、本番検証で1枚ずつ処理しても同じモードにします。推論を学習モードのままにした場合の差を自動テストへ入れます。 拡張では、現場で起こる範囲の傾き、明るさ、軽いぼけ、余白変化を加えます。左右反転すると文字が反転するため使いません。金額欄を切り落とす強い切り出しもラベルを壊すため除外します。 同じ申込書を撮り直した画像が訓練とテストへ分かれないよう、書類ID単位で先に分割します。拡張画像は訓練側の原本からだけ作ります。背景机が同じで答えを推測していないか、別会場の撮影で確認します。 モデルを深くしたところ、浅い版より訓練損失まで悪化したとします。各ブロックへ残差接続を加え、同じ初期値群と更新回数で比較します。訓練が進みやすくなっても、本番文字認識が改善するかは別に評価します。 小さな文字のためバッチを4枚しか使えず、Batch Normalizationの統計が不安定なら、勾配蓄積だけで解決したと決めません。Group NormalizationやLayer Normalization、統計固定を比較し、単件推論の安定性も見ます。 記録には入力前処理の平均・分散、拡張の種類と範囲、正規化方式、移動統計、残差ブロック形状を残します。最終精度だけでは再現できません。正規化、拡張、残差接続のどれがどの症状を改善したかを一変更ずつ確認します。 比較表には、浅い基準モデル、Batch Normalization追加版、拡張追加版、残差追加版を並べます。各版を複数乱数で学習し、訓練損失、検証文字誤り率、単件推論のばらつき、処理時間を記録します。全部入りだけを基準と比べると、どの部品が必要か分かりません。 さらに、本番画像100件を一件ずつ処理する試験と、64件まとめる試験を行います。Batch Normalizationを利用モードへ固定していれば、同じ画像の予測はバッチ構成で変わらないはずです。差が出た場合はモード、前処理、非決定的演算を確認します。 データ拡張の監査用に、変換前後画像とラベルを一覧化します。人が読めないほどぼけた文字、切れた金額欄、反転文字を自動で除く基準を設けます。拡張処理の版が変わったときも、同じ監査例へ再適用します。
手を動かして理解する
- 提供ケース「架空の画像分類業務を、入力・層・出力・失敗条件へ分ける」または自分が説明できる身近な事例を一つ選び、DAY22「正規化・データ拡張・スキップ結合」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「入力正規化、Batch Normalization、Layer Normalization、データ拡張、残差接続を、学習時と利用時の違いを含めて使い分けられる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
入力特徴を標準化するとき、平均と標準偏差を求める適切なデータはどれですか。
正解は「訓練データだけ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
訓練データだけ: 正解は「訓練データだけ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
訓練・検証・テストを合わせた全データ: 検証・テスト情報が前処理を通じて漏れます。
テストデータだけ: テストへ合わせた前処理になります。
本番で正解した例だけ: 正解後の選別は利用時に再現できず偏りを作ります。
Batch Normalizationを利用時に扱う方法として適切なものはどれですか。
正解は「訓練中に保存した移動平均・移動分散を使う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
訓練中に保存した移動平均・移動分散を使う: 正解は「訓練中に保存した移動平均・移動分散を使う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
利用者一人の値だけで毎回安定したバッチ統計を作る: 単件統計は安定せず、同時入力で予測が変わります。
γとβを利用時に毎回乱数へ戻す: γとβは学習済みパラメータとして保存します。
正規化層だけをモデルから必ず削除する: 学習した正規化を無条件に削除すると分布が変わります。
画像のデータ拡張とデータ分割の適切な順序はどれですか。
正解は「原本を対象単位で分割し、訓練側だけを拡張する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
原本を対象単位で分割し、訓練側だけを拡張する: 正解は「原本を対象単位で分割し、訓練側だけを拡張する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
全原本を拡張してから画像単位で無作為分割する: 同じ原本の類似画像が訓練と評価へ漏れます。
テスト画像だけを大量に拡張して訓練する: テストデータは学習へ使いません。
ラベルを壊す変換も数が増えれば採用する: 拡張はラベルの意味を保つ必要があります。
残差ブロックの代表的な出力はどれですか。
正解は「F(x)+x」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
F(x)+x: 正解は「F(x)+x」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
F(x)だけを必ず0にする: F(x)は学習する差分で、常に0へ固定しません。
xを削除して乱数だけを出す: 入力を近道で残すことが残差接続の要点です。
テスト損失と訓練損失を足す: 二つの損失を足す式ではありません。
深いモデルで訓練損失まで浅いモデルより悪化したとき、候補となる確認はどれですか。
正解は「勾配の伝わり方と残差接続を確認する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
勾配の伝わり方と残差接続を確認する: 正解は「勾配の伝わり方と残差接続を確認する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
過学習だけと断定し正則化を最大にする: 訓練損失も悪い場合は最適化上の劣化を分けて考えます。
テストデータを訓練へ追加する: 評価情報の漏えいになります。
入力と出力の形状を確認しない: 残差加算には形状の確認が必要です。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 入力前処理と層内正規化を分け、統計を求める軸と時点を明示する
- ✓ データ拡張は現実の変化とラベル保持を条件に、分割後の訓練側だけへ行う
- ✓ 残差接続は入力との差分を学び、深いモデルへ情報と勾配の近道を作る
講義本文 4,087字
PRIMARY SOURCES