第4章|ディープラーニングの概要
DAY 17 ・ 約30分活性化関数
非線形性が、複雑な関係を学べる理由を理解する。
ステップ・シグモイド・tanh・ReLU・Leaky ReLU・softmaxの出力範囲と勾配の違いを説明し、隠れ層と出力層で使い分けられる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
活性化関数
ニューロンの重み付き和を別の値へ変換する関数です。非線形性を加え、出力範囲と勾配の伝わり方を決めます。
シグモイド関数
入力を0〜1へ滑らかに変換します。二値分類の出力に使われますが、絶対値が大きい領域では勾配が小さくなります。
tanh
入力を-1〜1へ変換する関数です。中心が0ですが、両端で飽和し勾配が小さくなる性質があります。
ReLU
入力が正ならそのまま、0以下なら0を返します。計算が簡単で隠れ層に広く使われます。
Leaky ReLU
負の入力にも小さな傾きを残すReLUの変形です。常に0を返すユニットが戻りにくい問題を軽減します。
softmax
複数のロジットを、合計1となる確率分布へ変換します。互いに排他的な多クラス分類の出力へ使います。
非線形
隠れ層はReLUを使い、画像特徴を非線形に組み合わせます。
仕組みを理解する
1.活性化を入れなければ、深くしても一つの線形変換になる
線形変換の後にまた線形変換を重ねても、行列を掛け合わせれば一回の線形変換へまとめられます。層を十段にしても、直線や平面で分けられる関係しか表せません。活性化関数が途中へ非線形な曲がりを加えることで、複雑な境界を段階的に作れます。 非線形なら何でもよいわけではありません。学習には微分可能、またはほとんどの点で勾配を扱えること、計算が安定することが必要です。隠れ層では表現を作りやすい関数、出力層では予測形式へ合う関数を選びます。活性化関数は飾りではなく、表現力と学習可能性を両方左右します。
2.ステップ関数は判断を表せても、勾配学習に向かない
パーセプトロンでは、重み付き和がしきい値以上なら1、未満なら0を返すステップ関数を使います。決定が明快ですが、しきい値以外で微分が0になり、しきい値では微分できません。誤差を少し減らすために重みをどちらへ動かすかという勾配を得にくくなります。 現在の多層ネットワークでは、学習時に滑らかな関数やReLU系を使い、最終利用時に確率へしきい値を適用します。学習の内部計算と意思決定を分けます。二値分類で0.5を超えたら陽性とする操作はステップ的ですが、そのしきい値は業務上の誤り費用から選びます。
3.シグモイドは、二値分類の出力を確率へ変える
シグモイドは入力zを1/(1+e^-z)で0〜1へ変えます。z=0なら0.5、正に大きいほど1、負に大きいほど0へ近づきます。二値分類のロジットを陽性確率として扱う出力層に適しています。複数ラベルが独立に成立する場合は、各ラベルへ別々のシグモイドを使います。 隠れ層で多数重ねると、絶対値の大きい領域で出力が0か1へ飽和し、微分がほぼ0になります。逆伝播する勾配が層ごとに小さくなり、前方の層が学びにくくなります。また出力が常に正で中心が0でないことも更新を非効率にします。用途を限定して使います。
4.tanhは0中心でも、飽和は残る
tanhは入力を-1〜1へ写し、0の入力へ0を返します。正負を持つため、シグモイドより隠れ表現の中心を0へ置きやすい性質があります。古典的な再帰型ネットワークなどで使われます。 ただし入力の絶対値が大きいと-1か1へ飽和し、勾配が小さくなります。深いネットワークでは勾配消失を起こします。出力範囲を制限したいからという理由だけで隠れ層すべてへ使わず、入力分布と深さを確認します。関数のグラフと微分のグラフを並べ、どこで値が変わらなくなるかを見ると理解できます。
5.ReLUは、正領域で勾配を保ち計算も軽い
ReLUはmax(0,z)です。正の入力では傾き1で、そのまま値と勾配を通します。負では0になります。指数計算が不要で、出力の一部が0になる疎な表現を作り、深いネットワークの学習を実用的にしました。 0で微分不能ですが、実装では片側の値を定めて学習できます。出力に上限がないため大きな値が続くと不安定になることがあります。重み初期化、正規化、学習率と組み合わせます。ReLUが一般的でも、すべての課題で最適とは限りません。隠れ層の標準候補として始め、学習曲線とユニット出力を確認します。
6.Dying ReLUは、負領域から戻れない状態である
ReLUユニットへすべての入力で負の重み付き和が入ると、出力も勾配も0になります。更新の手掛かりを失い、そのユニットが働かなくなる状態をDying ReLUと呼びます。大きすぎる学習率や偏った初期化で起こりやすくなります。 Leaky ReLUは負領域へ0.01など小さな傾きを残し、勾配を通します。PReLUは傾き自体を学習します。ELUやGELUなど滑らかな変形もあります。名称を全部覚えるより、負領域の出力、正領域の形、計算量、勾配を比較します。ユニットの0出力率を監視し、問題が実際にあるかを確認して選びます。
7.softmaxは、多クラスの相対得点を確率へする
softmaxは各ロジットの指数を取り、全クラスの合計で割ります。出力は0〜1で合計1です。一つの画像が犬・猫・鳥のどれか一つという相互排他的な分類へ使います。一つのロジットが上がると、他クラスの確率は相対的に下がります。 数値安定のため最大ロジットを引いてから指数を計算します。softmax確率が0.9でも、現実に90%正しいとは限りません。訓練分布外の入力へ自信過剰になる場合があり、校正と対象外検知が必要です。複数ラベルが同時に成立する課題へsoftmaxを使うと、一つを選ばせるため不適切です。
8.出力層では、課題・活性化・損失を組にする
回帰で値の範囲を制限しないなら線形出力とMSE、二値分類ならシグモイドと二値交差エントロピー、多クラス分類ならsoftmaxと多クラス交差エントロピーが代表的です。実装によっては数値安定のため活性化前ロジットを損失関数へ直接渡します。 価格予測へsoftmax、相互排他的分類へ独立シグモイドを使うなど、答えの意味と合わない組合せを避けます。確率を出すことと、最終決定を行うことも別です。しきい値、拒否条件、人の確認を後段で設計します。出力関数は、数値の範囲だけでなく予測の意味を決めます。
9.勾配の流れを見て、関数を選ぶ
活性化関数の選択では、順伝播の出力分布と逆伝播の勾配分布を見ます。多くの値が飽和領域にある、ReLUの大部分が常に0、層が進むほど値や勾配が極端になる場合は学習が進みません。ヒストグラムや学習曲線で確認します。 入力標準化、適切な初期化、Batch Normalization、残差接続も勾配を助けます。活性化関数だけを交換して原因を断定しません。モデルの深さ、学習率、データ、損失と一緒に比較します。採用理由を「最近よく使われる」ではなく、隠れ層か出力層か、必要範囲、勾配、計算から説明します。
10.DAY 17では、関数と微分を表で比較する
入力-3、-1、0、1、3を、ステップ、シグモイド、tanh、ReLU、Leaky ReLUへ入れた出力を表にします。各領域で勾配が大きいか小さいかを書き、深い層で何が起こるか説明します。グラフを手描きすると飽和と0領域が見えます。 次に、二値分類、多クラス分類、複数ラベル分類、価格回帰の出力層を選びます。活性化と損失の組、しきい値の決定者を書きます。隠れ層のReLUと出力層のsoftmaxを同じ目的の関数として覚えず、表現を作る役割と答えを整える役割を分けられれば到達です。
実例で理解する
具体例で考える
写真から三種類の資材を分類するネットワークを考えます。隠れ層はReLUを使い、画像特徴を非線形に組み合わせます。出力層は三つのロジットをsoftmaxへ通し、合計1の確率にします。複数資材が同時に写る課題ならsoftmaxではなく、各種類の独立シグモイドを検討します。 学習中に前半層の勾配がほぼ0なら、シグモイドの飽和やDying ReLUを確認します。ReLUをLeaky ReLUへ替えるだけでなく、入力尺度、初期化、学習率も比べます。確率最大の種類を自動確定せず、最大確率が低い、上位二つが近い、対象外画像では人へ戻します。 活性化関数は精度だけで選ばず、出力の意味と誤り時の処理へつなげます。 比較実験では、層数、初期化、学習率、データ分割を固定し、隠れ層だけをシグモイド、tanh、ReLU、Leaky ReLUへ変えます。訓練損失、検証損失、層別勾配、0出力率、処理時間を並べます。最終精度だけでは、学習が遅いのか飽和したのかを区別できません。 シグモイドで前半層の勾配が小さい場合は、入力が飽和領域へ入っていないか確認します。ReLUで多くのユニットが常に0なら、学習率と初期化を見直し、Leaky ReLUを候補にします。関数変更の前後で複数シードを使い、偶然の差を改善としません。 出力のsoftmaxが0.98でも、写真が三種類のどれにも属さない場合は必ずどれかへ高い相対確率を置くことがあります。既知クラス内の相対比較と、対象外かどうかの判定を分けます。最大確率だけでなく、入力品質、埋め込み距離、別の対象外検知を組み合わせます。 確率を在庫発注などの数量判断へ使うなら、予測確率帯ごとの実際の正解率を確認します。0.8と出た百件の約八十件が正しいかを見る校正です。活性化関数が確率範囲を作っても、確率の信頼性まで自動で保証しません。 隠れ層の関数を変更したときは、出力層と損失の組を不用意に変えません。複数箇所を同時に変えると改善理由が分からなくなります。比較表には関数名だけでなく、負領域、正領域、出力範囲、微分、計算費用を書きます。初めて見る活性化関数でも、この五項目で既存関数と比較できます。出力分布と勾配分布を保存し、関数変更がどの層へ効いたかを確認します。採用理由と比較条件も記録し、後から同じ条件で再検証できるようにします。
手を動かして理解する
- 提供ケース「二つの入力を持つ簡単なニューロン図を紙上で追跡する」または自分が説明できる身近な事例を一つ選び、DAY17「活性化関数」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「ステップ・シグモイド・tanh・ReLU・Leaky ReLU・softmaxの出力範囲と勾配の違いを説明し、隠れ層と出力層で使い分けられる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
隠れ層へ非線形な活性化関数を入れる主な理由はどれですか。
正解は「線形変換だけでは表せない複雑な関係を学べるようにする」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
線形変換だけでは表せない複雑な関係を学べるようにする: 正解は「線形変換だけでは表せない複雑な関係を学べるようにする」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
正解ラベルを不要にする: 教師あり学習では引き続きラベルが必要です。
すべての出力を必ず確率にする: 隠れ層の出力が確率である必要はありません。
データの権利問題を自動解決する: 活性化関数は法的権利を処理する仕組みではありません。
深い隠れ層でシグモイド関数を重ねると起こりやすい問題はどれですか。
正解は「飽和領域で勾配が小さくなり、前方の層が学びにくくなる」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
飽和領域で勾配が小さくなり、前方の層が学びにくくなる: 正解は「飽和領域で勾配が小さくなり、前方の層が学びにくくなる」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
正の入力がすべて無限大になる: シグモイドの出力は0〜1へ近づきます。
出力の合計が必ず1になる: 合計1へ変換するのは多クラスのsoftmaxです。
パラメータ数が自動的に半分になる: 関数を変えても接続数は自動で半減しません。
ReLUの出力として正しいものはどれですか。
正解は「入力が正ならそのまま、0以下なら0」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
入力が正ならそのまま、0以下なら0: 正解は「入力が正ならそのまま、0以下なら0」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
どの入力にも0.5: 0.5はシグモイドへ0を入れたときの値です。
入力を必ず-1〜1へ変換: -1〜1はtanhの出力範囲です。
複数出力の合計を1にする: 合計1はsoftmaxの性質です。
Dying ReLUを軽減する候補として適切なものはどれですか。
正解は「負の領域にも小さな傾きを残すLeaky ReLUを試す」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
負の領域にも小さな傾きを残すLeaky ReLUを試す: 正解は「負の領域にも小さな傾きを残すLeaky ReLUを試す」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
全重みを大きな負値へ固定する: 負領域へ固定すると0出力から戻りにくくなります。
学習中の勾配をすべて0にする: 勾配を0にするとパラメータを学習できません。
出力ラベルを削除する: ラベル削除は活性化の問題を解決しません。
互いに排他的な3種類を分類するとき、出力層で使う代表的な組合せはどれですか。
正解は「3個のロジットとsoftmax」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
3個のロジットとsoftmax: 正解は「3個のロジットとsoftmax」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
1個の値とReLUだけ: 1値のReLUでは三つの排他的確率を表せません。
3個の値とステップ関数だけで学習: ステップ関数は勾配学習に向かず、確率分布にもなりません。
隠れ層をすべて削除し正解文字を出す: 出力形式は正解文字を直接埋め込むことではありません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 非線形な活性化が、多層ネットワークへ複雑な表現力を与える
- ✓ シグモイド・tanhの飽和、ReLUの0領域など勾配の性質を理解する
- ✓ 隠れ層の表現用関数と、課題に合う出力層の関数を分けて選ぶ
講義本文 4,047字
PRIMARY SOURCES