第8章|AIに必要な数理・統計
DAY 40 ・ 約30分微分・勾配・情報量
学習の方向と、予測の不確実さを測る。
微分、偏微分、勾配、連鎖律、エントロピー、交差エントロピーを図と小さな計算へ結び付け、モデルが損失を小さくする流れを説明できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
微分
入力をほんの少し変えたとき、出力がどの方向へどれだけ変わるかを表す変化率です。
偏微分
複数の入力がある関数で、他の入力を固定し、一つだけを変えたときの変化率です。
勾配
各変数についての偏微分を並べたベクトルです。関数値が最も増える方向を示します。
連鎖律
関数を重ねたとき、全体の変化率を途中の変化率の積から求める規則です。誤差逆伝播法の基礎です。
エントロピー
確率分布の不確実さや情報量の平均を表す量です。結果が同程度に起こるほど大きくなります。
交差エントロピー
正解分布と予測分布のずれを測る損失です。正解へ低い確率を付けると大きな罰になります。
情報利得
分類木では、分割によってラベルの混ざり方がどれだけ減るかを情報利得で見ます。
仕組みを理解する
1.微分は、今いる場所の傾きを測る
距離を時間で割る平均速度に対し、速度計が示す瞬間の速度は時間を非常に小さく変えたときの距離の変化率です。関数y=f(x)の微分は、xを少し動かしたときyがどちらへどれだけ動くかを表します。 グラフが右上がりなら微分は正、右下がりなら負、平らなら0です。ニューラルネットワークでは、重みを少し変えたとき損失がどう変わるかを知るために使います。
2.導関数は、傾きを返す新しい関数
f(x)=x²なら導関数はf'(x)=2xです。x=3の傾きは6、x=−2では−4です。元の関数が値を返すのに対し、導関数は各地点の傾きを返します。 傾きが大きい場所では同じ一歩でも出力が大きく変わり、0に近い場所ではほとんど変わりません。ただし傾き0が必ず最小とは限らず、最大や平らな停留点の場合もあります。前後の形を確認します。
3.偏微分で、一つの重みの影響を見る
損失Lが重みw1、w2に依存するとき、w2を固定してw1だけ少し変えた影響を∂L/∂w1で表します。w2についても同様に計算します。実際のモデルは数百万以上の重みを持つ場合がありますが、考え方は各変数への変化率です。 一つの偏微分だけでは全体の方向を表せません。すべての重みに対応する偏微分を並べた勾配ベクトルを使います。
4.勾配の反対方向へ進むと、損失が下がる
勾配は関数が最も増える方向を示すため、損失を小さくしたいときは反対方向へ重みを更新します。更新式は「新しい重み=古い重み−学習率×勾配」です。学習率は一歩の大きさです。 大き過ぎると谷を飛び越えて発散し、小さ過ぎると学習が遅くなります。勾配降下法は必ず世界で最良の最小値へ着く保証はなく、初期値、地形、確率的な揺れに影響されます。
5.連鎖律で、層をまたいだ影響をつなぐ
入力xを関数gへ入れ、その出力を関数fへ入れる合成関数f(g(x))を考えます。xの変化がgをどれだけ変え、gの変化がfをどれだけ変えるかを掛けるのが連鎖律です。 ニューラルネットワークでは、出力側の損失から一つ前の層、その前の層へ変化率を伝えます。これが誤差逆伝播法です。予測を出す順伝播と、修正量を戻す逆伝播を分けます。
6.勾配消失・勾配爆発が、深い学習を難しくする
連鎖律で小さな値を何度も掛けると、入力側へ届く勾配がほぼ0になることがあります。これが勾配消失です。逆に大きな値を掛け続けると勾配爆発が起き、更新が不安定になります。 活性化関数、初期化、正規化、スキップ結合、勾配クリッピングなどで対策します。これらは単なる用語ではなく、変化率を適切な大きさで遠くまで伝える工夫です。
7.情報量は、珍しい出来事ほど大きい
必ず起きる結果を知っても新しい情報はほとんどありません。めったに起きない結果を知ると驚きが大きくなります。自己情報量は−log P(x)で表し、確率が小さいほど大きくなります。 対数を使うと、独立な出来事が同時に起きる確率の掛け算を、情報量の足し算へ変えられます。底を2にすれば単位はビットです。式は「珍しさを加算できる尺度へ変える」と理解します。
8.エントロピーは、分布全体の不確実さを測る
二択で片方が必ず起きる分布は、結果を予測できるためエントロピーが低くなります。50%ずつなら最も分からず、エントロピーが高くなります。各結果の情報量を、その確率で平均したものがエントロピーです。 分類木では、分割によってラベルの混ざり方がどれだけ減るかを情報利得で見ます。生成モデルでは、予測分布の不確実さや符号化の考え方へつながります。
9.交差エントロピーは、正解へ付けた確率を評価する
三分類の正解が猫で、モデルが猫0.9、犬0.05、鳥0.05と予測した場合、猫へ高い確率を付けたので損失は小さくなります。猫0.01なら、正解へ非常に低い確率を付けたため損失は大きくなります。 正解か不正解だけでなく、どれだけ自信を持って誤ったかを反映します。ただしデータの誤ラベルに強い自信で合わせる問題もあるため、データ品質と較正を確認します。
10.数理を、学習の一つの流れへまとめる
入力ベクトルと重み行列から予測分布を作り、正解との交差エントロピーを損失として測り、微分と連鎖律で各重みの勾配を求め、学習率を掛けて更新します。第8章の集合、確率、統計、線形代数、微分がここでつながります。 DAY40では、二つの重みを持つ簡単な損失のグラフを描き、勾配の反対へ一歩進めます。次に二分類の予測確率から交差エントロピーの大小を比べます。式の名前より、入力・出力・意味を言葉で説明します。
実例で理解する
具体例で考える
迷惑メールを通常・迷惑の二つへ分類する小さなモデルを考えます。入力xは「特定語の回数」と「リンク数」の二要素、重みwも二要素です。内積w・xへバイアスを足し、シグモイド関数で0から1の迷惑確率へ変えます。 あるメールの正解が迷惑1で、予測確率が0.2なら、正解へ低い確率を付けています。二値交差エントロピーは−log(0.2)となり大きめです。予測が0.9なら−log(0.9)となり小さくなります。正解へ付けた確率を直接評価します。 損失を重みw1で偏微分した値が−0.6なら、w1を増やす方向で損失が下がることを示します。更新式で勾配を引くため、w1−学習率×(−0.6)となり、w1は増えます。符号を含めて方向を読みます。 学習率が0.1なら更新量は0.06です。学習率10なら一度に6も動き、良い範囲を飛び越える可能性があります。損失曲線、検証損失、勾配の大きさを監視し、速さだけで学習率を選びません。 モデルが何層もある場合、出力の損失からシグモイド、内積、前の層へ連鎖律で変化率を掛けて戻します。途中の微分がほぼ0なら前の層が学びにくくなります。ReLU、正規化、スキップ結合など、第4・5章の技術が数理的につながります。 通常メール90%、迷惑10%のデータで、すべて通常と答えるだけでも正解率90%です。しかし迷惑を一件も見つけません。クラス別の再現率、重み付き損失、しきい値を確認します。損失が小さいことと業務目的の達成を分けます。 予測0.5は二択で不確実さが大きく、エントロピーが高い状態です。予測0.99は分布としてのエントロピーが低く、自信が強い状態です。ただし自信が強いだけで正しいとは限りません。0.99で誤る例は大きな損失になり、較正でも問題になります。 人が付けた正解ラベルにも誤りがあります。誤ラベルへモデルが強く合わせると、訓練損失は下がっても未知データで悪化します。重複、境界例、作業者間一致を確認し、検証データの損失が上がり始めたら過学習を疑います。 迷惑判定のしきい値を0.5から0.8へ上げると、自動隔離は減り、見逃しは増えるかもしれません。損失関数が学習を導き、しきい値が運用上の行動を決めます。二つを同じものとして扱いません。 最後に、重要な取引先メールを誤って隔離する費用、迷惑メールを通す危険、人の確認容量を比較します。数学はモデルを自動的に正しくする魔法ではありません。何を損失とし、どのデータで微分し、どの指標で止めるかを人が設計します。 学習曲線では訓練損失と検証損失を分けます。訓練損失だけが下がり、検証損失が上がるなら、勾配計算が成功していても未知データへの性能は悪化しています。早期終了、正則化、データ見直しを検討します。 勾配がNaNや極端な値になった場合、更新を続けません。入力範囲、対数の引数、ゼロ除算、学習率、初期値を確認し、問題が起きた版とバッチを記録します。数値計算の異常を学習の進行と誤認しない監視が必要です。 エントロピーが高い例をすべて人へ回すと、業務量が増え過ぎることがあります。不確実性、結果の重大性、確認費用を組み合わせ、どの範囲を確認するかを定めます。低エントロピーでも自信を持って誤る例があるため、無作為監査も残します。 学習後は、重み、前処理、データ版、乱数条件、評価結果を保存します。同じコードでも入力データや初期値が違えば結果が変わります。再現可能性は、微分式が正しいこととは別の運用品質です。 有限差分を使い、重みをほんの少し増減させた損失差から数値的な傾きを求めれば、実装した勾配と照合できます。すべての大規模重みへ毎回行うのではなく、小さなモデルや一部パラメータで勾配検査を行い、誤差逆伝播の実装ミスを発見します。 損失関数は、学ばせたい優先順位を数式へ埋め込む設計です。多数派の平均だけを最小化すると少数の重要例が弱くなる場合があります。重み付け、再標本化、別指標を検討し、誰のどの誤りを重く扱ったかを説明できるようにします。 学習を止める条件も、損失の改善幅と検証性能から事前に決めます。 第8章を通して、論理が対象条件、確率が不確実さ、統計がデータの特徴、線形代数がまとめた計算、微分が修正方向、情報量が予測の不確実さを表しました。式を見たとき、記号を日本語へ戻し、前提と利用場面を説明できれば到達です。
手を動かして理解する
- 提供ケース「小さな表または図を使い、本文の数式・論理・距離を手計算で確かめる」または自分が説明できる身近な事例を一つ選び、DAY40「微分・勾配・情報量」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「微分、偏微分、勾配、連鎖律、エントロピー、交差エントロピーを図と小さな計算へ結び付け、モデルが損失を小さくする流れを説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
微分が表すものはどれですか。
正解は「入力を少し変えたときの出力の変化率」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力を少し変えたときの出力の変化率: 正解は「入力を少し変えたときの出力の変化率」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
データの件数だけ: 件数を数える操作ではありません。
分類名の一覧: カテゴリ一覧ではありません。
確率の合計: 確率の正規化とは別です。
損失を小さくする勾配降下法の更新方向はどれですか。
正解は「勾配の反対方向」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
勾配の反対方向: 正解は「勾配の反対方向」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
常に勾配と同じ方向: 勾配は最も増える方向です。
毎回無作為な方向だけ: 勾配から改善方向を求めます。
重みを一切変えない: 更新しなければ学習が進みません。
連鎖律がニューラルネットワークで担う役割はどれですか。
正解は「重なった関数の変化率を掛け、出力の誤差を前の層へ伝える」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
重なった関数の変化率を掛け、出力の誤差を前の層へ伝える: 正解は「重なった関数の変化率を掛け、出力の誤差を前の層へ伝える」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力データを無条件で削除する: データ削除の規則ではありません。
モデル名を決める: 名称決定とは無関係です。
学習率を常に1へ固定する: 学習率の固定を意味しません。
二択の確率分布でエントロピーが最も高くなる状態はどれですか。
正解は「二つが0.5ずつ」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
二つが0.5ずつ: 正解は「二つが0.5ずつ」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
一方が1で他方が0: 結果を確実に予測でき不確実さが低い状態です。
一方が0.99で他方が0.01: 0.5ずつより不確実さが小さい状態です。
結果が一つしかない: 選択の不確実さがありません。
正解クラスへ非常に低い確率を付けたとき、交差エントロピー損失はどうなりますか。
正解は「大きくなる」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
大きくなる: 正解は「大きくなる」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
必ず0になる: 正解へ高い確率を付けたとき小さくなります。
正解クラスと無関係になる: 正解分布と予測分布のずれを測ります。
常に同じ値になる: 予測確率に応じて変化します。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 微分は局所的な変化率、勾配は全変数について損失が増える方向を表す
- ✓ 連鎖律によって出力の誤差を各層へ戻し、重みを勾配の反対方向へ更新する
- ✓ 情報量・エントロピー・交差エントロピーは、予測の不確実さと正解への確率を測る
講義本文 4,047字
PRIMARY SOURCES