第4章|ディープラーニングの概要
DAY 16 ・ 約30分ニューラルネットワークの計算
入力・重み・バイアス・出力を小さな例で追う。
一つのニューロンから多層ネットワークまでの順伝播を、入力・重み・バイアス・活性化・層の役割へ分けて説明できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
人工ニューロン
複数の入力を重み付きで足し、バイアスを加え、活性化関数を通して出力する小さな計算単位です。生物の神経細胞そのものではありません。
重み
各入力が出力へ与える影響の方向と大きさを表す学習対象です。正なら出力を増やし、負なら減らす方向へ働きます。
バイアス
入力がすべてゼロでも出力位置を調整できる学習対象です。判断境界を原点に固定せず移動させます。
層
同じ段階で複数の計算を行う単位です。入力層、途中の隠れ層、最終予測を作る出力層に分けます。
順伝播
入力を最初の層から出力層へ順番に計算し、予測値を得る処理です。学習時も利用時も予測を作る基本計算です。
パラメータ
学習によって調整する重みとバイアスです。層の数やユニット数など、人が設定するハイパーパラメータとは分けます。
活性化関数
どの活性化関数を使うかで、出力範囲と勾配の伝わり方が変わります。
仕組みを理解する
1.一つのニューロンは、重み付き和から始まる
入力が二つx1、x2あるとき、ニューロンはx1×w1+x2×w2+bを計算します。wは重み、bはバイアスです。利用回数を正、苦情回数を負の重みにすれば、継続可能性の手掛かりを一つの値へまとめられます。学習では人が重みを固定せず、データに合う値へ調整します。 重みが大きいから、その特徴が現実の原因だとは限りません。特徴の尺度、相関、後続層との組合せで意味が変わります。一つのニューロンは線形モデルに似ています。活性化関数を通して次の層へ渡すことで、複数の線形変換を非線形に組み合わせます。最初に足し算と掛け算を追えることが、多層計算を理解する土台です。
2.バイアスは、判断境界の位置を動かす
入力xに重みwを掛けるだけでは、xがゼロのとき計算結果もゼロです。バイアスbを加えると、入力全体へ一定のずれを与えられます。二次元分類では、重みが境界の傾き、バイアスが境界の位置を調整します。バイアスがなければ境界は原点を通る形へ制限されます。 名称から社会的な偏見を表すbiasと混同しやすいですが、ここでは数式上の切片です。ただしモデル全体がデータの社会的偏りを学ぶ問題は別に存在します。数学用語のバイアスがあるから不公平、ゼロなら公平という関係ではありません。計算の部品と、データ・利用結果の公平性を分けて確認します。
3.活性化関数が、単純な直線の重なりを変える
重み付き和をそのまま次の層へ渡す線形層だけを何層重ねても、全体は一つの線形変換へまとめられます。複雑な曲線境界を作れません。そこで各ユニットの値をReLUやシグモイドなどの活性化関数へ通し、非線形性を加えます。 隠れ層のユニットは、人が「耳」「車輪」と意味を割り当てるわけではありません。最終損失を小さくするために役立つ中間表現を分散して持ちます。一つのユニットだけを人の概念と同一視すると誤ります。どの活性化関数を使うかで、出力範囲と勾配の伝わり方が変わります。詳しい違いはDAY 17で扱います。
4.層を重ねると、表現を段階的に組み替えられる
最初の層は元入力から単純な組合せを作り、次の層はその組合せをさらに組み合わせます。画像では局所的な線や色から模様、部品、対象へ進むと説明されますが、すべてのモデルで人間の概念どおりの階層になるとは限りません。重要なのは、複数段の変換で複雑な関数を表せることです。 層が深いほど必ずよいわけではありません。計算量、学習の難しさ、必要データ、過学習が増えます。課題に必要な表現力と運用条件を比べます。浅いモデルで目的を満たすなら、その方が速く説明しやすい場合があります。「ディープ」は価値判断ではなく、変換層が多い構造を表します。
5.行列を使うと、層全体をまとめて計算できる
一つの層には多数のユニットがあります。入力をベクトルx、重みを行列W、バイアスをベクトルbとすると、層の計算をWx+bとまとめられます。行列の各行が一ユニットの重みに対応します。GPUはこのような多数の積和演算を並列に行うことが得意です。 形状を追うと実装ミスを見つけられます。入力特徴が3、出力ユニットが4なら、重みは4×3、バイアスは4、出力は4要素です。バッチとして10例をまとめる場合も、どの軸が例でどの軸が特徴かを確認します。式を暗記するより、入力と出力の個数から行列形状を説明できることが重要です。
6.出力層は、予測したい答えに合わせて作る
回帰で一つの数値を出すなら出力ユニットを一つにし、範囲制限を置かない場合があります。二値分類は一ユニットの値をシグモイドで確率へ、多クラス分類は種類数のロジットをsoftmaxで確率分布へ変換します。複数ラベルなら各ラベルを独立したシグモイドへ通すことがあります。 ロジットは確率へ変換する前の生の得点です。大きいほど候補として強いものの、値そのものは確率ではありません。出力形式と損失関数は組で選びます。多クラスなのに一つの連続値だけを出すなど、課題定義と合わない構造では学習できても意味が崩れます。モデル設計は答えの形式から逆算します。
7.順伝播を、小さな数値で実際に追う
入力x1=2、x2=3、重みw1=0.5、w2=-0.2、バイアスb=0.1なら、重み付き和は2×0.5+3×(-0.2)+0.1=0.5です。ReLUなら正の値をそのまま返すため出力も0.5です。この出力が次の層の入力になります。 数値例を追うと、負の重みが入力の影響を減らすこと、バイアスが全体を動かすこと、活性化が値を変えることが見えます。実際のモデルは何百万以上の計算を行いますが、一個の仕組みは同じです。表計算で二層だけ計算し、どの値が学習で変わり、どの値が入力かを色分けすると理解できます。
8.パラメータ数は、層の接続数から数える
入力3、出力4の全結合層には重み12個とバイアス4個、合計16個のパラメータがあります。次に4から2へつなぐなら重み8とバイアス2で10個です。合計26個を学習します。層を広く深くすると、パラメータと計算量が増えます。 パラメータ数が能力の唯一の指標ではありません。構造、学習データ、目的、最適化で性能は変わります。同じ値を複数位置で共有する畳み込みでは、全結合より少ないパラメータで画像の局所特徴を扱います。数を比べるときは、入力形式、精度、計算、メモリ、推論時間もそろえます。
9.学習時と利用時で、同じ順伝播を違う目的に使う
学習時は順伝播で予測を作り、正解との差から損失を計算し、逆伝播で勾配を求め、重みを更新します。利用時は学習済み重みを固定し、順伝播だけで予測します。利用者の入力を処理しただけで重みが自動更新されるとは限りません。 DropoutやBatch Normalizationのように学習時と利用時の挙動が異なる部品もあります。モード設定を誤ると予測が不安定になります。モデル版、前処理、学習・推論モードを一体で管理します。「AIが今の会話から学んだ」という表現を、文脈を一時的に参照したことと、パラメータ更新に分けます。
10.DAY 16では、二層ネットワークを紙で計算する
入力を二つ、隠れユニットを二つ、出力を一つにしたネットワークを描きます。各矢印へ重み、各ユニットへバイアスを書き、入力から順に重み付き和とReLUを計算します。最後の出力をシグモイドへ通す前のロジットまで求めます。 次に重みを一つだけ変え、どの中間値と出力が変わるかを追います。パラメータ数も数えます。層を増やす理由、活性化を外すと何が起こるか、出力形式が課題へ合うかを説明します。数式を眺めるだけでなく、値の流れを自分で再現できれば順伝播を理解しています。
実例で理解する
具体例で考える
中古車価格を予測する小さなネットワークを考えます。入力は、走行距離と年式を標準化した2つの値です。隠れ層には三ユニットを置き、各ユニットが異なる重み付き和とReLUを計算します。出力層は三つの隠れ値を一つの価格へ変換します。 走行距離だけを負の重みに固定するのではなく、年式との組合せをデータから学びます。ただし出力が高精度でも、事故歴を入力へ入れていなければ対象外の車で誤ります。入力可能な情報と学習範囲を明示します。 学習時は正解価格との損失から重みを更新し、利用時は固定した重みで順伝播します。価格候補は査定担当へ示し、極端な入力、欠損、訓練範囲外では人へ戻します。ネットワークの計算と、利用判断の責任を分けます。 二入力から三つの隠れユニットへつなぐ第一層は重み6個、バイアス3個です。三つの隠れ値から一出力へつなぐ第二層は重み3個、バイアス1個で、合計13パラメータです。入力を一つ追加すると第一層の重みが三つ増えます。何となく「モデルが大きくなる」と言わず、接続数から計算できます。 一台分の数値を紙で順伝播し、各隠れユニットの重み付き和、ReLU後の値、最終価格を表へします。走行距離を少し増やし、どの中間値が変わるかも比較します。ReLU入力が負のユニットは出力0となり、その例では後段へ影響しません。ただし別の車では正になる可能性があります。 大量の車をまとめて処理するときは、行が車、列が特徴となる入力行列へ重み行列を掛けます。同じ重みを全例へ使うため、訓練時と利用時で特徴の順序と標準化を一致させます。年式と走行距離を逆に渡せば計算は動いても意味は壊れます。 最後に、予測値へ影響した入力を調べても、それを査定価格の原因と断定しません。訓練データで一緒に変化した関係を使った可能性があります。計算を追えること、未知データで正確なこと、説明が因果的に正しいことは別の確認です。担当者が入力値を訂正した場合は順伝播をやり直し、旧予測を使い回しません。前処理、入力、各層、出力の版を一つの記録へ残します。これで同じ予測を再計算でき、修正前後も比較できます。
手を動かして理解する
- 提供ケース「二つの入力を持つ簡単なニューロン図を紙上で追跡する」または自分が説明できる身近な事例を一つ選び、DAY16「ニューラルネットワークの計算」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「一つのニューロンから多層ネットワークまでの順伝播を、入力・重み・バイアス・活性化・層の役割へ分けて説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
人工ニューロンが活性化関数へ渡す基本的な値はどれですか。
正解は「入力と重みの積を足し、バイアスを加えた値」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
入力と重みの積を足し、バイアスを加えた値: 正解は「入力と重みの積を足し、バイアスを加えた値」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
正解ラベルを文字順に並べた値: ラベルの文字順はニューロンの基本計算ではありません。
テストデータの件数だけ: データ件数だけでは個々の入力を処理できません。
利用者が決めた最終判断そのもの: ニューロンは計算値を出し、最終判断そのものを担うとは限りません。
入力がすべて0でも、ニューロンの判断境界の位置を調整できるパラメータはどれですか。
正解は「バイアス」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
バイアス: 正解は「バイアス」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
エポック: エポックは訓練データを一巡する単位です。
テストデータ: テストデータは最終評価に使うデータです。
正解率: 正解率は評価指標で、学習される位置調整項ではありません。
入力3個から出力4個へ全結合する層のパラメータ数は、バイアスを含めていくつですか。
正解は「16個」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
16個: 正解は「16個」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
7個: 3+4だけでは接続ごとの重みを数えていません。
12個: 12個は重みだけで、出力ごとのバイアス4個が抜けています。
24個: 入力数と出力数を足して掛ける計算ではありません。
線形変換だけを何層も重ねた場合の説明として適切なものはどれですか。
正解は「全体を一つの線形変換へまとめられ、複雑な非線形境界は作れない」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
全体を一つの線形変換へまとめられ、複雑な非線形境界は作れない: 正解は「全体を一つの線形変換へまとめられ、複雑な非線形境界は作れない」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
層を増やすだけで必ず因果関係が分かる: 多層化は因果関係を証明しません。
自動的にパラメータが0個になる: 線形層にも通常は重みとバイアスがあります。
どんな課題でも必ず正解できる: 表現力、データ、評価には限界があります。
学習時と利用時の順伝播について適切な説明はどれですか。
正解は「学習時は損失と勾配計算へつなげ、利用時は固定した重みで予測を作る」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
学習時は損失と勾配計算へつなげ、利用時は固定した重みで予測を作る: 正解は「学習時は損失と勾配計算へつなげ、利用時は固定した重みで予測を作る」です。講義で扱った定義と判断条件に一致します。正解以外の理由も比べ、計算や設計で使い分けられるようにしましょう。
利用時は入力のたびに必ず重みを更新する: 一般的な推論では学習済み重みを固定します。
学習時は順伝播を行わない: 学習時も予測と損失を得るため順伝播します。
利用時は正解ラベルが必須である: 推論対象の正解ラベルは通常まだ分かりません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ ニューロンは重み付き和・バイアス・活性化から出力を作る
- ✓ 多層化と非線形性で複雑な関係を表し、行列で層全体を計算する
- ✓ 出力層は予測形式に合わせ、学習時と利用時の順伝播を分ける
講義本文 4,045字
PRIMARY SOURCES