第5章|ディープラーニングの要素技術
DAY 25 ・ 約30分オートエンコーダと表現学習
圧縮と復元から、データの特徴を学ぶ。
encoder・潜在表現・decoder・再構成損失を説明し、通常のオートエンコーダ、異常検知、変分オートエンコーダの違いと限界を判断できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
オートエンコーダ
入力を一度別の表現へ変換し、元入力を復元するよう学習するニューラルネットワークです。正解として入力自身を使います。
encoder
入力から低次元または制約された潜在表現を作る部分です。予測に不要な細部を自動で捨てるとは限りません。
潜在表現
encoderが作る内部ベクトルです。データの特徴を圧縮して持ちますが、各軸の意味が人に理解できる保証はありません。
decoder
潜在表現から元入力に近い出力を再構成する部分です。encoderと一緒に再構成誤差を小さくするよう学習します。
ボトルネック
情報の通り道を狭くする構造や制約です。単純なコピーを難しくし、主要な特徴を表現へまとめることを促します。
再構成誤差
元入力と復元出力の差です。MSEや二値交差エントロピーなどを用いますが、人に重要な違いと一致するとは限りません。
再構成
再構成に役立つ特徴が、下流の答えに役立つとは限りません。
仕組みを理解する
1.入力自身を正解にして、圧縮と復元を学ぶ
オートエンコーダは入力xをencoderでzへ変換し、decoderでx'へ戻します。xとx'の再構成損失を小さくします。犬・猫のラベルがなくても学べるため、教師なし学習や自己教師あり学習の一種として扱われます。 ただし入力をそのまま出力する恒等写像を学ぶだけでは、役立つ特徴になりません。潜在次元を小さくする、雑音を加える、表現へ罰則を付けるなど、単純コピーを防ぐ制約が重要です。
2.Undercompleteは、次元を狭くして要約させる
入力100次元に対して潜在表現10次元のように狭くすると、すべてをそのまま通せません。再構成に重要な変化を10個の値へまとめます。線形層とMSEだけの単純条件では、主成分分析に近い部分空間を学ぶ関係があります。 次元を小さくし過ぎると必要情報まで失い、大き過ぎるとコピーしやすくなります。最適な次元は見た目で決めず、再構成、下流課題、異常検知、計算量で比較します。
3.Denoisingは、壊した入力から元へ戻す
Denoising Autoencoderは、入力へ雑音、欠損、マスクなどを加え、壊す前の入力を復元させます。単純な値のコピーではなく、周囲やデータ全体の規則から元を推定する必要があります。現実の軽い乱れへ強い表現を学べる場合があります。 壊し方が現実とかけ離れると、不要な能力を学びます。重要信号を消し過ぎれば、平均的な出力へ寄る場合があります。汚損率と種類を検証し、復元画像が滑らかでも重要な細部を失っていないか確認します。
4.Sparseは、少数の特徴だけを使うよう促す
潜在次元が入力より大きくても、同時に働くユニットを少数へする罰則を加えれば、単純コピーを抑えられます。L1罰則や目標活性率との差を使い、入力ごとに必要な特徴だけを強くする疎な表現を狙います。 疎であることと、人間に解釈しやすいことは同じではありません。罰則が強すぎれば再構成できず、弱すぎれば多くのユニットを使います。活性率、再構成、下流性能を同時に見ます。
5.潜在表現は、別の課題へ再利用できる
encoderが作ったzを、分類、クラスタリング、検索、可視化などの入力へ使えます。ラベルが少ない場合、大量の未ラベルデータで表現を学び、少数ラベルで分類器を学ぶ方法があります。元の高次元入力より扱いやすくなる可能性があります。 再構成に役立つ特徴が、下流の答えに役立つとは限りません。背景色をよく復元しても、故障分類に必要な微小傷を捨てる場合があります。下流目的で検証し、必要なら教師あり微調整や別の自己教師あり課題を使います。
6.再構成誤差で異常を見つけるには条件がある
正常データだけで学習すると、正常はよく復元し、未知の異常は復元しにくいため誤差が大きくなると期待できます。しきい値を超えた例を異常候補にする方法です。ラベルが少ない設備監視などで使われます。 高性能なモデルが異常まで上手に復元する、正常の多様性を学び切れず誤警報になる、MSEが小さな重大異常を軽く扱う問題があります。異常データを用意した検証、特徴別誤差、人の確認が必要です。「学習していない=必ず高誤差」ではありません。
7.変分オートエンコーダは、潜在空間を確率分布として扱う
VAEのencoderは一つのzを直接出すのではなく、潜在変数の平均と分散を出します。そこからサンプリングし、decoderがデータを生成します。潜在分布を標準正規分布へ近づける項と再構成項を合わせて学習します。 サンプリングを含んでも逆伝播できるよう、z=平均+標準偏差×乱数と書き換える再パラメータ化を使います。通常のオートエンコーダより連続的な潜在空間から生成しやすい一方、再構成がぼやける、事後崩壊などの問題があります。
8.潜在空間の補間は、意味の保証ではない
二つの潜在ベクトルの間を少しずつ動かしdecoderへ入れると、連続的に変わる生成例を得られる場合があります。近いベクトルが似たデータを表すなら、検索や編集へ使えます。VAEは潜在分布を整えることで空白を減らすことを狙います。 潜在軸が「年齢」「色」のように一対一で意味を持つとは限りません。複数要因が混ざり、訓練データの偏りも反映します。補間結果が自然に見えても、現実に存在する組合せや安全性を保証しません。
9.評価データと前処理を分離する
正常だけで学習する異常検知でも、しきい値を正常テストへ何度も合わせれば未知評価ではありません。訓練正常、検証正常・異常、最終テストを分けます。時系列や同一対象の重複をまたがせません。標準化統計も訓練だけで作ります。 再構成損失の平均だけでなく、部位別、特徴別、正常条件別を見ます。異常率が低い本番では適合率、再現率、誤警報件数、確認費用を測ります。潜在表現を可視化した散布図は、軸や距離の選択で見え方が変わるため証拠の一部として扱います。
10.第5章を、情報の流し方として整理する
DAY 21のCNNは局所結合と重み共有、DAY 22の正規化と残差は値と勾配の流れ、DAY 23のRNNは時間方向の状態、DAY 24のAttentionは要素間の直接参照、DAY 25のオートエンコーダは圧縮と復元を扱いました。 各手法を、入力構造、接続方法、保つ情報、失う情報、計算量、学習目的の六項目で表にします。名称を暗記するのではなく、新しい構造を見ても情報がどこからどこへ流れるか説明できれば、第5章の到達です。
実例で理解する
具体例で考える
設備モーターの正常時振動スペクトルを学び、異常候補を見つけるオートエンコーダを考えます。入力は周波数帯ごとの128値です。encoderで16次元へ圧縮し、decoderで128値へ戻します。訓練には点検で正常確認された期間だけを使います。 入力を訓練データの平均と標準偏差でそろえます。装置IDと時間で分割し、同じ運転区間の窓が訓練とテストへ混ざらないようにします。欠測と停止中データは別条件として扱います。 通常AE、Denoising AE、VAEを同じ潜在次元と予算で比較します。通常AEが異常も上手に復元する場合、ボトルネック、雑音、正則化を見直します。VAEは生成の滑らかさと異常検知性能を別に評価します。 再構成誤差のしきい値は検証データで選び、最終テストへ一度適用します。平均MSEだけでなく、安全上重要な周波数帯の誤差を重くする候補も、専門家と決めます。しきい値変更の履歴を残します。 異常候補には元スペクトル、再構成、帯域別誤差、過去推移を示します。高誤差だけで故障原因を断定しません。未知の正常運転、センサー交換、負荷変更でも誤差が上がるため、担当者が条件を確認します。 潜在表現を二次元へ可視化し、正常群と異常群が分かれて見えても、表示用の次元削減で形が変わります。元の16次元距離、別期間、装置別に再確認します。散布図の色分けを真の原因としません。 本番では入力分布、正常誤差分布、警報率を監視します。正常データで再学習するとき、未確認の異常を正常として混ぜない承認手順を置きます。自動でモデルへ取り込まず、点検結果と版を結び付けます。 再構成誤差を全128値の平均だけにすると、一つの重要帯域の急増が他の127値へ薄められる場合があります。全体誤差、帯域別最大誤差、連続時点の変化を別指標にし、検証異常でしきい値を選びます。指標を増やした後は、偶然テストへ合っていないか新しい期間で確認します。 潜在次元を4、8、16、32へ変え、正常再構成、異常検知、処理時間を比べます。4次元で正常も復元できないなら狭すぎ、32次元で異常まで完全に復元するなら広すぎる可能性があります。ただし結果から確認し、次元数だけで原因を断定しません。 Denoising AEでは入力の5%、10%、20%をマスクします。現実のセンサー欠測率を超える強い破損が、重要ピークを平均化していないかを確認します。復元が滑らかで見栄えが良いことと、故障兆候を正しく残すことを分けます。 VAEでは再構成項と潜在分布を整える項の重みを記録します。後者を強くし過ぎれば潜在表現が入力差を持てず、似た復元へ寄る場合があります。生成例の自然さだけでなく、元データの重要帯域、潜在利用、異常検知を別に評価します。 運用担当には「高誤差=故障」ではなく「訓練した正常分布から外れた候補」と説明します。センサー交換、負荷、新しい正常運転も候補になります。点検結果から原因分類を追加する場合は、オートエンコーダの異常度と別モデル・別記録にします。 最後に、正常10件と既知異常10件について、入力、再構成、全体誤差、最大帯域誤差、判定を一枚の表へします。誤差が大きいのに安全な例と、誤差が小さいのに危険な例を重点確認します。しきい値の数字だけでなく、どの誤りを許容しないかを運用条件へ結び付けます。
手を動かして理解する
- 提供ケース「架空の画像分類業務を、入力・層・出力・失敗条件へ分ける」または自分が説明できる身近な事例を一つ選び、DAY25「オートエンコーダと表現学習」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「encoder・潜在表現・decoder・再構成損失を説明し、通常のオートエンコーダ、異常検知、変分オートエンコーダの違いと限界を判断できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
通常のオートエンコーダの学習目標として適切なものはどれですか。
正解は「入力を潜在表現へ変換し、元入力に近く再構成する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力を潜在表現へ変換し、元入力に近く再構成する: 正解は「入力を潜在表現へ変換し、元入力に近く再構成する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
正解ラベルだけを暗記して入力を無視する: 入力自身を再構成目標として使います。
未来の売上を必ず予測する: 特定の未来予測が定義そのものではありません。
全入力を人が手作業で分類する: 未ラベルデータからも表現を学べます。
オートエンコーダのボトルネックの役割はどれですか。
正解は「単純コピーを難しくし、情報を制約された表現へまとめさせる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
単純コピーを難しくし、情報を制約された表現へまとめさせる: 正解は「単純コピーを難しくし、情報を制約された表現へまとめさせる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力を必ず無限次元へ増やす: 一般には次元や活性を制約します。
テストデータを訓練へ混ぜる: 評価情報の漏えいとは無関係です。
再構成誤差を計算できなくする: 入力と復元の差を学習へ使います。
Denoising Autoencoderの説明として適切なものはどれですか。
正解は「壊した入力から、壊す前の入力を復元するよう学ぶ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
壊した入力から、壊す前の入力を復元するよう学ぶ: 正解は「壊した入力から、壊す前の入力を復元するよう学ぶ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
正常データをすべて削除して異常だけ学ぶ: 正常構造から復元を学ぶ使い方もあります。
decoderを使わず正解率だけ出す: 復元にはdecoderを用います。
潜在表現を必ず一つの値にする: 潜在次元を必ず1へする方式ではありません。
正常データで学習したオートエンコーダを異常検知へ使う際、正しい注意はどれですか。
正解は「未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない: 正解は「未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
異常は必ず無限大の誤差になる: モデル容量や異常の種類で誤差は変わります。
正常の多様性は評価不要である: 未知の正常条件で誤警報になる可能性があります。
しきい値はテストを見ながら何度でも調整する: テストへ繰り返し合わせると最終評価ではなくなります。
VAEのencoderが代表的に出力するものはどれですか。
正解は「潜在分布の平均と分散」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
潜在分布の平均と分散: 正解は「潜在分布の平均と分散」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
分類クラス名だけ: VAEは潜在変数の確率分布を扱います。
全訓練画像のURL: 学習データの場所を出力する仕組みではありません。
テスト正解率だけ: 評価指標ではなく、各入力の潜在分布パラメータを作ります。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ オートエンコーダはencoder・潜在表現・decoderで入力の再構成を学ぶ
- ✓ ボトルネック、雑音、疎性で単純コピーを防ぎ、表現を下流課題で評価する
- ✓ 異常検知とVAEでは、再構成誤差・潜在分布・しきい値の限界を確認する
講義本文 4,075字
PRIMARY SOURCES