本文へ移動
← 目次 生成AI発展講座 DAY 23

第5章|ディープラーニングの要素技術

DAY 23 ・ 約30分

再帰結合層と系列モデル

RNN・LSTM・GRUが順序を扱う仕組みを学ぶ。

今日できるようになること

系列データ、隠れ状態、時間方向の逆伝播、RNN・LSTM・GRUの違いを説明し、過去だけを使う条件と系列評価を設計できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

系列データ

順序や時間間隔に意味があるデータです。文章、音声、センサー、売上履歴などでは、同じ値でも現れる順番で意味が変わります。

再帰型ニューラルネットワーク(RNN)

前時点の隠れ状態と現在入力から、新しい隠れ状態と出力を作るネットワークです。同じ重みを時間方向へ共有します。

隠れ状態

それまでの入力を予測に役立つ形へまとめた内部表現です。履歴そのものを完全保存する箱ではなく、学習された圧縮状態です。

BPTT

RNNを時間方向へ展開し、後の損失から前の時点へ勾配を戻す学習方法です。Backpropagation Through Timeの略です。

LSTM

入力・忘却・出力のゲートとセル状態を使い、長い依存関係を保ちやすくした再帰型ネットワークです。

GRU

更新ゲートとリセットゲートで状態を制御する再帰型ネットワークです。LSTMより構造が簡潔で、課題により同等の候補になります。

系列長

系列長、データ量、計算資源、初期値で結果が変わります。

02|仕組みを理解する

仕組みを理解する

1.系列では、値だけでなく順番が答えを変える

「犬が人を追う」と「人が犬を追う」は同じ単語を含んでも意味が違います。気温20度も、上昇中か下降中かで翌日の予測が変わります。通常の全結合層へ各時点を独立に入れると、前後関係を構造として扱えません。 系列モデルは時点tの入力だけでなく、過去をまとめた状態を使います。順序が重要でも、すべてRNNを使う必要はありません。固定長の短い履歴なら特徴量として並べる方法、局所関係なら一次元CNN、長い関係と並列計算ならTransformerも候補です。データ構造と運用条件から選びます。

2.単純RNNは、同じ計算を時間ごとに繰り返す

時点tの隠れ状態h_tは、現在入力x_tと前状態h_{t-1}を重み付きで足し、tanhなどへ通して作ります。同じ入力用重み、状態用重み、バイアスを全時点で共有します。系列が10時点でも100時点でも、時間ごとに別のモデルを作りません。 最初の状態は0で始める、学習する、前の区間から引き継ぐなど設計があります。別利用者の状態を誤って引き継げば情報が混ざります。どこで系列を開始・終了し、状態をリセットするかはモデル式と同じくらい重要です。

3.時間方向へ展開すると、通常の多層計算として見える

RNNを時点ごとの箱へ描き直すことを時間展開と呼びます。各箱は同じ重みを使い、h_1からh_2、h_2からh_3へ状態を渡します。最後の出力だけを使う分類、全時点で出力する予測、入力列から別の出力列を作る変換などがあります。 BPTTでは、この展開図を出力側から逆向きにたどります。同じ重みが全時点で使われるため、各時点から戻る勾配を合計します。長い系列を一定区間で切るTruncated BPTTは計算を抑えますが、切断より長い依存を学びにくくします。

4.長い系列では、勾配消失と爆発が起こりやすい

後の損失から初期時点へ勾配を戻す間に、状態変換の微分を何度も掛けます。小さい値が続けば勾配消失、大きい値が続けば勾配爆発になります。遠い過去の情報が予測へ必要でも、前半の重みを直す信号が届きません。 適切な初期化、活性化、正規化、勾配クリッピング、短い区間などが対策です。ただし勾配を切れば長期関係を失います。層別だけでなく時間差別に性能を確認し、何時点前までの情報が必要かを課題から定めます。

5.LSTMは、セル状態へ情報の通り道を作る

LSTMは隠れ状態に加え、セル状態を持ちます。忘却ゲートが以前の情報をどれだけ残すか、入力ゲートが新情報をどれだけ書くか、出力ゲートが現在出力へどれだけ見せるかを0〜1の値で調整します。セル状態は加算を中心に更新され、長期の勾配を保ちやすくします。 ゲート名から人間の記憶と同じ仕組みだと断定しません。保存内容は学習された数値表現で、重要情報を必ず正しく残す保証もありません。ゲートが増える分、パラメータと計算も増えます。単純RNNより常に優れるのではなく、長期依存とデータ量を比較します。

6.GRUは、少ないゲートで状態を更新する

GRUはセル状態と隠れ状態を分けず、一つの状態を更新します。更新ゲートは旧状態と新候補をどの割合で混ぜるか、リセットゲートは新候補を作るとき過去をどれだけ使うかを調整します。LSTMより式とパラメータが少ない構造です。 LSTMとGRUのどちらが必ず高精度という規則はありません。系列長、データ量、計算資源、初期値で結果が変わります。同じ分割、隠れ次元、学習予算、複数乱数で比較します。名称より、必要な履歴を保持でき、利用時の遅延を満たすかを見ます。

7.双方向モデルは、未来も参照する

双方向RNNは、先頭から末尾へ読む状態と、末尾から先頭へ読む状態を組み合わせます。文章全体がそろった後の固有表現抽出などでは、前後文脈を使えます。一方、時点ごとの需要をリアルタイム予測する場面で未来方向を使えば、利用時に存在しない情報が漏れます。 オフライン処理か逐次処理かで選びます。文章の穴埋め学習で右側を使えることと、次トークン生成で未来を使えることも別です。モデル名だけでなく、各出力が参照できる時点範囲を図にし、予測時点より後を遮断します。

8.長さの違う系列は、パディングとマスクで扱う

同じバッチへ長さ3と長さ10の系列を入れるため、短い系列へダミー値を足します。パディング部分は実データではないため、マスクで状態更新、損失、集約から除外します。マスクを忘れると、長いゼロ列を意味ある入力として学ぶ場合があります。 系列を固定長へ切る場合も、切る境界を記録します。故障直前だけを集めれば、通常運転との比率が本番と変わります。長い履歴を重ねて窓にすると、同じ時点が訓練とテストへ漏れる危険があります。装置や人物、時間で先に分割します。

9.評価は、時点と系列単位の両方で行う

各時点の正解率が高くても、一つの系列で警報が何度も揺れると利用しにくくなります。系列全体の分類、初回検知までの時間、連続誤報、見逃し区間などを測ります。平均だけでなく、短い系列、長い系列、未知の長さを分けます。 未来データでしきい値や履歴長を選ばないよう、時間順に訓練・検証・テストへ分けます。状態を区間をまたいで持ち越す本番なら評価でも再現します。毎回0へ戻す評価と、継続状態の利用では結果が変わります。

10.DAY 23では、状態更新を三時点だけ追う

三つの入力x_1、x_2、x_3と、一つの隠れ状態を用意します。単純化した重みでh_1、h_2、h_3を順に計算し、x_1を変えるとh_3がどう変わるかを確認します。状態を0へリセットした場合とも比べます。 次にLSTMの忘却・入力・出力ゲートを「残す・書く・見せる」の表へし、GRUとの差を整理します。双方向を使える業務と使えない業務を一つずつ挙げます。順序、状態、参照可能範囲、評価単位を説明できれば系列モデルの基礎を理解しています。

03|実例で理解する

実例で理解する

具体例で考える

工場設備の振動、温度、電流を1分ごとに記録し、30分以内の異常を予測する場面を考えます。入力は直近120分の三特徴です。各時点を独立に判定すると、温度が上昇し続ける流れを捉えにくいため、GRUとLSTMを候補にします。 予測時点より後のセンサー値は使いません。整備完了コードや停止後に確定する故障原因も入力から外します。装置単位と時間順で分割し、同じ故障区間を切った窓が訓練とテストへまたがらないようにします。 欠測を0で埋めるだけでは、実際の0と区別できません。欠測マスクと前回観測からの経過時間を入力候補にし、長い欠測では対象外へ戻します。装置交換時には隠れ状態をリセットします。 単純RNN、GRU、LSTMを隠れ次元64、同じ更新回数で比較します。時点ごとの再現率だけでなく、故障前に何分早く最初の警報を出せたか、正常期間で連続誤報が何回あるか、装置別のばらつきを見ます。 LSTMがわずかに高精度でも、処理遅延と保守費用が大きければGRUを選ぶ余地があります。複数乱数で平均と分散を出し、特定の初期値だけで決めません。必要なら一次元CNNやTransformerも同じ評価へ入れます。 長い系列で前半の情報が効かない場合、履歴長を増やすだけでなく、時間差別の性能と勾配を確認します。勾配クリッピングで爆発を抑えても、欠測やラベルの誤りは直りません。データと最適化を分けます。 本番ではモデルの隠れ状態を装置IDへ正しく結び付け、再起動、整備、装置交換でリセットします。状態値だけから人が原因を断定せず、元のセンサー推移と安全規則を担当者へ示します。系列予測と設備停止判断の責任を分けます。 状態管理の試験では、同じ120分系列を一括入力した結果と、1分ずつ状態を引き継いだ結果を比較します。途中で別装置の一値を入れた試験、再起動後に状態を0へした試験も行います。バッチ処理では正しくても逐次処理だけずれる実装を見つけられます。 履歴長は30、60、120、240分を比較し、早期検知と処理時間を記録します。長いほど良いと決めず、必要な信号がどの時間差にあるかを確認します。120分を超えて改善がなく、遅延だけ増えるなら短い設定を選びます。 また、警報が1分だけ出て消える場合と、5分連続する場合を分けます。現場で必要なら連続回数の規則を後段へ置き、モデル内部の状態と業務上の警報確定を混同しません。規則追加後の見逃しと遅延も再評価します。 系列の長さが異なるバッチでは、実データ位置を1、パディングを0とするマスクを保存します。損失計算がパディングを除外しているか、短い系列ほど有利または不利になっていないかを長さ別に確認します。入力値0、欠測を埋めた0、パディング0は意味が違うため、別の印と処理で区別します。 最終的に、RNN、LSTM、GRUの比較をゲート数だけで終えません。保持したい時間差、訓練時間、推論遅延、状態管理の複雑さ、未知装置性能を一表へします。単純RNNが条件を満たすなら、説明と保守が容易な選択肢として残します。

手を動かして理解する

  1. 提供ケース「架空の画像分類業務を、入力・層・出力・失敗条件へ分ける」または自分が説明できる身近な事例を一つ選び、DAY23「再帰結合層と系列モデル」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「系列データ、隠れ状態、時間方向の逆伝播、RNN・LSTM・GRUの違いを説明し、過去だけを使う条件と系列評価を設計できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

RNNの隠れ状態について適切な説明はどれですか。

QUESTION 02

BPTTが行うことはどれですか。

QUESTION 03

LSTMの忘却ゲートの主な役割はどれですか。

QUESTION 04

LSTMとGRUを比較するときの適切な判断はどれですか。

QUESTION 05

リアルタイムの翌時点予測で双方向RNNを使う際の主な注意はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ RNNは現在入力と前状態を同じ重みで処理し、順序を隠れ状態へまとめる
  • ✓ LSTMとGRUはゲートで情報保持を調整し、長期依存を扱いやすくする
  • ✓ 未来情報、状態リセット、パディング、系列単位評価を利用条件に合わせる

講義本文 4,155字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 24「AttentionとTransformer」へ次のDAYに進む →