本文へ移動
← 目次 生成AI発展講座 DAY 24

第5章|ディープラーニングの要素技術

DAY 24 ・ 約30分

AttentionとTransformer

必要な情報同士の関係へ直接注目する。

今日できるようになること

Query・Key・ValueによるAttention、Self-Attention、Multi-Head Attention、位置情報、マスク、Transformerの構成と限界を説明できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

Attention

ある出力を作るとき、入力の各部分へ関連度の重みを付け、必要な情報を加重平均で集める仕組みです。

Query/Key/Value

Queryは探す条件、Keyは各情報を照合する手掛かり、Valueは実際に集める内容です。すべて入力から学習された変換で作ります。

Self-Attention

同じ系列の要素同士でQuery・Key・Valueを作り、各要素が他のどの要素を参照するかを計算します。

Multi-Head Attention

Attentionを複数組並行して計算し、異なる関係を捉えた結果を結合する方法です。

位置エンコーディング

順番を直接持たないSelf-Attentionへ、トークンの位置や相対距離の情報を加える仕組みです。

Transformer

Attentionを中心に、全結合、残差接続、正規化などを組み合わせた系列処理の構造です。再帰を使わず並列計算しやすい特徴があります。

スケールド・ドット積Attention

Attentionだけで事実性は保証されません。

02|仕組みを理解する

仕組みを理解する

1.固定長の一状態だけでは、長い入力が詰まりやすい

初期のencoder-decoder型RNNでは、入力系列全体を最後の一ベクトルへ圧縮し、そこから出力を作りました。長い文章では、最初の情報から細部まで一つの固定長状態へ保つことが難しくなります。出力語ごとに必要な入力箇所も違います。 Attentionは出力を作るたび、入力側の複数状態へ直接アクセスします。一つの要約だけへ全情報を押し込まず、「今の出力に必要な場所」を重み付きで集めます。これにより長距離関係への経路が短くなりますが、正しい場所へ必ず注目する保証ではありません。

2.QueryとKeyの類似度から、参照の強さを求める

各出力位置はQueryベクトルを持ち、各入力位置はKeyベクトルを持ちます。QueryとKeyの内積が大きいほど関連が強いとみなし、得点を作ります。Transformerのscaled dot-product attentionでは、得点をKey次元の平方根で割り、値が大きくなり過ぎるのを抑えます。 得点はそのまま確率ではありません。softmaxを通して全参照先の重みを0〜1、合計1へします。マスク対象はsoftmax前の得点を非常に小さくし、重みが0になるようにします。

3.Valueの加重平均が、その位置の新しい表現になる

Attention重みを各Valueへ掛けて足すと、現在のQueryに必要な情報を集めた出力になります。Query・Keyはどこを見るか、Valueは何を持ってくるかを分担します。三つは人が検索語や見出しとして手書きするのではなく、学習された行列で入力から作ります。 重み0.6、0.3、0.1ならValueをその割合で混ぜます。最も大きい一箇所だけをコピーするとは限りません。複数箇所の情報が平均されるため、数値や固有名詞の厳密なコピーには別の学習や出力機構も関係します。

4.Self-Attentionは、系列内の全要素を関係付ける

Self-Attentionでは同じ入力系列からQ、K、Vを作ります。「銀行へ行き、そこで口座を作った」の「そこ」が何を指すか考えるとき、各語が他の語を直接参照できます。RNNのように途中状態を何段も経由せず、離れた位置を一層で結べます。 一方、長さnの全組合せを比較する基本形は、計算とメモリがn²に増えます。長文では入力を切る、疎なAttention、圧縮、検索で必要箇所を絞るなどが必要です。長い入力を受け付ける上限と、内容を正確に利用できることは同じではありません。

5.Multi-Headは、複数の関係を別空間で捉える

一組のQ・K・Vだけでなく、異なる変換を持つ複数のheadでAttentionを計算します。あるheadは近い修飾関係、別のheadは遠い対応に反応する可能性があります。各結果を連結し、出力行列で混ぜます。 head数を増やせば必ず多様な意味を持つわけではありません。似た働きになるheadや、重要性が低いheadもあります。人が後から付けた意味をモデルの意図と断定しません。次元数、計算量、評価をそろえて選びます。

6.位置情報がなければ、並び順を区別できない

Self-Attentionの基本計算だけでは、入力要素を並べ替えると出力も同じように並べ替わり、順序そのものを知りません。そこで絶対位置を表す正弦・余弦の位置エンコーディングや、学習する位置埋め込み、要素間の相対距離を表す方法を加えます。 位置情報は系列長の外挿や長距離性能へ影響します。訓練時より長い入力を扱える実装でも、位置表現と学習範囲が十分とは限りません。短文と長文、先頭と末尾で評価します。

7.マスクが、見てよい情報の範囲を制御する

文章生成では、位置tの答えを作るとき未来の正解トークンを見てはいけません。Causal Maskで自分より後の位置を遮断します。パディングマスクは、長さをそろえるためのダミー位置を参照させません。目的の違う二つを分けます。 マスクの向きが逆、1位置ずれる、損失側だけ漏れると、訓練評価は高いのに本番生成が崩れます。小さな系列でAttention行列を表示し、禁止位置が0か確認します。アクセス制御や個人情報保護はAttentionマスクだけで解決せず、データと権限で管理します。

8.Transformerは、Attention以外の部品も組み合わせる

原論文のTransformerは、Multi-Head Attention、位置ごとのFeed-Forward Network、残差接続、Layer Normalizationを積み重ねます。encoderは入力系列の表現を作り、decoderは過去出力へのMasked Self-Attentionとencoder出力へのAttentionを使います。 現在のモデルにはencoderのみ、decoderのみ、encoder-decoderなどがあります。Transformerという名称だけで学習方法、データ、入力長、生成能力は決まりません。どのブロックを使い、何を予測するよう学習したかを確認します。

9.Attention重みは、完全な説明ではない

重みを見ると、ある出力がどこを参照したかの手掛かりになります。しかし値変換、残差接続、複数層・複数head、後段の全結合も出力へ影響します。重みが大きい箇所を現実の原因や、モデルの唯一の理由と断定できません。 説明には入力を隠す、置き換える、勾配を見る、反例を試すなど複数方法を合わせます。モデルが根拠として示した文と、実際の出力計算へ必要だった文が一致するかも検証します。流暢な説明文と内部忠実性を分けます。

10.DAY 24では、三語のAttentionを計算する

三つのKeyと一つのQueryを二次元ベクトルで用意し、内積、尺度調整、softmax、Valueの加重平均を順に計算します。最も近いKeyを変えたとき、出力がどう動くか確認します。未来位置をマスクした場合も比較します。 次にSelf-Attention、encoder-decoder Attention、Causal Self-Attentionを、Q・K・Vの出所と参照範囲で表にします。位置情報、残差、正規化、全結合も含めてTransformerを説明できれば、Attentionだけをモデル全体と混同せず理解しています。

03|実例で理解する

実例で理解する

具体例で考える

長い問い合わせ文から、担当部署へ渡す要点を抽出するモデルを考えます。入力には契約内容、発生した問題、希望対応が混在します。Self-Attentionにより、離れた「先月購入」と「まだ届かない」を直接関係付けられます。 各トークンからQ、K、Vを作り、複数headで局所的な語句と遠い参照を扱います。位置情報を加え、「返金後に商品が届いた」と「商品到着後に返金した」を区別します。パディング位置はマスクします。 要約を左から生成するdecoderではCausal Maskを使い、未来の正解文を見せません。訓練時に正解の過去語を入力する条件と、本番で自分の出力を使う条件の差も評価します。Attentionだけで事実性は保証されません。 問い合わせが非常に長い場合、すべての文字を一度に入れると計算量が増えます。段落分割、検索で関連箇所を絞る、重複を除く方法を比較します。切り分けで重要な否定条件を落とさないよう、原文への参照を残します。 Attention重みが購入日へ高くても、その日付が正しいとは限りません。抽出した日付、商品、希望対応を原文位置と照合し、存在しない内容を生成した場合は担当者へ戻します。重要操作を要約だけで自動実行しません。 評価は要約の自然さだけでなく、必須項目の再現率、誤った追加、否定の反転、原文根拠、処理時間を測ります。短文では良くても長文末尾を無視する場合があるため、長さ別・位置別に確認します。 Transformerを採用する理由を「最新だから」とせず、長距離関係、並列学習、必要精度と計算費用で説明します。RNNや検索+規則でも目的を満たすなら比較します。構造の能力と業務上の承認を分けます。 小さな検査用入力として「商品は届いた。しかし付属品がない。返金ではなく付属品の発送を希望する」を使います。「返金」と「希望」の表面的な近さだけで誤要約しないか、否定と対比を保つかを確認します。語順を変えた文、同じ内容を遠く離して書いた文でも比べます。 入力長を500、2,000、8,000トークンへ増やし、末尾へ重要条件を置く試験も行います。受け付けられたことではなく、条件を正しく要約できた割合と処理費用を測ります。長文上限の数字を実用能力と取り違えません。

手を動かして理解する

  1. 提供ケース「架空の画像分類業務を、入力・層・出力・失敗条件へ分ける」または自分が説明できる身近な事例を一つ選び、DAY24「AttentionとTransformer」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「Query・Key・ValueによるAttention、Self-Attention、Multi-Head Attention、位置情報、マスク、Transformerの構成と限界を説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

AttentionにおけるQuery・Key・Valueの役割として適切なものはどれですか。

QUESTION 02

scaled dot-product attentionでQueryとKeyの内積を次元の平方根で割る主な理由はどれですか。

QUESTION 03

基本的なSelf-Attentionで系列長nに対して全位置同士を比較すると、計算・メモリが増える代表的な次数はどれですか。

QUESTION 04

Self-Attentionへ位置情報を加える主な理由はどれですか。

QUESTION 05

文章生成の位置tで未来の正解トークンを見せないために使うものはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ AttentionはQueryとKeyで重みを作り、Valueを加重平均して必要情報を集める
  • ✓ Self-Attentionへ位置情報とマスクを加え、Multi-Headで複数関係を扱う
  • ✓ Transformerは残差・正規化・全結合も含み、計算量と説明の限界を評価する

講義本文 4,055字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 25「オートエンコーダと表現学習」へ次のDAYに進む →