第1章|AIの基礎
DAY 04 ・ 約15分深層学習と代表的なモデル
画像・時系列・文章を扱うモデルの違いと、Transformerの役割を理解する。
CNN・RNN・Transformer・Attentionの得意な構造を比べ、生成AIでTransformerが広く使われる理由を説明できる。
言葉を知る
用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。
深層学習
中間層を多く持つニューラルネットワークを、大量のデータと計算資源で学習させる機械学習の一種です。人が特徴をすべて指定せず、データから段階的な表現を学べることが大きな特徴です。
特徴量
予測や分類に役立つ、データの性質を数値で表したものです。従来は人が設計する割合が大きく、深層学習ではモデルが学習を通して有用な特徴表現を作る範囲が広がりました。
CNN
畳み込みニューラルネットワークの略で、画像の近い場所にある線・模様・形などの局所的な特徴を捉えるのが得意です。同じ検出方法を画像全体へ使うことで、位置が少し変わっても特徴を見つけやすくします。
RNN
再帰型ニューラルネットワークの略で、それまでの計算結果を状態として次の処理へ渡します。文章や時系列の順番を扱えますが、遠く離れた情報の関係を保つことや、大規模な並列計算には難しさがあります。
Transformer
文章内の各要素が、ほかのどの要素と強く関係するかをAttentionで計算するモデルです。長い関係を扱いやすく、学習を並列化しやすいため、大規模言語モデルや画像・音声を含む基盤モデルの中心技術になりました。
Attention
入力のすべてを同じ強さで扱わず、現在の処理に関係が深い部分へ重みを付ける仕組みです。文章では、離れた位置にある主語や指示語、定義と本文などの関係を捉える助けになります。
パラメータ
モデルが学習によって調整する数値の総称で、重みなどが含まれます。一般に数が多いほど複雑な関係を表現できますが、性能はデータ、学習方法、評価、利用条件にも左右されます。
仕組みを理解する
1.深層学習が変えたのは、特徴を作る範囲
従来の画像判定では、人が輪郭、色、模様など『判断に役立ちそうな特徴』を考え、それを取り出す処理を作る必要がありました。深層学習では、多数の層が学習を通して、単純な特徴から複雑な特徴へ段階的に変換します。人の設計が不要になったわけではなく、目的、データ、モデル構造、評価方法は依然として人が決めます。それでも、画像、音声、文章のように特徴を言葉で全部書き出せないデータを扱う性能は大きく向上しました。大量データ、GPUなどの計算資源、学習方法の改良が組み合わさったことで、深いモデルを実用的に学習できるようになりました。
2.CNNは、画像の『近さ』と『同じ形』を利用する
画像では、隣り合う画素が一緒に線や模様を作ります。CNNは小さな範囲を順番に調べ、縦線、横線、角、模様などを見つけます。同じ検出器を画像の各場所へ使うため、猫の耳が画像の左にあっても右にあっても似た特徴として捉えやすくなります。手前の層で単純な形、後ろの層で目や耳、さらに全体の対象へ進むイメージです。画像分類、物体検出、医用画像などで発展しました。ただし、背景の偏りを対象の特徴と誤解することもあります。雪景色の写真ばかりを『オオカミ』として学べば、動物ではなく雪を手掛かりにする可能性があります。
3.RNNは順番を追えるが、長い関係を保ちにくい
文章や売上の時系列では、今の値だけでなく、それ以前の順番が意味を持ちます。RNNは前の処理結果を状態として次へ渡すため、過去から現在へ順番に情報を運べます。しかし、文の最初に書かれた条件を最後まで正確に保つような長い関係は、途中の計算を何度も通るうちに弱くなりやすい問題があります。また、前の処理が終わってから次へ進む構造なので、文章全体を同時に計算しにくく、大量データで大規模学習する際の速度にも制約があります。改良型のLSTMなどが登場しましたが、後にTransformerが広い言語処理で中心になりました。
4.Attentionは、離れた情報同士の関係を見る
『田中さんは大阪へ行った。彼はそこで会議に出た』という文では、『彼』が田中さんを、『そこで』が大阪を指す関係を捉える必要があります。Attentionは、ある語を処理するとき、文章中のほかの語との関係を計算し、重要な部分へ強く注目します。単に直前の語だけを見るのではなく、離れた位置の情報も直接参照できます。これにより、定義と説明、質問と資料、主語と述語などの関係を扱いやすくなりました。ただし『注目度が高い部分=人間が考える正しい理由』とは限りません。Attentionは計算上の関係であり、そのまま完全な説明責任を満たすものではありません。
5.Transformerは、Attentionを中心に全体を処理する
Transformerは、RNNのように必ず一語ずつ順番に処理せず、学習時に多くの位置を並列に計算できます。これにより大量の文章を効率よく学習し、モデルとデータの規模を大きくしやすくなりました。複数層でAttentionと変換を繰り返し、文脈に応じた表現を作ります。翻訳から始まり、文章生成、要約、コード、画像、音声へ用途が広がりました。現在の大規模言語モデルはTransformer系が中心ですが、サービスごとに学習データ、追加学習、検索、ツール、安全設計が異なります。『Transformerを使うから全部同じ』ではありません。
6.パラメータ数だけでは、モデルの良し悪しを決められない
モデルの規模は能力を考える一つの手掛かりですが、パラメータが多ければ必ず実務で優れているわけではありません。学習データの質、目的に合う追加学習、推論時に使える文脈量、検索やツール、応答速度、費用、安全性が結果を左右します。小さなモデルは端末内で速く動き、情報を外へ出さずに使える利点があります。大きなモデルは複雑な推論や幅広い知識で有利な場合があります。利用者はモデル名や数字だけでなく、自分の仕事で代表例と失敗例を試し、必要な品質と費用に合うかを比較する必要があります。
7.代表モデルは、置き換えではなく使い分けで見る
Transformerが登場したからCNNやRNNの考え方が無意味になったわけではありません。画像処理ではCNN由来の局所特徴が今も活用され、軽量な時系列処理では再帰的な構造が役立つ場合があります。現代のモデルは複数の技術を組み合わせることもあります。大切なのは、モデル名を暗記して『新しい方が上』と並べることではなく、画像の近い特徴、時間の順番、離れた要素の関係という、それぞれが得意とする構造を理解することです。その視点があれば、新しいモデル名が出ても、何を改善しようとしている技術かを読み解きやすくなります。
8.モデルの歴史は、データの性質と計算上の課題への工夫
CNN、RNN、Transformerは、流行語の順番で暗記するより、何を扱いやすくしたかで理解するとつながります。CNNは画像の近い場所に同じ形が現れる性質を利用し、RNNは前の状態を次へ渡して順番を扱いました。TransformerはAttentionを中心に、離れた要素の関係を直接計算し、学習時の並列処理を進めやすくしました。新しい方式は、以前の方式をすべて不要にしたのではありません。画像の局所的な特徴、端末内の軽量処理、時間とともに続く信号など、課題によって今も異なる構造が選ばれます。技術の背景を『古い・新しい』ではなく『どんなデータ構造と制約に向き合ったか』で見ると、次の新技術も評価しやすくなります。
9.チャットAIはTransformerそのものではなく、サービス全体
ChatGPTのようなチャットAIでは、文章を扱う大規模言語モデルの中核にTransformer系の仕組みが広く使われています。しかし、Transformerという設計図だけで会話サービスが完成するわけではありません。学習データ、指示に従うための調整、会話履歴、検索、ファイル処理、安全機能、画面、利用規約が組み合わさって、利用者が触るサービスになります。同じTransformer系でも、答えの品質、対応できる長さ、画像や音声への対応、費用は異なります。また、チャット画面へ質問しただけでモデル構造をCNNやRNNへ切り替えたり、重みを再学習したりするわけでもありません。技術構造、学習済みモデル、サービス機能を別の層として理解します。
10.できることと、できないことを構造から考える
CNNは画像内の傷や形を見つける、RNNはセンサー値や売上の順番を追う、Transformerは長い文章の関係を扱う、といった仕事に向きます。深層学習全体では、人が特徴をすべて書けない画像、音声、文章から有用な表現を学べます。一方で、モデル名だけから結果の正しさを保証すること、訓練データにない状況を確実に判断すること、相関から原因を証明することはできません。例えば製品の傷を判定するCNNが、撮影台の色を不良品の手掛かりとして覚えると、台を交換しただけで誤判定します。長い文章を扱えるTransformerでも、入力範囲外の情報や誤った資料から正しい事実を自動的に作ることはできません。得意な構造と、安全に任せられる範囲は別に評価します。
11.実務では、複数モデルの受け渡しまで確認する
会議動画から議事録を作る仕事を分解すると、画像から資料や人物を捉える処理、音声を文字へ変える処理、話者と時刻をそろえる処理、長い文章から決定事項をまとめる処理があります。CNN系、時系列処理、Transformer系の考え方が別々の工程で使われ、前工程の誤りが次へ渡ります。固有名詞の聞き間違いが要約で自然な別名へ整えられると、完成文だけを読んでも原因を見つけにくくなります。実務では最終要約だけでなく、元動画、文字起こし、抽出された決定事項をたどれるようにし、重要な担当者名、金額、期限は人が原資料と照合します。複数モデルを組み合わせるほど、精度だけでなく工程間の記録が重要になります。
12.安全確認と読者演習を、選定の前に行う
モデルを選ぶ前に、実際の利用環境を代表するデータで試します。画像なら明るさ、角度、端末、背景を変え、時系列なら繁忙期や欠測、文章なら長さ、表現、重要な例外を含めます。平均点だけでなく、見逃しと誤検知、利用者ごとの差、処理時間、人の修正量を測り、基準を下回ったとき人の処理へ戻す手順を決めます。読者演習として、自分の仕事から『写真で判断する』『順番を追う』『離れた情報を結び付ける』課題を一つずつ挙げてください。それぞれCNN、RNN、Transformerのどの考え方が候補かを書き、誤った場合の影響、確認に使う原資料、停止条件も一行ずつ加えます。モデル名を先に選ばず、単純なルールや人の確認で十分な課題はそう結論づけることも正解です。
実例で理解する
具体例で考える
スマートフォンで撮影した会議動画を処理する場面では、画像内の人物や資料を捉える処理にCNN系の考え方、音声や時間変化を扱う処理に時系列モデルの考え方、文字起こし後の長い会話から質問と回答、決定事項の関係を捉える処理にTransformerが関わります。実際のサービスは一つの方式だけで完結せず、画像・音声・文章を扱う複数のモデルや機能を組み合わせます。そのため『このサービスはTransformerだから動画も正確』とは判断できません。各入力形式の対応、長さの上限、話者識別、固有名詞の誤り、要約の根拠を工程ごとに確認します。
手を動かして理解する
- 今日の三つの用語を、見ずに説明する
- 仕事や生活の例へ置き換える
- 間違えた確認問題の理由を声に出して説明する
04|今日の理解度を確認する
今日の理解度を確認する
画像の中で近くにある線・模様・形などの局所的な特徴を捉えるために発展したモデルはどれですか。
CNNは小さな範囲を画像全体へ適用し、位置が変わっても似た局所特徴を見つけやすくします。
CNN: 画像の局所的な特徴を捉えることに強みを持つモデルです。
RNN: 前の状態を次へ渡し、主に順番や時系列を扱うモデルです。
単純な表計算: 数値計算には使えますが、ここで説明している深層学習モデルではありません。
ルールを一つだけ持つ警告装置: 明示条件で動く仕組みであり、画像特徴を学ぶモデルではありません。
RNNが長い文章の処理や大規模学習で抱えやすかった課題として、適切なものはどれですか。
RNNは過去の状態を順に渡すため、長い依存関係と計算の並列化に難しさがありました。
遠く離れた情報を保ちにくく、順番処理のため並列化しにくい: RNNの代表的な課題です。
画像の近い画素しか入力できない: CNNの局所処理と混同しています。RNNは時系列や文章の順序を扱います。
必ず最新ニュースを自動検索してしまう: 検索は別機能であり、RNNの構造上の課題ではありません。
重みを一つも持てない: RNNも学習によって調整する重みを持ちます。
文章中のある語を処理するとき、離れた位置も含め、関係の深い部分へ計算上の重みを付ける仕組みはどれですか。
Attentionは、現在の処理に関係する入力部分を計算し、文脈上重要な関係を捉える助けになります。
Attention: 入力内の要素同士の関係を計算し、重要度を付ける仕組みです。
データ漏洩: 評価時に知ってはいけない情報が混ざる問題で、文脈関係を計算する仕組みではありません。
クラスタリング: 似たデータをグループ化する教師なし学習の方法です。
損失の削除: 学習方法を表す正式な用語ではなく、損失を測らなければ改善方向を決められません。
Transformerが大規模言語モデルの中心技術になった理由として、最も適切なものはどれですか。
Attentionを中心に文脈内の関係を扱い、多くの位置を並列に計算しやすいことが大規模化につながりました。
離れた要素の関係を扱いやすく、学習時の並列計算にも向く: Transformerの重要な利点です。
文章を一切数値へ変えずに理解できる: 文章もモデルが計算できる数値表現へ変換して扱います。
事実確認なしで常に正答できる: 構造が優れていても、誤情報や知識の限界は残ります。
一つの規則だけで全言語を処理する: 多数のパラメータと層を使って関係を学びます。単一規則ではありません。
新しい生成AIサービスを選ぶとき、「パラメータ数が大きい」以外に比較すべきものはどれですか。
モデル規模は一要素です。実際の仕事で代表例と失敗例を試し、必要な品質と運用条件に合うかを見ます。
用途での品質、速度、費用、利用条件、安全性: 実務でモデルを選ぶ際に必要な複数の評価軸です。
ロゴの大きさだけ: ブランド表現であり、モデルの実用性能を示しません。
会社名のアルファベット順だけ: 能力や適合性とは関係しません。
発表資料のページ数だけ: 資料量は、利用目的での品質を保証しません。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ CNNは近い画像特徴、RNNは順番、Transformerは離れた関係を扱う考え方
- ✓ Attentionは文脈の中で関係が強い部分へ計算上の重みを付ける
- ✓ モデルは規模だけでなく、用途・品質・速度・費用・安全性で選ぶ