本文へ移動
← 目次 生成AI発展講座 DAY 30

第6章|ディープラーニングの応用

DAY 30 ・ 約30分

転移・マルチモーダル・解釈・軽量化

学んだ能力を実用へ移し、説明し、動かしやすくする。

今日できるようになること

転移学習、マルチタスク学習、マルチモーダル学習、説明手法、蒸留・枝刈り・量子化を区別し、精度以外を含む導入判断ができる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

転移学習

あるデータや課題で学んだ表現・重みを、別の関連課題へ再利用する考え方です。分布が遠いと負の転移も起こります。

マルチタスク学習

関連する複数課題を一つのモデルで同時に学び、共有表現を利用する方法です。課題同士が競合する場合があります。

マルチモーダル学習

文章、画像、音声など異なる形式の情報を対応付け、組み合わせて扱う学習です。形式間の対応データが重要です。

説明可能AI(XAI)

予測へ影響した入力や、モデルの判断傾向を人が調べやすくする手法群です。説明が正しさを保証するわけではありません。

知識蒸留

大きな教師モデルの出力分布などを、小さな生徒モデルがまねるよう学習し、能力を移す方法です。

量子化

重みや活性値を低い精度の数値で表し、メモリ・計算・消費電力を減らす方法です。精度と対応機器を確認します。

パラメータ効率

複数手法、反例、元データ、専門家の判断を合わせます。

02|仕組みを理解する

仕組みを理解する

1.転移学習は、学び直しをゼロから始めない

画像モデルの初期層が学んだ線や模様、言語モデルが学んだ文法や語の関係は、関連課題へ再利用できます。大量の元データで事前学習し、少量の目的データで調整すれば、時間とラベル作成を減らせる場合があります。 すべてを固定して最後の層だけ学ぶ特徴抽出、後半または全体を小さな学習率で更新するファインチューニングがあります。データが少ないと全体更新は過学習しやすく、分布が遠いと固定し過ぎて適応できません。固定範囲を比較します。

2.負の転移は、元の知識が邪魔になる状態である

自然画像で学んだ色や質感は、特殊な顕微鏡画像へ十分に合わない場合があります。元課題の偏りを引き継ぎ、ゼロから学ぶより性能が悪くなることを負の転移と呼びます。元モデルが大きく有名でも、目的データへ適するとは限りません。 元データ、入力形式、ラベル、対象集団を目的課題と比べます。事前学習あり・なし、異なる元モデル、固定範囲を同じ分割で評価します。平均精度だけでなく、目的課題で重要な少数例が悪化しないか見ます。

3.マルチタスク学習は、関連課題から共有表現を作る

一つの画像から物体種類と位置を同時に予測するように、前半の特徴抽出器を共有し、後半を課題ごとに分けられます。関連課題が互いの正則化となり、少ないデータで改善する場合があります。複数モデルを別々に動かすより計算を共有できます。 一方、片方の損失が大きく、他方の学習を邪魔する場合があります。損失の重み、データ量、更新頻度を調整します。課題Aの改善で課題Bが悪化していないか、各課題を単独学習した基準とも比べます。

4.マルチモーダル学習は、異なる形式を対応付ける

画像と説明文の組を学ぶと、両者を近いベクトル空間へ配置できます。「赤い傘」という文章と対応画像を近づけ、関係のない組を遠ざける対照学習が代表例です。文章から画像を検索する、画像へ説明を付ける、画像を見て質問へ答える用途があります。 画像と文章が一緒に存在するだけで、正確な対応とは限りません。SNSの説明文は冗談や無関係な文を含みます。視覚情報を無視し、言語だけの頻度で答える近道もあります。画像だけでは答えられない質問、文章だけでは答えられない質問で確認します。

5.融合する場所で、扱える関係と計算が変わる

早期融合は各形式の特徴を早い段階で結合し、細かな相互作用を学びやすくします。後期融合は画像モデルと文章モデルの予測を最後に組み合わせ、個別に交換しやすくします。中間でCross-Attentionを使い、一方の表現から他方を参照する方法もあります。 どれが常に優れるわけではありません。入力が欠けた場合、時間同期がずれた場合、片方だけ誤った場合を試します。音声がなくても映像だけで動くか、矛盾時にどちらを優先するかを決めます。

6.XAIは、モデルへ質問する複数の方法である

画像の予測へ影響した領域を示すGrad-CAM、入力特徴ごとの寄与を近似するLIMEやSHAPなどがあります。説明対象が一件の予測か、モデル全体の傾向かで方法が違います。説明は利用者への案内、開発者の検査、監査で目的も異なります。 色付きの領域や寄与値は、モデルが現実の因果を理解した証明ではありません。入力を少し変えて説明が大きく変わる場合もあります。複数手法、反例、元データ、専門家の判断を合わせます。

7.説明の忠実性と、人への分かりやすさを分ける

分かりやすい説明文でも、実際の内部計算を反映していなければ忠実ではありません。逆に、数千個の寄与値が正確でも利用者には理解できません。誰が、何を決めるために、どの深さの説明を必要とするかを先に定めます。 融資支援なら、主な入力、反事実、データの取得元、異議申立てを示します。「年収が高ければ必ず通る」のように、相関を因果へ変えません。説明を出せても、不公平なモデルや誤った入力が直るわけではありません。

8.知識蒸留は、大きなモデルの振る舞いを小さく移す

教師モデルの正解ラベルだけでなく、各クラスへの確率分布を生徒モデルへ学ばせます。教師が「猫0.55、狐0.40、犬0.05」と出す情報には、種類の似近さが含まれます。温度で分布を滑らかにし、生徒が関係を学びやすくします。 生徒は教師の誤りや偏りもまねます。小型化後は独立したテストを行い、教師と同じ総合精度でも重要な少数例が落ちていないか確認します。教師利用規約と生成データの扱いも確認します。

9.枝刈りと量子化は、不要な計算や数値精度を減らす

枝刈りは影響の小さい重み、チャンネル、層などを取り除きます。個別重みを疎にする方法と、チャンネル単位で削る構造化枝刈りがあります。疎になっても機器が高速化へ対応しなければ、ファイルだけ小さく実時間は変わらない場合があります。 量子化は32ビット浮動小数点を8ビット整数などへ変えます。変換後に評価する方式と、量子化誤差を学習へ入れる方式があります。精度、メモリ、遅延、電力、対応演算を実機で測ります。

10.DAY 30では、応用を導入判断へまとめる

転移、マルチタスク、マルチモーダル、XAI、蒸留、枝刈り、量子化は同じ目的ではありません。データ不足、複数課題、複数形式、説明、小型化のどの問題を解くかで表へ配置します。手法を重ねるほど、評価条件も増えます。 第6章の最後に、画像、言語、音声、強化、生成の一つを選び、入力、出力、学習データ、元モデル、説明対象、端末制約、人の確認を書きます。技術を動かすことから、利用条件を説明できることへ進めば、応用章の到達です。

03|実例で理解する

実例で理解する

具体例で考える

スマートフォンで商品のラベルを撮ると、品名、アレルギー表示、注意事項を読み上げる支援アプリを考えます。画像、文字、音声を扱うマルチモーダルな課題です。利用者の判断を支えることが目的で、医療上の安全を保証するアプリとは位置付けません。 画像encoderは一般画像で事前学習した小型モデルを出発点にし、商品ラベル画像へ調整します。OCRで文字候補を取り、文章encoderが成分名を分類します。商品写真だけから成分を推測せず、実際に読み取った文字と公式データを使います。 訓練データには照明、反射、曲面、斜め撮影、小さい文字、複数言語を含めます。同じ商品の連写が訓練とテストへまたがらないよう商品単位で分割します。一般画像の事前学習あり・なしを比べ、負の転移がないか確認します。 マルチタスクとして、文字領域検出、文字認識、アレルゲン分類を共有encoderで学ぶ案があります。各課題の損失を記録し、文字認識を改善した結果、希少アレルゲンの再現率が落ちていないか、単独モデルとも比較します。 説明画面には、判定だけでなく読み取った原文、画像上の該当位置、公式情報へのリンク、確認時刻を示します。Grad-CAMの色だけを根拠にせず、OCRの文字領域と実際の文字列を利用者が確認できるようにします。反射で読めない場合は撮り直しを促します。 端末内で動かすため、教師モデルから小型モデルへ蒸留し、8ビット量子化を試します。変換前後で全体精度だけでなく、小さい文字、特定言語、希少成分を比較します。実機で起動時間、1枚の処理時間、メモリ、電池消費を測ります。 通信できる場合だけクラウドへ送る設計なら、端末内とクラウドで結果が違う可能性を表示します。撮影画像に氏名や住所が写る場合を考え、必要領域だけ切り出し、保存しない設定を基本にします。外部送信前の同意を明示します。 「含まれていません」という否定の誤認識は重大です。否定語、微量表示、同一工場の注意書きを専用集合で試し、確信が低い場合は読み上げで断定しません。利用者へ原包装の確認と専門家への相談を促します。 公開後は撮り直し率、端末別遅延、誤読報告、人へ確認した件数を記録します。新しい包装へ変わったらデータ分布の変化として再評価します。転移学習で早く作り、マルチモーダルで情報を結び、XAIで確認を助け、軽量化で端末へ載せる一方、それぞれの誤りを独立に測ります。 低価格端末では処理が遅く、高価格端末だけ快適なら、利用対象へ新しい格差を作ります。対応機種の最低性能を決め、処理中表示、タイムアウト、手動入力への切替を用意します。端末内処理を選んでも、更新ファイルや利用記録の送信範囲は別に説明します。 最終判断表には、基準モデル、転移後、蒸留後、量子化後を並べ、精度、希少例の再現率、遅延、メモリ、電力、説明の安定性を記録します。小さくなったという一つの成果で、利用者に必要な正確さを交換しません。モデル更新時は旧版へ戻せるよう版を管理し、端末別の合格結果と配布日を結び付けます。説明表示も変換後モデルで改めて確認し、旧版の説明を流用しません。停止条件、更新責任者、連絡先も決めます。毎月見直します。

手を動かして理解する

  1. 提供ケース「同じ情報を文章・画像・音声で扱う架空例を比較する」または自分が説明できる身近な事例を一つ選び、DAY30「転移・マルチモーダル・解釈・軽量化」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「転移学習、マルチタスク学習、マルチモーダル学習、説明手法、蒸留・枝刈り・量子化を区別し、精度以外を含む導入判断ができる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

転移学習で負の転移が起きた状態はどれですか。

QUESTION 02

マルチタスク学習について適切な説明はどれですか。

QUESTION 03

Grad-CAMなどの説明手法について正しい注意はどれですか。

QUESTION 04

知識蒸留で生徒モデルが学ぶ代表的な情報はどれですか。

QUESTION 05

量子化したモデルを導入する前の適切な確認はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 転移・マルチタスク・マルチモーダルは、再利用する知識と組み合わせる課題が異なる
  • ✓ 説明手法は判断の手掛かりであり、因果・正しさ・公平性を単独では保証しない
  • ✓ 蒸留・枝刈り・量子化は、変換後の精度・遅延・メモリ・電力を実機で再評価する

講義本文 4,036字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
CHAPTER REVIEW第6章の定着テストへ15問を解く →