本文へ移動
← 目次 生成AI基礎講座 DAY 08

第2章|生成AIの仕組み

DAY 08 ・ 約15分

文章・画像・音声をつくる

情報の形式ごとの仕組みと、複数形式をつなぐマルチモーダルAIを理解する。

今日できるようになること

文章・画像・音声・動画の生成と理解の違いを説明し、素材・工程・確認方法を用途に合わせて設計できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。

モダリティ

文章、画像、音声、動画、センサー値など、情報を表す形式のことです。同じ内容でも、文字で読むのか、写真で見るのか、声で聞くのかによって、モデルが受け取るデータと必要な確認方法が変わります。

マルチモーダル

文章と画像、音声と動画のように、複数のモダリティを一つの処理や会話の中で扱う能力です。複数形式に対応していても、各形式を同じ精度で完全に理解できるという意味ではありません。

コンテキスト

現在の出力を作るために参照できる指示、会話、文章、画像、音声などの情報です。渡した素材が多すぎる、読みにくい、互いに矛盾する場合、必要な情報が範囲内にあっても正しく使われないことがあります。

OCR

画像やPDFに写った文字を読み取り、編集や検索ができる文字データへ変える技術です。かすれ、傾き、手書き、特殊な字体、複雑な表では読み間違いが増えるため、原画像との照合が必要です。

音声認識

人の声を分析し、話した内容を文字へ変える技術です。雑音、同時発話、固有名詞、方言、マイクの品質によって結果が変わり、話者や句読点の区切りも誤ることがあります。

音声合成

文章を読み上げる音声へ変換する技術です。声質、速度、抑揚を調整できる場合がありますが、読み方、感情、本人らしさを自動で保証するものではなく、なりすましへの対策も必要です。

画像生成

文章や参考画像などの条件から、新しい画像を作る処理です。多くの方式では、学習した視覚パターンを使って少しずつ画像を整えます。文字、指の形、厳密な寸法、ブランド固有表現は崩れることがあります。

来歴情報

生成物を誰が、どの素材と手順で作り、どこを人が修正したかをたどるための記録です。ファイルの記録や透かしだけに頼らず、元素材、指示、生成日時、確認者、公開版を一緒に管理します。

02|仕組みを理解する

仕組みを理解する

1.生成AIは、文章だけを作る技術ではない

生成AIが広く知られた入口は会話文でしたが、現在は文章、画像、音声、動画、コードなど多様な形式を扱います。文章なら言葉の並び、画像なら色や形の配置、音声なら時間とともに変化する波形というように、データの構造は異なります。そのため『生成AIが使える』という一言では、何を入力でき、何を出力できるかは分かりません。まず入力と出力のモダリティを分け、目的に合う処理かを確認します。写真を説明文へ変えるのは画像理解と文章生成、文章から広告画像を作るのは文章理解と画像生成です。同じ画面で行えても、内部では異なるモデルや工程を組み合わせる場合があります。

2.文章生成は、意味を保ちながら言葉の候補を組み立てる

文章を扱うモデルは、入力を細かな単位へ分け、文脈に続く候補を選びながら出力を作ります。要約、言い換え、構成案、翻訳、分類、コードの下書きなどに使えます。元資料と目的を明確にすれば、同じ事実を初心者向け、社内向け、SNS向けへ表現し直すことも得意です。ただし、自然な文章を作る能力と、主張の事実性は別です。数字や固有名詞が不足していると、もっともらしく補うことがあります。また、入力文の皮肉や地域特有の前提を読み違える場合もあります。文章だけの成果物でも、根拠、対象読者、禁止表現、確認者を決めて使います。

3.画像生成は、見た目の条件から画面全体を作る

画像生成では、文章で指定した被写体、構図、色、光、質感などを手掛かりに、学習した視覚パターンから画像を組み立てます。写真風、イラスト、図案、背景素材、複数案の比較に向きます。一方で、商品ラベルの正確な文字、機械部品の寸法、地図の位置関係、ロゴの形など、厳密さが必要な情報は崩れることがあります。見た目が魅力的でも、実在の商品仕様や建物構造を証明する資料にはなりません。用途を『雰囲気案』と『事実を示す画像』に分け、後者では実写、設計図、公式素材など確認可能な原資料を使います。

4.音声の仕事は、認識と合成を分けて考える

音声を扱う仕事には、声を文字へ変える音声認識と、文字を声へ変える音声合成があります。会議録なら、録音を文字起こしし、その文章を要約する二段階です。読み上げなら、確定した原稿を音声へ変換します。雑音の多い録音では、聞き間違えた固有名詞が要約段階で自然な別名へ直され、完成文だけでは誤りに気付きにくくなります。音声合成では数字や略語の読み方を誤ることがあり、本人の声に似せる場合は同意やなりすまし対策が重要です。最終音声だけでなく、元録音、文字起こし、確定原稿をたどれるようにします。

5.動画は、画像と音声と時間の組み合わせ

動画は静止画の連続だけではありません。画面に映る人物や文字、話している音声、場面の順序、前後の出来事が組み合わさって意味になります。動画の要約では、映像だけを見ると発言を落とし、音声だけを見ると表情や画面資料を落とす可能性があります。また、長い動画を均等に理解できるとは限らず、どの場面を取り出したかで要約が変わります。実務では、目的となる区間、必要な話者、画面上の資料、時刻を指定し、重要な判断は元動画の該当時刻へ戻ります。生成動画は企画や表現に使えますが、現実の出来事を記録した映像とは区別して表示します。

6.マルチモーダルは、形式をまたいで関係を扱う

マルチモーダルAIでは、写真を見て質問へ文章で答える、図表から傾向を説明する、音声と画面を合わせて会議をまとめる、といった形式間の変換ができます。従来はOCR、画像認識、音声認識、言語モデルを個別につなぐことが多く、現在は複数形式を一つのモデルで扱う場合もあります。ただし『一つのモデル』という説明だけで、工程上の誤りが消えるわけではありません。画像内の小さな数字を読み違えれば、その誤りを使って流ちょうな分析文を作ります。どの形式から何を取り出し、どの原資料と照合するかを明示することが重要です。

7.コンテキストへ入れれば、すべて同じ強さで使われるわけではない

文章、画像、音声を一度に渡せても、量、形式、解像度、長さには制限があります。ピントの合わない写真、細かな表、雑音の多い音声、長時間の動画では、必要情報が欠けたり圧縮されたりします。複数資料が矛盾すれば、モデルがどちらを優先したか分からないこともあります。素材を丸ごと投入する前に、目的に必要な範囲へ絞り、ファイル名、日付、版、ページ、時刻を付けます。『この画像の金額だけを読み、表の合計と照合する』のように処理単位を小さくすれば、失敗した場所を特定しやすくなります。

8.チャットAIは、マルチモーダルモデルそのものではない

利用者が触るチャットAIは、モデルに会話履歴、ファイル受付、OCR、音声入出力、画像生成、検索、安全機能、保存設定などを組み合わせたサービスです。同じ会話画面でも、契約、選択モデル、端末、ファイル形式によって使える機能と上限が違います。画像を添付できることと、画像を新しく生成できることも別です。音声で話せることと、録音ファイルを正確に文字起こしできることも同じではありません。サービスを選ぶときは名称だけでなく、入力形式、出力形式、長さや容量、データ利用、共有範囲、費用、確認手段を実際の仕事で比較します。

9.できることは、形式変換と複数案の作成

生成AIは、会議音声から文字起こしと要点を作る、商品写真から説明文案を作る、文章から挿絵の案を作る、長い動画から場面候補を探すなど、素材を別形式へ変換する下準備で力を発揮します。人がゼロから作業するより速く、複数案を比較しやすくなります。アクセシビリティの面でも、画像説明、字幕、読み上げ原稿の下書きを支援できます。ただし、変換後の品質は元素材の品質に左右されます。用途に必要な正確さ、表現、権利、安全性を満たすかは別に評価し、重要な成果物は人が原資料と照合して採用します。

10.できないことは、現実・権利・本人性を自動保証すること

生成された写真風画像が実際の場所を示す、合成音声が本人の発言である、動画の要約が全場面を公平に反映する、と自動で保証することはできません。画像内の文字や物の数を誤り、音声で固有名詞を聞き違え、動画の重要な短い場面を見落とすことがあります。さらに、入力素材の利用許諾、生成物の類似、人物の肖像や声の同意、商標、機密情報などの確認も必要です。モデルが作成できることと、公開してよいことは別です。医療画像、事故記録、本人確認など影響が大きい用途では、生成物を証拠や最終判断へ置き換えません。

11.失敗例は、前工程の誤りを後工程が整えてしまうこと

営業会議の録音から議事録とSNS画像を自動作成した例を考えます。音声認識が商品名と価格を聞き違えましたが、文章生成は誤った内容を読みやすく整理し、画像生成はその価格を大きく表示した広告案を作りました。担当者が最終画像だけを見て公開すると、誤情報が複数形式へ広がります。対策は、各工程の出力を保存し、商品名、金額、日付、人物名を元録音と正式資料で確認することです。前工程の確信度が低い箇所を印で示し、人が確定するまで次の公開工程へ渡さない設計も有効です。自動化の範囲が広いほど、途中確認が重要になります。

12.安全確認と読者演習は、素材から公開までを一本で見る

入力前に、素材の所有者、本人の同意、個人情報・機密情報、サービスのデータ条件を確認します。生成中は、原資料との対応、文字や数字、人物、時間順、欠落を確認します。公開前は、誤解を招く表現、権利、アクセシビリティ、生成物であることの表示、承認者、削除手順を決めます。読者演習として、自分の仕事を一つ選び、入力モダリティ、途中の変換、出力モダリティを矢印で書いてください。各矢印に『起こり得る誤り』『確認する原資料』『人が止める条件』を一つずつ付けます。最後に、生成AIを使わず単純な変換や人の作業で十分な工程も示し、全体の修正時間まで比較します。

03|実例で理解する

実例で理解する

具体例で考える

店舗が新商品の紹介動画を作る場面では、担当者が許諾済みの商品写真、正式な仕様表、確定した価格、読み上げ原稿を準備します。生成AIは、写真から説明文案を作り、原稿の読み上げ音声と背景画像の候補を作れます。しかし、写真にない機能を補う、仕様表の数字を読み違える、ブランドに合わない表現を作る可能性があります。担当者は、文章を仕様表と照合し、音声の数字・固有名詞を聞き、画像の文字・商品形状・類似表現を確認します。公開版には使用素材、生成日時、修正内容、承認者を記録します。生成AIを企画と素材作成へ使い、商品事実の確定と公開責任を人へ残す分担です。初めて試す時は、文章だけ、次に音声、最後に画像という順で一つずつ確認すると、どの工程で誤りが入ったかを見つけやすくなります。

手を動かして理解する

  1. 今日の三つの用語を、見ずに説明する
  2. 仕事や生活の例へ置き換える
  3. 間違えた確認問題の理由を声に出して説明する

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

会議の録音を議事録へ変えるとき、確認の流れとして最も適切なものはどれですか。

QUESTION 02

マルチモーダルAIの説明として、最も適切なものはどれですか。

QUESTION 03

広告用の商品画像を生成したところ、ラベルの文字と容量が崩れていました。最も適切な対応はどれですか。

QUESTION 04

長い動画から重要な決定事項を確認するとき、最も適切な方法はどれですか。

QUESTION 05

複数形式を使う生成作業を安全に進める設計として、最も適切なものはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ モダリティごとにデータ構造、得意な処理、失敗の形が違う
  • ✓ マルチモーダルは複数形式を扱えるが、各形式の正確さを保証しない
  • ✓ 入力・変換・公開の各工程で原資料、権利、人の承認を確認する

NEXT LESSONDAY 9「LLM・トークン・文脈長」へ次のDAYに進む →