第8章|AIに必要な数理・統計
DAY 39 ・ 約30分ベクトル・行列・距離
データと重みをまとめて計算する表現を学ぶ。
スカラー、ベクトル、行列、内積、転置、ノルム、距離を小さな数値例で追い、ニューラルネットワークの入力と重みの計算を説明できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
スカラー
大きさ一つで表す値です。気温、価格、学習率などが例で、通常は一つの数として書きます。
ベクトル
複数の値を順序付きで並べたものです。一人分の特徴、文章の埋め込み、勾配などをまとめて表します。
行列
数を行と列へ長方形に並べたものです。複数データや、入力を別の表現へ変換する重みを表します。
内積
同じ位置の要素を掛けて合計する計算です。重み付き和や、ベクトル同士の向きの近さに使います。
ノルム
ベクトルの大きさを表す量です。L1ノルム、L2ノルムなど、ずれや重みの大きさを測る方法があります。
次元
ベクトルが持つ成分の数、またはデータを表す軸の数です。次元数が大きいほど必ず情報が良いとは限りません。
コサイン類似度
類似住宅検索では、標準化後のユークリッド距離や埋め込みのコサイン類似度を使えます。
仕組みを理解する
1.一つの値と、並べた値を分ける
商品の価格2,000円はスカラーです。一方、商品を価格、重さ、在庫数の三項目で表すなら(2000, 0.5, 12)のベクトルです。順番には意味があり、別の商品も同じ順序と単位で並べます。 AIは文章や画像も数の並びへ変換して処理します。画像なら画素値、文章ならトークンや埋め込みベクトルです。数値になったから意味が同じになるのではなく、各成分が何を表し、どの変換で作られたかを記録します。
2.ベクトルの足し算とスカラー倍を読む
ベクトル(2,3)と(4,1)の足し算は(6,4)です。各位置を対応させます。(2,3)を2倍すると(4,6)です。画像の明るさ調整や、複数の特徴表現を重み付きで混ぜる処理も、基本は成分ごとの操作です。 単位が違う価格と重さをそのまま足しても現実の意味はありません。計算できることと、意味が通ることを分けます。特徴量では標準化や設計によって尺度をそろえます。
3.内積は、重み付きの合計を作る
入力x=(2,3)、重みw=(0.5,−1)なら内積は2×0.5+3×(−1)=−2です。ニューラルネットワークの一つのユニットは、入力と重みの内積へバイアスを足し、活性化関数へ渡します。 重みが正なら入力が増えると出力を押し上げ、負なら下げる方向へ働きます。ただし深いネットワークでは多数の層と非線形変換が重なるため、一つの重みだけを最終理由として断定できません。
4.行列は、複数の変換をまとめる
二つの入力から三つの出力を作るなら、各出力用の重みを並べて行列にできます。行列Wとベクトルxの積Wxは、複数の内積を一度に計算したものです。ニューラルネットワークの全結合層は、この行列積へバイアスを加えます。 行と列の数が合わなければ掛けられません。形状を「行数×列数」で追う習慣をつけます。バッチ32件、特徴10個なら入力行列を32×10のように表します。
5.転置で、行と列の向きを入れ替える
行列の転置は、行と列を入れ替える操作です。2×3の行列を転置すると3×2になります。データを一件ずつ行へ並べるか、列へ並べるかで、同じ内容でも式の向きが変わります。 実装で行列積の形が合わないとき、意味を考えず転置してエラーだけ消すのは危険です。各軸が「データ件数」「特徴」「出力」のどれかを確認し、意図した対応になっているかを確かめます。
6.単位行列と逆行列の役割を知る
単位行列Iは、掛けても元のベクトルを変えない行列です。数の1に似た役割です。逆行列A⁻¹は、Aによる変換を元へ戻す行列で、A⁻¹A=Iとなります。ただし、正方行列でも逆行列を持たない場合があります。 機械学習では、方程式を解く理論に逆行列が現れても、大規模計算で明示的に逆行列を求めない方法が使われます。計算誤差、速度、安定性を考えるためです。
7.ノルムと距離で、大きさと近さを測る
L2ノルムは各成分の二乗和の平方根で、平面の直線距離に対応します。L1ノルムは絶対値の合計です。二つのベクトルxとyの距離は、差x−yのノルムとして測れます。 どの距離が意味を持つかはデータ次第です。年収の桁が年齢より大きいままでは、ユークリッド距離が年収に支配されます。尺度をそろえ、カテゴリや文章に距離を使う前に表現の意味を確認します。
8.コサイン類似度は、向きの近さを見る
コサイン類似度は内積を二つのベクトルの大きさで割り、向きがどれだけ近いかを表します。文章の埋め込みでは、文章の長さより意味方向の近さを見る用途があります。1に近いほど同じ向き、0は直交、−1は反対向きです。 類似度が高いことは、文章が同じ事実や同じ立場である保証ではありません。「返品できる」と「返品できない」は語が似て高い類似度になる可能性があります。検索後に原文と条件を確認します。
9.次元が増えると、距離の直感が変わる
特徴が増えるほど詳しく表せそうですが、不要特徴、重複、ノイズも増えます。高次元ではデータがまばらになり、近い点と遠い点の差が小さく見える「次元の呪い」が起こることがあります。必要なデータ数と計算量も増えます。 特徴選択や次元削減で、目的に必要な情報を残しながら軸を減らします。ただし削減後の軸は元の意味を直接説明しにくくなる場合があり、性能と説明性を比較します。
10.形状・単位・意味を同時に確認する
行列計算で重要なのは、答えを手計算できることだけではありません。入力の各軸、単位、欠測、標準化、出力の意味を説明することです。形状が合っても、身長cmとmを混ぜれば結果は誤ります。 DAY39では、三つの特徴を持つ二件のデータを2×3行列へ書き、重みベクトルとの内積を計算します。次に尺度を変えた場合の距離を比べます。最後に、その類似度だけで自動判断してはいけない理由を書きます。
実例で理解する
具体例で考える
中古住宅の価格を簡単な線形モデルで考えます。一軒の特徴を、面積、築年数、駅距離の三つで表します。住宅Aは(70㎡, 10年, 8分)、住宅Bは(50㎡, 30年, 20分)です。この三つの値をベクトルxとします。 重みを(30, −5, −8)、バイアスを500とし、価格単位を万円と仮定します。Aの予測は70×30+10×(−5)+8×(−8)+500=2,486万円です。これは入力と重みの内積へバイアスを加えた計算です。 面積の重みが正、築年数と駅距離が負なので、このモデル上では他条件が同じなら面積が増えると価格が上がり、築年数・駅距離が増えると下がります。しかし現実の因果を証明したわけではなく、地域や設備など省いた変数もあります。 住宅AとBを二行へ並べると2×3の行列Xになります。3要素の重みベクトルwを掛けると、二軒分の予測が同時に得られます。1000軒でも考え方は同じで、行列演算によりまとめて計算します。 ただし面積70、築年数10、駅距離8をそのまま距離計算へ使うと、値の幅が大きい面積の影響が強くなります。各特徴を平均0、標準偏差1へ標準化するなど、尺度をそろえます。標準化の平均と標準偏差は訓練データだけで求めます。 類似住宅検索では、標準化後のユークリッド距離や埋め込みのコサイン類似度を使えます。しかし距離が近くても、耐震基準、権利関係、事故歴など重要条件が違う可能性があります。検索結果は候補であり、鑑定や契約判断を自動で置き換えません。 カテゴリである地域名を1、2、3と置くと、「地域3は地域1より2遠い」という不要な順序が生まれます。ワンホット表現や埋め込みなど、カテゴリの性質に合う変換を使います。数へ変換する方法が距離と予測へ影響します。 欠測した駅距離を0分にすると「駅の目の前」という意味に変わります。欠測補完値と欠測フラグを分け、取得できなかった理由を残します。定義域外の値や単位違いをモデル前で止めます。 モデルを学習させるとき、損失を小さくする方向の勾配も重みと同じ形のベクトルとして表されます。各重みに対応する修正量を並べ、行列全体を更新します。DAY40の微分へつながる部分です。 三つの特徴を追加して六次元へすれば必ず良くなるわけではありません。床面積と部屋数のように似た情報が重なると、重みの解釈が不安定になる場合があります。訓練・検証結果、相関、欠測率、取得費用を比べ、追加する価値を確認します。 行列の各行が住宅、各列が特徴であることをデータ仕様へ固定します。途中の処理で列順が変わり、重みは旧順のままだと、形状は3要素同士で計算できても意味が完全にずれます。列名、順序、単位、変換版をモデルと一緒に管理します。 距離が0に近い住宅が見つからない場合、無理に「類似」と表示しません。最も近い候補との距離、対象地域のデータ密度、利用できない重要条件を示し、比較対象不足として人へ返します。数値が出たことと、十分に近いことを分けます。 大規模行列では丸め誤差や計算量も問題になります。同じ理論式でも、安定した分解法や反復法を選ぶ理由があります。DAY39では方法名の暗記より、巨大な逆行列を直接求めることが常に最善ではないと理解します。 モデルへ渡す直前に、行列の形だけでなく各列の要約統計も検査します。すべて0の列、前回の100倍になった列、カテゴリ辞書にない値が急増した列を検知すれば、単位変更や連携不良を本番予測の前に止められます。線形代数の入力は、現実の取得工程と切り離せません。 埋め込みベクトルは数百・数千次元になることがあります。個々の成分を人が直接名付けられなくても、検索精度、反例、言語・属性別の近傍、更新前後の変化を評価できます。「説明しにくい」から無検査でよいのではなく、観察できる振る舞いへ試験を置き換えます。 この例では、ベクトルが一軒の特徴、行列が複数軒、内積が予測、距離が候補検索を表しました。計算結果だけでなく、軸、単位、変換、欠測、利用限界まで説明できて初めて、線形代数をAIへ使ったと言えます。
手を動かして理解する
- 提供ケース「小さな表または図を使い、本文の数式・論理・距離を手計算で確かめる」または自分が説明できる身近な事例を一つ選び、DAY39「ベクトル・行列・距離」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「スカラー、ベクトル、行列、内積、転置、ノルム、距離を小さな数値例で追い、ニューラルネットワークの入力と重みの計算を説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
ベクトルの内積として正しい計算はどれですか。x=(2,3)、w=(0.5,−1)とします。
正解は「2×0.5+3×(−1)=−2」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
2×0.5+3×(−1)=−2: 正解は「2×0.5+3×(−1)=−2」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
2+3+0.5−1=4.5: 同じ位置を掛けて合計していません。
2×3×0.5×(−1)=−3: すべてを掛ける計算ではありません。
(2+0.5,3−1)=(2.5,2): これは成分ごとの別操作です。
2×3行列を転置した形はどれですか。
正解は「3×2」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
3×2: 正解は「3×2」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
2×3のまま: 転置では行数と列数を入れ替えます。
5×1: 要素数の合計では形になりません。
6×6: 要素数を各辺にしません。
距離計算の前に特徴量の尺度を確認する理由はどれですか。
正解は「値の幅が大きい特徴だけが距離を支配する場合があるから」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
値の幅が大きい特徴だけが距離を支配する場合があるから: 正解は「値の幅が大きい特徴だけが距離を支配する場合があるから」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
尺度を変えると必ずデータ件数が増えるから: 件数は自動で増えません。
距離は数値に使えないから: 数値ベクトル間の距離を計算できます。
すべての特徴を同じ値にするため: 情報を消すのではなく比較可能な尺度へ整えます。
コサイン類似度が高い二文章について適切な判断はどれですか。
正解は「意味方向が近い候補だが、同じ事実・立場とは限らない」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
意味方向が近い候補だが、同じ事実・立場とは限らない: 正解は「意味方向が近い候補だが、同じ事実・立場とは限らない」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
必ず一字一句同じ文章である: 表面が異なる文章にも使います。
必ず因果関係がある: 類似度は因果を示しません。
必ず両方とも正しい: 正確性を保証する指標ではありません。
高次元データで起こり得る問題はどれですか。
正解は「データがまばらになり、距離の差が捉えにくくなる」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
データがまばらになり、距離の差が捉えにくくなる: 正解は「データがまばらになり、距離の差が捉えにくくなる」です。講義で扱った定義と判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
特徴が増えるほど必ず説明が簡単になる: 軸が増えると説明が難しくなる場合があります。
必要データ数が必ず減る: 一般に十分な被覆には多くのデータが必要です。
不要な特徴が自動で消える: 特徴選択や正則化が必要な場合があります。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ ベクトルは一件の特徴、行列は複数データや変換をまとめる
- ✓ 内積は重み付き和、ノルムと距離は大きさ・近さを表す
- ✓ 形状が合うだけでなく、各軸の意味・単位・標準化・利用限界を確認する
講義本文 4,054字
PRIMARY SOURCES