本文へ移動
← 目次 生成AI発展講座 DAY 38

第8章|AIに必要な数理・統計

DAY 38 ・ 約30分

統計量と確率分布

平均・分散・共分散・相関・代表的な分布を理解する。

今日できるようになること

代表値、ばらつき、相関、標本と母集団、代表的な確率分布を使い分け、平均や相関だけでは判断できない理由を説明できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

平均・中央値・最頻値

平均は合計を個数で割る値、中央値は順に並べた中央、最頻値は最も多く現れる値です。分布に応じて選びます。

分散・標準偏差

平均からのずれを二乗して平均したものが分散、その平方根が標準偏差です。値の散らばりを表します。

共分散・相関係数

二つの変数が同じ向きに動くかを共分散で表し、尺度の影響を除いて−1から1へ整えたものが相関係数です。

母集団・標本

知りたい対象全体が母集団、その一部を観察したものが標本です。標本から母集団の性質を推定します。

正規分布

平均付近が多く、左右対称の釣鐘形をした連続分布です。すべての現実データが正規分布になるわけではありません。

二項分布

成功・失敗の二結果を、同じ成功確率で独立に一定回数試したときの成功回数を表す離散分布です。

外れ値

箱ひげ図は、中心、広がり、外れた候補をまとめて見せます。

02|仕組みを理解する

仕組みを理解する

1.代表値は、データを一つの数字へ要約する

5人の待ち時間が2、3、3、4、8分なら平均は4分、中央値は3分、最頻値も3分です。どれも同じデータの特徴ですが、答える問いが違います。平均は全値を使い、中央値は極端な値の影響を受けにくく、最頻値は最もよく現れる値を示します。 「平均待ち時間4分」だけでは、多くの人が3分前後で一人だけ8分なのか、全員が4分なのか分かりません。代表値は便利な要約ですが、元の分布を消します。

2.外れ値があると、平均と中央値は離れる

年収や購入金額のように一部の大きな値があるデータでは、平均が多数の人の感覚から離れることがあります。10人中9人が1千円、一人が91千円なら平均は10千円ですが、中央値は1千円です。「典型的な購入」を説明するなら中央値の方が近い場合があります。 外れ値を見つけても、すぐ削除しません。入力ミス、測定故障、実在する重要顧客、詐欺など意味が違います。原因を確認し、除外基準と結果への影響を記録します。

3.分散と標準偏差で、ばらつきを測る

二つのクラスの平均点が70点でも、一方が68〜72点、もう一方が40〜100点なら状態は違います。平均からのずれをそのまま足すと正負が打ち消すため、ずれを二乗して平均したものが分散です。標準偏差は分散の平方根で、元の点数と同じ単位へ戻ります。 予測誤差の平均だけでなく、誤差の散らばりも見ます。平均誤差が小さくても、時々極端に外すモデルは高リスク用途に向かないかもしれません。

4.四分位数と箱ひげ図で、分布の形を見る

データを小さい順に並べ、25%、50%、75%の位置を第1四分位数、中央値、第3四分位数として読みます。中央50%の幅を四分位範囲と呼びます。箱ひげ図は、中心、広がり、外れた候補をまとめて見せます。 平均と標準偏差だけでは、左右非対称、二つの山、長い裾を見落とします。ヒストグラムや箱ひげ図を合わせ、集団が混ざっていないか、極端値がどちら側にあるかを確認します。

5.共分散と相関は、二変数の動きを見る

広告費が増えると売上も増える傾向なら共分散は正、片方が増えると他方が減る傾向なら負になります。しかし共分散は単位に左右されるため、比較しやすいよう標準化した相関係数を使います。1に近いほど正の直線関係、−1に近いほど負、0に近いほど直線関係が弱いことを示します。 相関0でも、U字型のような非線形関係がある場合があります。散布図を見ず、係数一つだけで「関係なし」と断定しません。

6.相関は、因果関係を証明しない

アイスの売上と熱中症が同時に増えても、アイスが熱中症を起こすとは限りません。気温という第三の要因が両方を増やします。逆向きの因果、共通原因、偶然、選択の偏りを考えます。 AIが特徴と結果の相関を学んでも、その特徴を変えれば結果が変わるとは限りません。採用結果と居住地が相関していても、居住地を理由に判断する正当性はありません。予測に役立つことと、原因・介入の根拠を分けます。

7.母集団と標本を分け、標本の取り方を見る

すべての利用者を調べられないとき、一部の標本から母集団を推定します。重要なのは人数だけでなく、選び方です。昼間にWeb回答できる人だけを集めると、母集団全体を代表しない可能性があります。 無作為抽出、層別抽出など、目的に合う方法を選びます。回答しなかった人、除外された人、観測期間を記録します。標本が偏っていれば、細かな計算をしても母集団への結論は歪みます。

8.推定値には、誤差と区間がある

標本平均は母平均の推定値ですが、別の標本を取れば少し変わります。点の数字だけでなく、どの範囲ならもっともらしいかを信頼区間で表します。95%信頼区間の厳密な意味は「同じ方法で区間を繰り返し作ると、長期的に約95%が真の値を含む」です。 「母平均が95%の確率でこの区間にある」と単純に言い換えると、頻度論の定義とは異なります。実務では方法、標本数、偏りと合わせて示します。

9.代表的な確率分布を、条件から選ぶ

二項分布は、成功・失敗、試行回数一定、成功確率一定、試行が独立という条件を置きます。正規分布は連続値の近似によく使われます。ポアソン分布は、一定時間・範囲に起こる比較的まれな回数を扱う場合があります。分布名はデータの見た目だけで決めません。 問い合わせ件数が時間帯で変わるなら、一定発生率の仮定は崩れます。採用した分布の仮定を確かめ、合わなければ別のモデルや区間別の扱いへ変えます。

10.統計量を、AI評価へつなげる

モデル評価値にもばらつきがあります。一回の分割で精度91%だっただけで、他の期間や利用者でも同じとは限りません。交差検証の平均と標準偏差、集団別の中央値や分布、誤差の信頼区間を確認します。 DAY38では一つの数値データを選び、平均、中央値、範囲、標準偏差、ヒストグラムを比べます。次に二変数の散布図と相関を見て、因果を断定できない別説明を二つ書きます。数字を計算するだけでなく、何が消えたかを説明します。

03|実例で理解する

実例で理解する

具体例で考える

配送時間の予測AIを評価します。テスト200件で、実際の到着時刻と予測の差を分単位で記録しました。誤差の平均は0分でしたが、これだけでは正確とは言えません。早過ぎる予測と遅過ぎる予測が打ち消し合うからです。 絶対誤差の中央値は6分、平均は10分でした。少数の大きな遅れが平均を押し上げています。標準偏差は18分で、分布を見ると通常便は0付近、悪天候便は遅れ側に別の山がありました。一つの平均へ混ぜると、二つの条件が隠れます。 通常日150件と悪天候日50件へ分けます。通常日の絶対誤差中央値は4分、悪天候日は22分です。全体平均だけなら運用できそうでも、悪天候では案内時刻として不十分です。天候別のモデル、余裕時間の追加、人への確認を検討します。 距離と絶対誤差の相関係数が0.65だったとします。距離が長いほど誤差が増える傾向はありますが、距離が原因と確定はできません。長距離便ほど高速道路を使い、荷物が多く、時間帯も違うかもしれません。散布図を見て、都市部の短距離でも渋滞時に大きく外れる集団を確認します。 テスト200件が先月の平日昼間だけなら、年間の全配送を代表しません。曜日、季節、地域、荷物種類、委託会社を母集団の条件として整理し、層ごとに標本を集めます。同じ車両の連続便が訓練とテストに分かれないよう、便や期間の単位で分割します。 95%信頼区間を計算しても、収集が偏っている問題は解消しません。区間は無作為変動の不確実さを表す道具で、対象外地域や記録漏れによる系統的な偏りを自動で直しません。標本設計と統計計算を分けます。 一日当たりの重大遅延件数へポアソン分布を仮定する場合、発生が独立で率が一定か確認します。台風の日に遅延が連鎖するなら仮定が合いません。日を天候別に分けるか、別の分布・時系列モデルを考えます。 「90%の便が20分以内」という指標も加えます。平均誤差が良くても、利用者が約束時刻を判断するには分位点が役立ちます。医薬品や生鮮品など遅延影響の大きい荷物は別集団として最大誤差と見逃しを確認します。 新モデルと旧モデルを同じテスト集合で比較し、平均絶対誤差が10分から8分へ改善したとします。しかし悪天候の中央値が22分から25分へ悪化したなら、全体改善だけで置き換えません。利用条件と重要集団へ重みを置き、採用判断を説明します。 データ件数が少ない地域では、点推定の順位だけで「最も悪い地域」と決めません。区間が広いこと、標本数、配送条件を併記し、追加データを集める判断へつなげます。小標本の偶然の上下を、現場評価へ直結させないためです。 分析を翌月も再現できるよう、対象期間、除外条件、欠測処理、集計単位、使用した版を保存します。同じ「平均誤差」でも、遅延を符号付きで平均したのか、絶対値を平均したのかで意味が変わります。指標名だけでなく式と単位を残します。 旧モデルとの差が2分あっても、それが偶然の標本差か、実務上意味のある改善かを分けます。統計的に差が見えることと、利用者が感じる改善は同じではありません。最低限必要な改善幅を先に定め、信頼区間、運用費、重大遅延の件数と一緒に判断します。 結果をグラフへ示すときは、縦軸を途中から切って小差を大きく見せたり、都合のよい期間だけ選んだりしません。母数、単位、期間、欠測、集計方法を図の近くへ置き、別の担当者が同じ読み方をできるようにします。 数字の丸め方も統一し、元データ以上の精密さを装いません。判断に必要な桁だけを適切に示します。 この例の要点は、代表値を増やすこと自体ではありません。平均、中央値、標準偏差、分位点、分布、相関を、それぞれ別の問いへ使うことです。最終的には、利用者が必要とする時間精度と、外れたときの対応へ統計量をつなげます。

手を動かして理解する

  1. 提供ケース「小さな表または図を使い、本文の数式・論理・距離を手計算で確かめる」または自分が説明できる身近な事例を一つ選び、DAY38「統計量と確率分布」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「代表値、ばらつき、相関、標本と母集団、代表的な確率分布を使い分け、平均や相関だけでは判断できない理由を説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

極端に大きい値が少数含まれる購入金額の『典型』を見るとき、まず平均と併せて見るべき値はどれですか。

QUESTION 02

標準偏差が表すものはどれですか。

QUESTION 03

相関係数が0に近い場合に適切な判断はどれですか。

QUESTION 04

標本から母集団を推定するとき、人数以外に重要なものはどれですか。

QUESTION 05

二項分布を使う基本条件はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 平均・中央値・最頻値は異なる問いに答え、ばらつきと分布を併記する
  • ✓ 相関は直線的な関係を要約するが、因果関係を証明しない
  • ✓ 標本の選び方と分布の仮定を確認し、AI評価の不確実さを区間・集団別に示す

講義本文 4,032字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 39「ベクトル・行列・距離」へ次のDAYに進む →