第3章|機械学習の概要
DAY 13 ・ 約30分教師なし学習
クラスタリングと次元削減で、正解のないデータを捉える。
教師なし学習の目的を説明し、k-means・階層クラスタリング・主成分分析の結果を正解ではなく探索的な構造として評価できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
教師なし学習
正解ラベルを与えず、データ中の似たまとまり、分布、低次元表現などの構造を見つける学習です。目的と評価方法は人が決めます。
クラスタリング
似たデータを同じ集団へまとめる方法です。得られた集団が自然界の真の種類であるとは限りません。
k-means法
クラスタ中心への距離が小さくなるよう、割り当てと中心更新を繰り返す方法です。クラスタ数kを事前に決めます。
階層クラスタリング
近いデータや集団を順番に結合する、または大きな集団を分割し、入れ子の関係を樹形図で表す方法です。
次元削減
多くの特徴を、重要な情報をなるべく保ちながら少ない軸へ変換する方法です。可視化、圧縮、雑音低減などに使います。
主成分分析(PCA)
データのばらつきが大きい方向を互いに直交する主成分として求め、少数の軸へ写す線形の次元削減法です。
異常検知
位置情報や異常候補の探索で役立つ場合があります。
仕組みを理解する
1.正解がなくても、目的がないわけではない
教師なし学習では、各データへ正解ラベルを用意しません。しかし、何を見つけたいかは必要です。顧客行動の似た集団を探す、画像を圧縮する、通常と大きく違う記録を見つける、可視化するなど、利用目的によって使う特徴と手法が変わります。「AIに自由に発見させる」だけでは、結果を評価できません。 クラスタが三つ出ても、それが三種類の人間が存在する証明ではありません。距離、尺度、クラスタ数を変えれば分け方も変わります。PCAの第一主成分が大きなばらつきを説明しても、業務上最も重要な原因とは限りません。教師なし学習の結果は、仮説を作る手掛かりです。専門知識、追加データ、別期間で確かめてから意思決定へ使います。
2.距離を測る前に、特徴量の尺度をそろえる
似ているかを距離で測る方法では、特徴の単位が結果を左右します。年収が0〜1000万円、来店回数が0〜20回なら、元の数値のままでは年収差が距離の大半を占めます。標準化により平均0、標準偏差1へそろえるなど、目的に合わせて尺度を調整します。 カテゴリを単純に1、2、3と置くと、存在しない順序や距離を作ります。ワンホット表現などを検討します。欠損値も無視できません。欠損が多い人だけ別クラスタになる場合、それは行動の違いではなく収集過程の違いです。どの特徴を入れ、どう変換したかを保存しなければ、クラスタの意味を説明できません。教師なしでも前処理は中立ではありません。
3.k-meansは、中心と割り当てを交互に更新する
k-meansでは、最初にk個の中心を置き、各データを最も近い中心へ割り当てます。次に、各クラスタの平均を新しい中心とし、割り当てが安定するまで繰り返します。目的は、各点と所属中心の距離の二乗和を小さくすることです。大規模データでも比較的速く動きます。 初期中心によって局所的に異なる結果へ着くため、k-means++などの初期化と複数回実行を使います。丸く同程度の大きさのクラスタを想定しやすく、細長い形、密度差、外れ値に弱い性質があります。平均が意味を持たないカテゴリ中心のデータにもそのまま適用できません。計算できたことと、適切な形を仮定したことを分けます。
4.クラスタ数kは、指標と解釈を合わせて選ぶ
kを増やせば各点と中心の距離は必ず小さくなり、極端には各点を一クラスタにすればゼロになります。そのため距離だけを最小にしてkを決められません。距離の改善が急に緩やかになるエルボー、クラスタ内のまとまりと他クラスタとの離れを比べるシルエット係数などを参考にします。 指標が最も高いkが業務に最適とは限りません。十個のクラスタが数学的に分かれても、担当者が別施策を用意できないなら使えません。逆に、安全上重要な少数集団は小さくても分ける必要があります。別の初期値や期間でも構成が安定するか、各集団へ説明可能な特徴があるか、使った後に不利益が偏らないかを確認します。
5.階層クラスタリングは、まとまりの段階を見せる
凝集型の階層クラスタリングは、最初に各点を別クラスタとし、近いものから結合します。結合過程を樹形図で表すと、大きく二群に分ける見方と、細かく五群に分ける見方を同時に確認できます。最初にkを固定せず、段階的な構造を探索できる利点があります。 クラスタ間距離の定め方を連結法と呼びます。最も近い点を使う単連結は鎖状につながりやすく、最も遠い点を使う完全連結はまとまりを作りやすく、Ward法はクラスタ内分散の増加を抑えます。方法で樹形図が変わります。データ数が多いと計算・表示が重くなり、初期の誤った結合を後で戻せません。図の枝を自然な分類と断定しないことが必要です。
6.密度に基づく方法は、形と外れ値を別に扱う
DBSCANは、一定距離内に十分な近隣点がある領域をクラスタとしてつなぎ、密度の低い点を雑音として扱います。k-meansと違いクラスタ数を事前に決めず、曲がった形の集団も見つけられます。位置情報や異常候補の探索で役立つ場合があります。 近傍半径epsと必要点数を設定し、特徴の尺度に強く依存します。密度が場所ごとに大きく違うデータでは、一つの設定で薄い集団と濃い集団を同時に扱いにくくなります。雑音とされた点が無価値とは限りません。少数の重要事例かもしれないため、人が確認します。手法が「異常」と呼ぶのは密度上離れているという意味で、危険や不正を証明しません。
7.PCAは、ばらつきの大きい新しい軸を作る
主成分分析は、元の特徴の線形結合として新しい軸を作ります。第一主成分はデータの分散が最大になる方向、第二主成分は第一と直交し、残りの分散を最大にする方向です。上位成分だけを残すと、情報の一部を保ちながら特徴数を減らせます。相関した多数の測定値をまとめる、二次元へ可視化する、雑音を減らす用途があります。 分散が大きい方向が予測や業務に重要とは限りません。単位が違う特徴では標準化の有無で主成分が変わります。主成分は複数特徴の混合なので、元の言葉で説明しにくい場合があります。また線形な方法のため、曲がった構造を二次元へ保てません。累積寄与率だけで必要成分数を決めず、下流目的の性能と失われる少数情報を確認します。
8.可視化は、距離と密度を歪めることがある
t-SNEやUMAPは、高次元データの近い関係を二次元へ配置し、画像や文章の表現を眺めるために使われます。複雑な局所構造を見やすくできますが、二次元上のクラスタ間距離や面積を元空間と同じ意味で読めません。設定や乱数で図が変わることもあります。 色分けされた美しい島が見えても、真の種類が発見されたとは限りません。複数設定、別サンプル、元特徴で再確認します。教師ありラベルで後から色を付けると分離して見えやすい選択も起きます。可視化は結論ではなく、近い例、外れ例、ラベル誤りを調べる入口です。意思決定には元の高次元データでの評価を残します。
9.クラスタへ名前を付けるとき、価値判断を混ぜない
クラスタリング後、平均的な特徴を見て「節約志向」「優良顧客」などの名前を付けたくなります。しかし、購入額が低い理由は所得、在庫、利用開始直後など複数あります。ラベルは人の解釈であり、アルゴリズムが意味を発見したわけではありません。否定的な名称は差別や不適切な扱いへつながります。 まず「直近利用少・問い合わせ多」のように観測事実で記述します。属性別の偏り、期間を変えた安定性、施策後の反応を確かめます。クラスタごとに別価格や審査を適用する場合は、個人への不利益と説明可能性を検討します。探索的な集団を固定された人物像へ変えず、定期的に再計算し、個人が移動し得ることを前提にします。
10.DAY 13では、二つの方法で同じデータを見る
十人程度の小さな表を作り、二つの数値特徴を標準化して散布図にします。k-meansでk=2とk=3を比べ、中心、各点の所属、クラスタ内距離を確認します。次に階層クラスタリングの樹形図を想像し、どの距離で切れば同じ群になるかを考えます。 その後、特徴を一つ追加し、結果がどう変わるか予想します。追加特徴が本当に目的へ関係するか、単位が支配しないかを書きます。各クラスタへ価値判断を含まない名前を付け、別期間でも確かめる計画を作ります。「正解がないから自由」ではなく、設定変更で変わる結論を比較し、利用目的に耐えるか説明できることが到達点です。
実例で理解する
具体例で考える
図書館が、利用状況からサービス改善の仮説を作ります。入力は月間来館回数、貸出冊数、電子書籍利用、イベント参加です。年齢や氏名は最初のクラスタ作成へ使わず、結果の偏りを後から確認します。各特徴を標準化し、k-meansのk=2〜5と階層クラスタリングを比較します。 ある群で来館は少ないが電子書籍利用が多い傾向が見えました。これを「来館しない人」と否定的に呼ばず、「電子利用中心」と観測事実で記述します。別年度でも同じ傾向があるか、居住地域や障害の有無で不利益が生じないか確認します。 クラスタだけでサービスを制限せず、アンケートと小規模実験でニーズを確かめます。電子案内を増やした結果、利用満足が上がるかを測ります。教師なし学習は人を決め付ける分類器ではなく、追加調査の問いを作るために使います。 分析を更新するときは、同じ前処理と設定を使った結果と、新しい設定を使った結果を分けます。クラスタ番号1が翌年も同じ集団を表すとは限らないため、中心特徴を比較して対応を付けます。所属が頻繁に変わる人は、境界付近にいる可能性があり、固定的な人物像へ当てはめません。 PCAで二次元へ表示する場合も、図で近く見えることだけを根拠にしません。保持した寄与率、元空間での距離、除外された特徴を確認します。目的がサービス改善なら、最終評価はクラスタの美しさではなく、追加施策が利用者の選択肢と満足を改善したかで行います。
手を動かして理解する
- 提供ケース「少数の架空顧客データを、特徴量・正解・学習・評価へ分ける」または自分が説明できる身近な事例を一つ選び、DAY13「教師なし学習」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「教師なし学習の目的を説明し、k-means・階層クラスタリング・主成分分析の結果を正解ではなく探索的な構造として評価できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
教師なし学習の結果について正しい説明はどれですか。
正解は「設定した特徴・距離・手法に基づく構造で、真の種類と自動的に証明されるわけではない」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
設定した特徴・距離・手法に基づく構造で、真の種類と自動的に証明されるわけではない: 正解は「設定した特徴・距離・手法に基づく構造で、真の種類と自動的に証明されるわけではない」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
正解ラベルと必ず完全一致する: 正解ラベルがないため、そのような保証はありません。
人の目的や評価は不要: 特徴選択と利用目的は人が決めます。
一度得たクラスタは永久に変わらない: データや設定が変われば結果も変わります。
k-means法で事前に決める必要があるものはどれですか。
正解は「クラスタ数k」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
クラスタ数k: 正解は「クラスタ数k」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
各データの正解ラベル: k-meansは正解ラベルを使いません。
将来報酬の割引率: 割引率は強化学習の設定です。
分類しきい値0.5: 分類確率のしきい値ではありません。
階層クラスタリングの特徴はどれですか。
正解は「結合や分割の段階を樹形図で確認できる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
結合や分割の段階を樹形図で確認できる: 正解は「結合や分割の段階を樹形図で確認できる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
必ず一つの直線境界を学ぶ: 線形分類器の説明ではありません。
クラスタ中心の平均更新だけを行う: これはk-meansの中心更新に近い説明です。
正解ラベルの損失を最小化する: 教師なしの階層法は正解ラベルを使いません。
PCAの第一主成分は何を表しますか。
正解は「データの分散が最も大きくなる線形な方向」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
データの分散が最も大きくなる線形な方向: 正解は「データの分散が最も大きくなる線形な方向」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
業務上最も重要な原因: 分散の大きさと因果的重要性は別です。
正解ラベルを最もよく予測することが常に保証された軸: PCAはラベルを使わず、予測最適を保証しません。
外れ値だけを削除した結果: 外れ値削除そのものではありません。
クラスタに名前を付けるときの適切な方法はどれですか。
正解は「『直近利用少・電子利用多』のように観測事実で記述し、別データで確かめる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
『直近利用少・電子利用多』のように観測事実で記述し、別データで確かめる: 正解は「『直近利用少・電子利用多』のように観測事実で記述し、別データで確かめる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
『価値の低い人』と人物の本質を断定する: 価値判断と不利益を生む危険があります。
クラスタ番号を人格として扱う: 番号は計算上の識別で人格ではありません。
一度付けた名称を更新しない: 分布と所属は時間で変化します。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 教師なし学習にも目的・特徴・距離・評価が必要で、結果は真の分類とは限らない
- ✓ k-means・階層法・DBSCANは、仮定するクラスタ形状と設定が異なる
- ✓ PCAや可視化で情報を圧縮するときは、失われる構造と解釈の限界を確認する
講義本文 4,072字
PRIMARY SOURCES