本文へ移動
← 目次 生成AI発展講座 DAY 12

第3章|機械学習の概要

DAY 12 ・ 約30分

回帰と分類の代表手法

線形回帰、ロジスティック回帰、決定木などを使い分ける。

今日できるようになること

線形回帰・ロジスティック回帰・k近傍法・決定木・サポートベクターマシン・アンサンブルの考え方を説明し、データと目的に合う候補を比較できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

線形回帰

特徴量の重み付き和で連続値を予測する方法です。関係を係数として読みやすい一方、複雑な非線形関係はそのままでは表しにくくなります。

ロジスティック回帰

特徴量の重み付き和を確率へ変換し、主に分類へ使う方法です。名前に回帰とありますが、代表的な分類手法です。

k近傍法

未知の入力に近い訓練例をk個探し、その多数決や平均から予測する方法です。距離の定義と特徴量の尺度に影響されます。

決定木

特徴量への条件分岐を繰り返して予測する方法です。判断経路を読みやすい一方、深く育てると過学習しやすくなります。

サポートベクターマシン

種類の境界に近い例との間隔を大きく取る境界を探す方法です。カーネルを使うと非線形な境界も扱えます。

アンサンブル学習

複数のモデルを組み合わせ、単体より安定した予測を目指す方法です。バギング、ブースティング、ランダムフォレストなどがあります。

ランダムフォレスト

ランダムフォレストも同じ時系列分割で比較します。

02|仕組みを理解する

仕組みを理解する

1.線形回帰は、変化量を係数で説明する

線形回帰は、予測値を「切片+特徴量×係数」の合計として表します。住宅価格なら、広さが一平方メートル増えると他の条件が同じ場合に価格がどれだけ変わるかを係数で表せます。複数特徴を使う重回帰でも基本は同じです。計算が軽く、各特徴との関係を確認しやすいため、強いベースラインになります。 ただし、係数をそのまま原因と解釈できません。駅に近い住宅の係数が大きくても、地域や築年数との関係が混ざっている可能性があります。特徴同士が強く似る多重共線性では係数が不安定になります。外れ値も平均二乗誤差へ大きく影響します。残差を確認し、関係が曲線なら変換や別手法を考えます。読みやすさは、前提を確認しなくてよいという意味ではありません。

2.ロジスティック回帰は、分類確率を境界へ変える

ロジスティック回帰は、特徴量の重み付き和を0〜1の確率へ変換します。解約確率が0.72のように出し、決めたしきい値以上なら解約候補と分類します。係数の符号から、他条件が同じときに確率を上げる方向か下げる方向かを確認できます。線形な境界ですが、速く安定した分類の基準になります。 0.5をしきい値にする必然はありません。病気の見逃しを減らすなら低め、不正扱いによる被害を減らすなら高めなど、誤りの影響で決めます。出力された0.8が実際に約80%の頻度を表すかは確率校正で確認します。分類精度だけでは、確率の信頼性は分かりません。名称の「回帰」に惑わされず、分類確率と意思決定を分けて扱います。

3.k近傍法は、似た例をどう定めるかで決まる

k近傍法は、新しい例の近くにある訓練例を探します。分類では多数決、回帰では平均を使います。モデル式を学習するというより、訓練例を保持して予測時に比較します。近い事例から説明できる利点があり、複雑な境界も表せます。 距離は特徴量の尺度に影響されます。年収が数百万円、利用回数が一桁なら、標準化しないと年収差が距離を支配します。関係のない特徴を増やすと、高次元ではどの点も同程度に遠くなる「次元の呪い」が起こります。kが小さすぎれば雑音へ敏感、大きすぎれば局所差を消します。似ているという言葉を直感で済ませず、使った特徴、尺度、距離、kを明示します。

4.決定木は、質問を重ねて領域を分ける

決定木は、「利用日数が30日未満か」「問い合わせ回数が3回以上か」のような条件でデータを分け、葉で予測します。数値とカテゴリの非線形な関係を扱え、標準化が不要なことが多く、経路を人が読みやすい利点があります。特徴間の組合せも分岐として表せます。 データを細かく分け続けると、一件だけに合う枝ができ過学習します。最大深さ、葉に必要な例数、剪定で複雑さを制御します。木の上部にある特徴が必ず因果的に重要とは限りません。データが少し変わると分岐が大きく変わる不安定さもあります。説明へ使う場合は、経路の読みやすさだけでなく、別データでも同じ判断が保たれるかを確認します。

5.SVMは、境界に近い例を重視する

サポートベクターマシンは、種類を分ける境界と、境界に最も近い訓練例との間隔を最大化します。離れた多数の例より、境界を決めるサポートベクトルが重要です。完全に分けられない場合は、間隔を広くすることと誤分類を許すことのバランスをCで調整します。 カーネル法を使うと、元の空間では直線で分けられない関係を、高い次元で線形に分けるよう計算できます。RBFカーネルなどがありますが、Cやガンマの設定に敏感で、特徴量の尺度調整が重要です。大規模データでは計算が重く、確率出力も追加処理が必要です。高性能という評判ではなく、データ量、次元、説明、調整費用で候補にします。

6.ランダムフォレストは、多数の違う木を平均する

一つの決定木はデータ変化に敏感です。ランダムフォレストは、訓練データを重複ありで取り出した複数集合を作り、各分岐でも特徴の一部だけを候補にして、多様な木を育てます。分類は多数決、回帰は平均で統合します。木同士の誤りが完全には同じでなければ、平均により分散を抑えられます。 単木より高性能で安定しやすく、数値・カテゴリの複雑な関係を扱えます。一方、何百本もの木全体を単純な一経路として説明できません。特徴重要度も、種類の多い特徴を高く見積もるなど方法上の偏りがあります。並べ替えによる重要度や部分依存など別の確認を組み合わせます。平均化でデータの偏りや誤ラベルが消えるわけではありません。

7.ブースティングは、前の誤りを次のモデルで直す

ブースティングは、弱いモデルを順番に追加し、前までの誤りを次が補うよう学習します。勾配ブースティングでは、現在の予測の残差や損失の改善方向を小さな木で学び、合計します。表形式データで高い性能を出すことが多く、XGBoost、LightGBMなどの実装が広く使われます。 順番に誤りへ合わせるため、学習率、木の深さ、木の数を調整します。学習率を小さくして多くの木を使うと慎重に改善できますが、計算が増えます。雑音や誤ラベルへも合わせ過ぎる可能性があります。検証データの改善が止まったら学習を止める早期終了を使います。高得点でも判断理由は複雑になるため、性能と説明の要件を分けて評価します。

8.正則化は、係数を制約して複雑さを抑える

線形モデルでは、訓練誤差だけを小さくすると係数が極端になる場合があります。L2正則化は係数の二乗を、L1正則化は絶対値を損失へ加え、大きな係数へ罰を与えます。L1は一部係数をゼロにしやすく、特徴選択のように働きます。Elastic Netは両方を組み合わせます。 正則化は重要な特徴を自動で真実として選ぶ仕組みではありません。相関した特徴のどれを残すかは不安定なことがあり、尺度が違えば罰のかかり方も変わります。強すぎれば学習不足、弱すぎれば過学習になります。検証データで強さを選びます。複雑さを制御する考え方は、木の深さ、近傍数、SVMのCなど他手法にも共通します。

9.手法選択は、性能だけでなく運用条件で決める

表データでは、まず線形・ロジスティック回帰と単純木を基準にします。関係が複雑ならランダムフォレストやブースティングを比較します。例が少なく次元が高い分類ではSVM、似た事例の説明が重要ならk近傍法が候補になります。ただし、これは開始候補であり、データを見ずに最適手法を断定できません。 比較条件をそろえ、同じ分割と指標で検証します。予測時間、メモリ、欠損値への対応、更新頻度、確率の必要性、説明対象も確認します。得点差がわずかなら、単純で保守しやすい方が現実的です。複雑なモデルを選ぶ場合は、どれだけ改善し、何の費用が増えたかを数字で残します。手法名の格ではなく、目的との適合で選びます。

10.DAY 12では、同じ課題へ三つの候補を置く

一つの分類課題を選び、ロジスティック回帰、決定木、ランダムフォレストを候補にします。それぞれについて、表せる関係、前処理、過学習の制御、説明方法、計算費用を書きます。次に同じ訓練・検証分割で評価し、ベースラインとの差を比べる計画を作ります。 採用理由は「精度が一番」だけにしません。重大な誤り、しきい値変更、確率の信頼性、担当者が説明できるかを含めます。決定木の一経路が読みやすくても性能が不安定なら、その限界を書きます。ランダムフォレストが高得点でも説明費用が大きいなら、改善幅と交換できるか判断します。

03|実例で理解する

実例で理解する

具体例で考える

会員制サービスの解約候補を予測します。入力は利用日数、直近利用回数、問い合わせ回数、契約期間です。最初にロジスティック回帰を使い、各特徴が解約確率を上げ下げする方向と基準性能を確認します。次に深さを制限した決定木で、非線形な条件分岐を試します。 ランダムフォレストも同じ時系列分割で比較します。正解率だけでなく、実際に解約した人を見つける再現率、誤って連絡する人数、確率校正、担当者の確認時間を測ります。高確率者へ自動で割引を送るのではなく、利用状況を確認する候補として人へ提示します。 ロジスティック回帰とランダムフォレストの差が小さければ、説明と運用が簡単な前者を選びます。差が大きければ、後者の誤りを属性別に確認し、重要度を原因と断定せず、実験で施策効果を確かめます。予測と解約を防ぐ因果的な施策は別の問題です。 運用では、毎月同じ検証用データだけを採点せず、新しく結果が確定した期間を追加します。利用回数の計測方法や契約内容が変われば、過去との比較条件も記録します。予測対象を広げる場合は、元の対象で高性能だったことを根拠にせず、新しい対象を別テストへ残します。 また、担当者が予測を見た後に行動すると、将来のラベルそのものが変わります。連絡した人の解約が減っても、モデルの予測が誤りだったとは限りません。予測精度の評価と、施策の効果検証を別に設計することで、モデル選択と事業判断を混同せずに済みます。

手を動かして理解する

  1. 提供ケース「少数の架空顧客データを、特徴量・正解・学習・評価へ分ける」または自分が説明できる身近な事例を一つ選び、DAY12「回帰と分類の代表手法」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「線形回帰・ロジスティック回帰・k近傍法・決定木・サポートベクターマシン・アンサンブルの考え方を説明し、データと目的に合う候補を比較できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

ロジスティック回帰の主な用途はどれですか。

QUESTION 02

k近傍法で特徴量の標準化が重要になる理由はどれですか。

QUESTION 03

決定木を深く育て過ぎた場合に起こりやすいことはどれですか。

QUESTION 04

ランダムフォレストが単一の決定木より安定しやすい理由はどれですか。

QUESTION 05

モデルAと複雑なモデルBの検証得点差がごく小さい場合の現実的な判断はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 代表手法は、表せる境界・複雑さ・前処理・説明・計算量が異なる
  • ✓ しきい値や複雑さの設定は、誤りの影響と未知データで選ぶ
  • ✓ 高得点だけで決めず、単純な基準からの改善幅と運用費用を比べる

講義本文 4,103字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 13「教師なし学習」へ次のDAYに進む →