第3章|機械学習の概要
DAY 15 ・ 約30分モデル選択と評価
訓練・検証・テスト、指標、交差検証を理解する。
データ分割・交差検証・混同行列・主要指標を説明し、クラス不均衡、しきい値、費用、属性別性能を含む評価計画を作れる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
交差検証
データを複数の組へ分け、訓練と検証の役割を入れ替えて複数回評価する方法です。少ないデータで性能のばらつきを確認します。
混同行列
分類結果を真陽性・偽陽性・偽陰性・真陰性へ分けた表です。どの種類の誤りが起きたかを確認できます。
適合率
陽性と予測した中で実際に陽性だった割合です。誤って陽性扱いする偽陽性を減らしたいときに重視します。
再現率
実際の陽性のうち正しく見つけた割合です。見逃しである偽陰性を減らしたいときに重視します。
F1スコア
適合率と再現率の調和平均です。両方のバランスを見る一指標ですが、真陰性や業務費用を直接表しません。
ROC-AUC・PR-AUC
しきい値を動かした分類性能をまとめる指標です。陽性が少ない場合は、適合率と再現率を見るPR-AUCも確認します。
正解率
一万人中十人だけが陽性なら、全員陰性と予測しても正解率99.9%です。
仕組みを理解する
1.評価は、モデル作成前に設計する
モデルを作ってから高く見える指標を選ぶと、都合のよい評価になります。最初に利用目的、予測時点、対象、陽性の定義、重大な誤り、比較対象を決めます。不正検知なら見逃し損失と正常取引を止める損失、病気の一次確認なら見逃しと精密検査負担を分けます。 成功条件には、モデル指標だけでなく業務指標を入れます。処理時間、人の確認件数、修正時間、苦情、費用、公平性などです。オフライン得点が上がっても、担当者が扱えない数の警告を出せば利用価値は下がります。評価計画を先に固定し、変更した場合は理由と変更前後の結果を残します。
2.テストデータは、最後の一回へ残す
訓練データでパラメータを学び、検証データで手法・特徴・設定を選び、テストデータで最終性能を確認します。テスト結果を見て特徴を追加し、再び同じテストで採点する作業を繰り返すと、設計判断がテストへ適合します。見えない学習が起き、報告値が楽観的になります。 改善を続ける間は検証を使い、最終候補を固定してからテストを一度使います。大きな変更後は新しい未使用データを集めます。ベンチマークへ何度も投稿して得点を見ながら調整する場合も同じ問題があります。公開得点だけでなく、別条件の内部評価を残します。テストはデータの名称ではなく、設計判断から隔離された役割です。
3.交差検証は、平均とばらつきを見る
k分割交差検証では、データをk個に分け、一つを検証、残りを訓練にしてk回入れ替えます。各例を検証へ一度使い、平均性能とばらつきを得ます。単一分割の偶然を減らし、データが少ないときに役立ちます。分類では各組の比率をそろえる層化分割があります。 前処理も各回の訓練内で学ばなければなりません。全データで標準化や特徴選択をしてから分割すると、検証情報が漏れます。パイプラインで変換とモデルをまとめます。同じ患者、利用者、装置の記録はグループ単位で分けます。時系列は未来を訓練へ混ぜず、過去から未来へ進む分割を使います。交差検証も利用場面を再現する設計が前提です。
4.混同行列で、四種類の結果を分ける
二値分類では、実際に陽性で予測も陽性の真陽性、実際は陰性なのに陽性とした偽陽性、実際は陽性なのに陰性とした偽陰性、実際も予測も陰性の真陰性へ分けます。正解率は真陽性と真陰性を全体で割りますが、どちらの誤りかを区別しません。 一万人中十人だけが陽性なら、全員陰性と予測しても正解率99.9%です。しかし陽性を一人も見つけません。クラス不均衡では正解率だけを使わず、陽性・陰性それぞれの結果を数で確認します。割合だけでなく件数を示すと、現場の確認負担を理解できます。陽性の定義を逆にすれば指標の意味も変わるため、何を陽性としたか明記します。
5.適合率と再現率は、しきい値で交換関係になる
適合率は陽性予測の確かさ、再現率は実際の陽性を拾う広さです。確率しきい値を下げると多くを陽性にし、再現率は上がりやすい一方、偽陽性が増えて適合率が下がりやすくなります。しきい値を上げると逆になります。どちらも常に最大にはできません。 一次スクリーニングでは再現率を重視し、後段で人が絞ることがあります。自動で強い制裁を行う場合は偽陽性を極小にする必要があります。F1は適合率と再現率を一つにしますが、二つの誤りを同じ重さで扱います。費用が違う場合はFβや期待費用、制約付き評価を使います。指標名ではなく、誤りが誰へ何を起こすかから選びます。
6.ROC-AUCとPR-AUCの読み方を分ける
ROC曲線は、しきい値を動かしたときの真陽性率と偽陽性率を描きます。AUCは、無作為に選んだ陽性へ陰性より高いスコアを付ける傾向をまとめます。しきい値に依存しない順位性能を比べられますが、実際の運用点の件数や費用は示しません。 陽性が非常に少ない場合、偽陽性率が小さく見えても件数は多くなります。PR曲線は適合率と再現率を示し、希少陽性を探す性能を読みやすくします。ROC-AUCだけ、PR-AUCだけで結論せず、候補しきい値の混同行列と件数を示します。AUCが高くても確率が校正されているとは限らず、確率を金額判断へ使うなら別に確認します。
7.回帰では、誤差の形と尺度を選ぶ
平均絶対誤差MAEは、予測と実値の差の絶対値を平均し、元の単位で読みやすい指標です。平均二乗誤差MSEやその平方根RMSEは大きな誤差を強く罰します。決定係数R²は、平均だけを予測する基準と比べて、ばらつきをどれだけ説明したかを表します。 R²が高くても、重要な範囲で誤差が大きい場合があります。価格の高い商品ほど誤差額が大きくなる、予測値が負になる、繁忙期だけ外すなどを残差で確認します。割合誤差は実値がゼロに近いと不安定です。平均だけでなく中央値、分位点、最大誤差、対象区分別を示します。業務が大きな外れを嫌うか、通常誤差を減らしたいかで指標を選びます。
8.属性別・時期別・場所別に性能を分解する
全体平均が高くても、少数の属性、特定地域、新しい機器で性能が低いことがあります。性別や年齢のような保護属性だけでなく、データ量、入力品質、店舗、時期、言語、難易度別に確認します。件数が少ない群では指標の不確実性が大きいため、信頼区間や実数も示します。 差があるから直ちに差別、差がないから公平と断定はできません。ラベル自体の偏り、基準率、利用結果を調べます。性能をそろえるためのしきい値変更が別の公平性指標を悪化させる場合もあります。影響を受ける人と目的を明確にし、技術指標だけでなく異議申立て、人の再確認、利用停止の手段を設けます。
9.統計的な差と、実務上意味のある差を分ける
モデルAが0.842、Bが0.845でも、分割や乱数を変えると順番が逆になるかもしれません。交差検証の各結果、複数シード、ブートストラップによる区間などでばらつきを確認します。大量データでは非常に小さな差が統計的に検出されても、業務価値はほとんど変わらないことがあります。 一件当たりの改善、年間件数、費用へ換算します。Bが百万円の運用費を増やし、年間二件しか改善しないなら採用理由は弱いかもしれません。反対に、重大事故を一件防ぐ価値が大きければ小さな平均差でも重要です。採用基準を事前に決め、点推定の順位だけで決めません。性能、ばらつき、費用、重大失敗を同じ表へ置きます。
10.第3章を、一つの評価計画へまとめる
教師あり学習では入力と正解、代表手法では複雑さ、教師なし学習では設定依存の構造、強化学習では報酬と行動を学びました。第3章の最後に、モデルを作る前の評価計画を書きます。対象、予測時点、データ分割、ベースライン、主要指標、重大な誤り、属性別評価、最終テストを一枚へまとめます。 しきい値を誰が決め、導入後に何を監視し、どの条件で停止するかも入れます。精度が高ければ公開するのではなく、誤りを発見し修正できる運用まで確認します。評価は開発の最後に付ける点数ではありません。目的を測定可能な条件へ変え、モデル選択と利用範囲を制御する設計です。
実例で理解する
具体例で考える
健康相談の一次振り分けで、緊急確認が必要な相談を見つける分類モデルを評価します。見逃しの影響が大きいため再現率を主要指標にしますが、全件を緊急にすると担当者が処理できません。最低再現率を決めたうえで、適合率と一日当たり確認件数を比べます。 同じ利用者の過去相談は一つの分割へまとめ、過去期間で訓練し新しい期間でテストします。文章の前処理と特徴選択は各交差検証の訓練内で行います。年齢層、言語、相談分野別に見逃し件数を確認し、件数の少ない群は人の確認へ戻します。 モデルは診断を確定せず、優先確認の候補を出します。しきい値、混同行列、担当者負担、苦情、制度変更を毎月監視します。再現率が基準を下回る、入力形式が大きく変わる、確認待ちが上限を超える場合は自動振り分けを止めます。 採用候補が二つある場合は、同じ未使用期間で再現率の差だけを見ません。最低再現率を両方が満たしたうえで、適合率、一日当たり警告数、推論時間、説明に必要な情報を並べます。差にはブートストラップ等で区間を付け、わずかな順位差を確実な優劣と断定しません。 本番開始後は、モデルが人の判断へ影響するため、収集されるラベルも変わります。優先確認された相談ほど詳しい結果が残ると、未確認群との比較が偏ります。どの案件で正解を確認できたかを記録し、確認されやすさの差を監査します。 評価報告には、対象期間、除外条件、分割単位、陽性件数、混同行列、しきい値、属性別件数を残します。「精度90%」の一文では利用判断ができません。数字が再計算でき、失敗事例へ戻れ、停止判断へつながる状態を評価完了とします。評価日とモデル版も記録し、後の更新結果を同じ条件で比較できるようにします。再評価の担当者と期限も決めます。
手を動かして理解する
- 提供ケース「少数の架空顧客データを、特徴量・正解・学習・評価へ分ける」または自分が説明できる身近な事例を一つ選び、DAY15「モデル選択と評価」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「データ分割・交差検証・混同行列・主要指標を説明し、クラス不均衡、しきい値、費用、属性別性能を含む評価計画を作れる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
テストデータの適切な役割はどれですか。
正解は「設計と設定を固定した後、未知データ性能を最終確認する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
設計と設定を固定した後、未知データ性能を最終確認する: 正解は「設計と設定を固定した後、未知データ性能を最終確認する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
結果を見ながら特徴と設定を何度も調整する: 繰り返すとテストへ適合します。
訓練データと常に同じにする: 未知性能を測れません。
前処理を全データで学ぶために使う: テスト情報が前処理へ漏れます。
陽性が一万人中十人の課題で、全員を陰性と予測した正解率99.9%をどう評価しますか。
正解は「陽性を一人も見つけないため、正解率だけでは不十分」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
陽性を一人も見つけないため、正解率だけでは不十分: 正解は「陽性を一人も見つけないため、正解率だけでは不十分」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
非常に優秀で他指標は不要: 希少陽性では高い正解率が役に立たない場合があります。
再現率は100%: 陽性を見つけないので再現率は0です。
偽陰性は0件: 実際の陽性十人が偽陰性です。
実際の陽性をできるだけ見逃したくないとき、特に重視する指標はどれですか。
正解は「再現率」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
再現率: 正解は「再現率」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
適合率だけ: 適合率は陽性予測の確かさを見ます。
真陰性の件数だけ: 陽性の見逃しを直接測りません。
R²: R²は主に回帰評価です。
交差検証で標準化を行う適切な手順はどれですか。
正解は「各回の訓練部分だけで尺度を学び、その変換を検証部分へ適用する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
各回の訓練部分だけで尺度を学び、その変換を検証部分へ適用する: 正解は「各回の訓練部分だけで尺度を学び、その変換を検証部分へ適用する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
分割前に全データで平均と標準偏差を求める: 検証情報が訓練処理へ漏れます。
検証部分だけで学び訓練へ適用する: 学習と適用の向きが逆です。
標準化後はテスト不要とする: 前処理をしても未知性能確認は必要です。
モデルAのAUCが0.842、Bが0.845の場合の適切な判断はどれですか。
正解は「分割・乱数によるばらつき、運用点の件数、費用も比べる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
分割・乱数によるばらつき、運用点の件数、費用も比べる: 正解は「分割・乱数によるばらつき、運用点の件数、費用も比べる」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
0.003高いBが必ず実務で優れる: 小差は不確実性内かもしれず、費用も異なります。
AUCだけでしきい値を自動決定する: AUCは運用しきい値を決めません。
属性別性能は確認しない: 全体平均が少数群の低性能を隠す場合があります。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ テストデータは設計判断から隔離し、交差検証も利用時の未知条件を再現する
- ✓ 混同行列から適合率・再現率を選び、しきい値と実件数で業務影響を確認する
- ✓ 全体平均だけでなく、属性別性能・ばらつき・費用・停止条件まで評価する
講義本文 4,041字
PRIMARY SOURCES