本文へ移動
← 目次 生成AI発展講座 DAY 15

第3章|機械学習の概要

DAY 15 ・ 約30分

モデル選択と評価

訓練・検証・テスト、指標、交差検証を理解する。

今日できるようになること

データ分割・交差検証・混同行列・主要指標を説明し、クラス不均衡、しきい値、費用、属性別性能を含む評価計画を作れる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

交差検証

データを複数の組へ分け、訓練と検証の役割を入れ替えて複数回評価する方法です。少ないデータで性能のばらつきを確認します。

混同行列

分類結果を真陽性・偽陽性・偽陰性・真陰性へ分けた表です。どの種類の誤りが起きたかを確認できます。

適合率

陽性と予測した中で実際に陽性だった割合です。誤って陽性扱いする偽陽性を減らしたいときに重視します。

再現率

実際の陽性のうち正しく見つけた割合です。見逃しである偽陰性を減らしたいときに重視します。

F1スコア

適合率と再現率の調和平均です。両方のバランスを見る一指標ですが、真陰性や業務費用を直接表しません。

ROC-AUC・PR-AUC

しきい値を動かした分類性能をまとめる指標です。陽性が少ない場合は、適合率と再現率を見るPR-AUCも確認します。

正解率

一万人中十人だけが陽性なら、全員陰性と予測しても正解率99.9%です。

02|仕組みを理解する

仕組みを理解する

1.評価は、モデル作成前に設計する

モデルを作ってから高く見える指標を選ぶと、都合のよい評価になります。最初に利用目的、予測時点、対象、陽性の定義、重大な誤り、比較対象を決めます。不正検知なら見逃し損失と正常取引を止める損失、病気の一次確認なら見逃しと精密検査負担を分けます。 成功条件には、モデル指標だけでなく業務指標を入れます。処理時間、人の確認件数、修正時間、苦情、費用、公平性などです。オフライン得点が上がっても、担当者が扱えない数の警告を出せば利用価値は下がります。評価計画を先に固定し、変更した場合は理由と変更前後の結果を残します。

2.テストデータは、最後の一回へ残す

訓練データでパラメータを学び、検証データで手法・特徴・設定を選び、テストデータで最終性能を確認します。テスト結果を見て特徴を追加し、再び同じテストで採点する作業を繰り返すと、設計判断がテストへ適合します。見えない学習が起き、報告値が楽観的になります。 改善を続ける間は検証を使い、最終候補を固定してからテストを一度使います。大きな変更後は新しい未使用データを集めます。ベンチマークへ何度も投稿して得点を見ながら調整する場合も同じ問題があります。公開得点だけでなく、別条件の内部評価を残します。テストはデータの名称ではなく、設計判断から隔離された役割です。

3.交差検証は、平均とばらつきを見る

k分割交差検証では、データをk個に分け、一つを検証、残りを訓練にしてk回入れ替えます。各例を検証へ一度使い、平均性能とばらつきを得ます。単一分割の偶然を減らし、データが少ないときに役立ちます。分類では各組の比率をそろえる層化分割があります。 前処理も各回の訓練内で学ばなければなりません。全データで標準化や特徴選択をしてから分割すると、検証情報が漏れます。パイプラインで変換とモデルをまとめます。同じ患者、利用者、装置の記録はグループ単位で分けます。時系列は未来を訓練へ混ぜず、過去から未来へ進む分割を使います。交差検証も利用場面を再現する設計が前提です。

4.混同行列で、四種類の結果を分ける

二値分類では、実際に陽性で予測も陽性の真陽性、実際は陰性なのに陽性とした偽陽性、実際は陽性なのに陰性とした偽陰性、実際も予測も陰性の真陰性へ分けます。正解率は真陽性と真陰性を全体で割りますが、どちらの誤りかを区別しません。 一万人中十人だけが陽性なら、全員陰性と予測しても正解率99.9%です。しかし陽性を一人も見つけません。クラス不均衡では正解率だけを使わず、陽性・陰性それぞれの結果を数で確認します。割合だけでなく件数を示すと、現場の確認負担を理解できます。陽性の定義を逆にすれば指標の意味も変わるため、何を陽性としたか明記します。

5.適合率と再現率は、しきい値で交換関係になる

適合率は陽性予測の確かさ、再現率は実際の陽性を拾う広さです。確率しきい値を下げると多くを陽性にし、再現率は上がりやすい一方、偽陽性が増えて適合率が下がりやすくなります。しきい値を上げると逆になります。どちらも常に最大にはできません。 一次スクリーニングでは再現率を重視し、後段で人が絞ることがあります。自動で強い制裁を行う場合は偽陽性を極小にする必要があります。F1は適合率と再現率を一つにしますが、二つの誤りを同じ重さで扱います。費用が違う場合はFβや期待費用、制約付き評価を使います。指標名ではなく、誤りが誰へ何を起こすかから選びます。

6.ROC-AUCとPR-AUCの読み方を分ける

ROC曲線は、しきい値を動かしたときの真陽性率と偽陽性率を描きます。AUCは、無作為に選んだ陽性へ陰性より高いスコアを付ける傾向をまとめます。しきい値に依存しない順位性能を比べられますが、実際の運用点の件数や費用は示しません。 陽性が非常に少ない場合、偽陽性率が小さく見えても件数は多くなります。PR曲線は適合率と再現率を示し、希少陽性を探す性能を読みやすくします。ROC-AUCだけ、PR-AUCだけで結論せず、候補しきい値の混同行列と件数を示します。AUCが高くても確率が校正されているとは限らず、確率を金額判断へ使うなら別に確認します。

7.回帰では、誤差の形と尺度を選ぶ

平均絶対誤差MAEは、予測と実値の差の絶対値を平均し、元の単位で読みやすい指標です。平均二乗誤差MSEやその平方根RMSEは大きな誤差を強く罰します。決定係数R²は、平均だけを予測する基準と比べて、ばらつきをどれだけ説明したかを表します。 R²が高くても、重要な範囲で誤差が大きい場合があります。価格の高い商品ほど誤差額が大きくなる、予測値が負になる、繁忙期だけ外すなどを残差で確認します。割合誤差は実値がゼロに近いと不安定です。平均だけでなく中央値、分位点、最大誤差、対象区分別を示します。業務が大きな外れを嫌うか、通常誤差を減らしたいかで指標を選びます。

8.属性別・時期別・場所別に性能を分解する

全体平均が高くても、少数の属性、特定地域、新しい機器で性能が低いことがあります。性別や年齢のような保護属性だけでなく、データ量、入力品質、店舗、時期、言語、難易度別に確認します。件数が少ない群では指標の不確実性が大きいため、信頼区間や実数も示します。 差があるから直ちに差別、差がないから公平と断定はできません。ラベル自体の偏り、基準率、利用結果を調べます。性能をそろえるためのしきい値変更が別の公平性指標を悪化させる場合もあります。影響を受ける人と目的を明確にし、技術指標だけでなく異議申立て、人の再確認、利用停止の手段を設けます。

9.統計的な差と、実務上意味のある差を分ける

モデルAが0.842、Bが0.845でも、分割や乱数を変えると順番が逆になるかもしれません。交差検証の各結果、複数シード、ブートストラップによる区間などでばらつきを確認します。大量データでは非常に小さな差が統計的に検出されても、業務価値はほとんど変わらないことがあります。 一件当たりの改善、年間件数、費用へ換算します。Bが百万円の運用費を増やし、年間二件しか改善しないなら採用理由は弱いかもしれません。反対に、重大事故を一件防ぐ価値が大きければ小さな平均差でも重要です。採用基準を事前に決め、点推定の順位だけで決めません。性能、ばらつき、費用、重大失敗を同じ表へ置きます。

10.第3章を、一つの評価計画へまとめる

教師あり学習では入力と正解、代表手法では複雑さ、教師なし学習では設定依存の構造、強化学習では報酬と行動を学びました。第3章の最後に、モデルを作る前の評価計画を書きます。対象、予測時点、データ分割、ベースライン、主要指標、重大な誤り、属性別評価、最終テストを一枚へまとめます。 しきい値を誰が決め、導入後に何を監視し、どの条件で停止するかも入れます。精度が高ければ公開するのではなく、誤りを発見し修正できる運用まで確認します。評価は開発の最後に付ける点数ではありません。目的を測定可能な条件へ変え、モデル選択と利用範囲を制御する設計です。

03|実例で理解する

実例で理解する

具体例で考える

健康相談の一次振り分けで、緊急確認が必要な相談を見つける分類モデルを評価します。見逃しの影響が大きいため再現率を主要指標にしますが、全件を緊急にすると担当者が処理できません。最低再現率を決めたうえで、適合率と一日当たり確認件数を比べます。 同じ利用者の過去相談は一つの分割へまとめ、過去期間で訓練し新しい期間でテストします。文章の前処理と特徴選択は各交差検証の訓練内で行います。年齢層、言語、相談分野別に見逃し件数を確認し、件数の少ない群は人の確認へ戻します。 モデルは診断を確定せず、優先確認の候補を出します。しきい値、混同行列、担当者負担、苦情、制度変更を毎月監視します。再現率が基準を下回る、入力形式が大きく変わる、確認待ちが上限を超える場合は自動振り分けを止めます。 採用候補が二つある場合は、同じ未使用期間で再現率の差だけを見ません。最低再現率を両方が満たしたうえで、適合率、一日当たり警告数、推論時間、説明に必要な情報を並べます。差にはブートストラップ等で区間を付け、わずかな順位差を確実な優劣と断定しません。 本番開始後は、モデルが人の判断へ影響するため、収集されるラベルも変わります。優先確認された相談ほど詳しい結果が残ると、未確認群との比較が偏ります。どの案件で正解を確認できたかを記録し、確認されやすさの差を監査します。 評価報告には、対象期間、除外条件、分割単位、陽性件数、混同行列、しきい値、属性別件数を残します。「精度90%」の一文では利用判断ができません。数字が再計算でき、失敗事例へ戻れ、停止判断へつながる状態を評価完了とします。評価日とモデル版も記録し、後の更新結果を同じ条件で比較できるようにします。再評価の担当者と期限も決めます。

手を動かして理解する

  1. 提供ケース「少数の架空顧客データを、特徴量・正解・学習・評価へ分ける」または自分が説明できる身近な事例を一つ選び、DAY15「モデル選択と評価」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「データ分割・交差検証・混同行列・主要指標を説明し、クラス不均衡、しきい値、費用、属性別性能を含む評価計画を作れる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

テストデータの適切な役割はどれですか。

QUESTION 02

陽性が一万人中十人の課題で、全員を陰性と予測した正解率99.9%をどう評価しますか。

QUESTION 03

実際の陽性をできるだけ見逃したくないとき、特に重視する指標はどれですか。

QUESTION 04

交差検証で標準化を行う適切な手順はどれですか。

QUESTION 05

モデルAのAUCが0.842、Bが0.845の場合の適切な判断はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ テストデータは設計判断から隔離し、交差検証も利用時の未知条件を再現する
  • ✓ 混同行列から適合率・再現率を選び、しきい値と実件数で業務影響を確認する
  • ✓ 全体平均だけでなく、属性別性能・ばらつき・費用・停止条件まで評価する

講義本文 4,041字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
CHAPTER REVIEW第3章の定着テストへ15問を解く →