本文へ移動
← 目次 生成AI発展講座 DAY 35

第7章|AIの社会実装

DAY 35 ・ 約30分

MLOpsと継続監視

データや環境の変化を検知し、更新と停止を管理する。

今日できるようになること

MLOpsの目的、データ・モデル・業務の監視、ドリフト、再学習、インシデント対応を説明し、AIを継続運用する管理計画を作れる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

MLOps

機械学習の開発、試験、公開、監視、更新を再現可能かつ安全に運用するための技術・手順・役割の総称です。

データドリフト

本番入力の分布が訓練時や基準期間から変わることです。必ず性能低下を意味しませんが、調査の信号になります。

コンセプトドリフト

入力と正解の関係が変わり、同じ入力でも望ましい予測が変わることです。制度や人の行動変化で起こります。

モデルレジストリ

モデル版、データ、コード、評価、承認、公開状態などを対応付けて管理する台帳です。

再現性

同じデータ、コード、設定、環境から、同じまたは説明可能な結果を再び得られる性質です。

インシデント

AIの誤作動、停止、漏えい、差別的影響、悪用など、品質・安全・権利へ問題を生じた事象です。

モデル監視

モデル監視は精度、確信度、誤り種類、対象外率です。

02|仕組みを理解する

仕組みを理解する

1.AIは、公開した日から条件が変わり始める

通常の規則ソフトは、コードが同じなら同じ入力へ同じ処理をします。AIも計算自体は同じでも、入力する人、商品、言葉、機器、制度が変わると性能が変わります。訓練時に存在しなかった条件が増えます。 本番公開を完了ではなく、監視と改善の開始と捉えます。誰が毎日・毎月何を見るか、正解がいつ分かるか、どの条件で止めるかを公開前に決めます。

2.MLOpsは、自動再学習だけを意味しない

MLOpsはデータ取得、品質検査、学習、評価、承認、公開、監視、ロールバックを一つの管理された流れにします。目的は速く更新することだけでなく、再現性と責任を保つことです。 小規模な仕組みでは、すべて自動化する必要はありません。チェックリスト、版管理、定期評価、人の承認から始められます。高リスクなモデルを、データ追加だけで自動公開しません。

3.システム・データ・モデル・業務を別々に監視する

システム監視は稼働率、遅延、エラー、CPU、費用です。データ監視は欠測、範囲、カテゴリ、入力長、集団比率です。モデル監視は精度、確信度、誤り種類、対象外率です。業務監視は時間、売上、事故、苦情、人の修正です。 一層だけ見ると原因を誤ります。売上低下がモデル精度ではなく、在庫切れや画面障害による場合があります。指標を因果の流れに沿って並べます。

4.データドリフトを、基準分布との差として見る

訓練時は20〜50歳が中心だったのに、利用時に高齢者が増える、カメラ解像度が変わる、新しい単語が増えると入力分布が変わります。平均、分散、カテゴリ割合、距離指標などで基準期間と比較します。 差を検知しても、直ちに再学習しません。性能へ影響しない変化もあります。どの特徴が変わり、対象集団と誤りがどう動いたか調べます。

5.コンセプトドリフトは、正解との関係の変化である

過去は収入が返済能力と強く関係していても、制度や経済状況が変われば関係が変化します。迷惑メールの手口が変わると、同じ単語の意味も変わります。入力分布が同じに見えても、正解との関係が変わる場合があります。 正解が得られるまで時間がかかる課題では、先行指標と遅れて確定する性能を分けます。人の修正率、苦情、対象外率を早期信号にし、確定ラベルで後から検証します。

6.監視しきい値と対応手順を対にする

警告だけを大量に出しても、誰も対応しなくなります。各指標へ注意・調査・停止の段階を設け、担当、期限、確認項目を決めます。欠測率5%で調査、20%で自動処理停止のようにします。 しきい値は過去の通常変動と失敗影響から決めます。毎週超えるなら、感度が高過ぎるか根本問題があります。警告を消すのではなく基準を見直します。

7.再学習は、新しいモデル候補を作るだけである

新データを足して再学習しても、旧モデルより良いとは限りません。誤ラベル、偏った直近データ、破壊的忘却で重要な能力を失う場合があります。再学習版は候補として、固定テスト、直近テスト、集団別、安全試験を通します。 承認後にカナリア公開し、旧版と比べます。自動再学習と自動本番公開を分けます。緊急対応でも、最低限の試験と戻す版を残します。

8.フィードバックループを監視する

推薦AIが表示した商品だけ売れ、その売上を次の学習へ使うと、表示されなかった商品はさらに学習されません。モデルの出力が次のデータを作り、偏りを強めることがあります。警察配置、採用、融資などでは社会的影響も大きくなります。 探索枠、無作為な監査、人の別経路、表示されなかった候補の評価を残します。観測データを自然な需要そのものと決めません。

9.インシデントは、止めて、守り、学ぶ

重大な誤判定、情報漏えい、差別的結果、サービス停止が起きたら、まず影響範囲を止めます。旧版へ戻す、人の手順へ切り替える、権限を無効化するなど被害拡大を防ぎます。証拠を保全し、影響を受けた人へ必要な連絡を行います。 原因分析では個人を責めるだけでなく、検知、承認、試験、手順の不足を調べます。再発防止を実装し、同じ条件の他モデルも確認します。

10.DAY 35では、運用台帳を完成させる

モデルごとに所有者、目的、対象、データ版、コード版、評価、公開日、監視指標、しきい値、再学習条件、停止、ロールバック、連絡先を記録します。使われなくなったモデルも停止日とデータ削除を管理します。 第7章の最後に、課題設定からデータ、PoC、本番、監視まで一枚の流れへつなげます。各段階の承認と戻り先が書ければ、AI社会実装を一回の開発ではなく継続管理として理解しています。

03|実例で理解する

実例で理解する

具体例で考える

オンライン学習サービスで、受講者が途中離脱しそうな場合に支援案内を出すモデルを運用する場面を考えます。予測は支援候補の抽出に使い、受講資格の停止や評価へ使いません。学習時間、課題進捗、問い合わせを入力にします。 システム監視は予測APIの稼働率、応答時間、エラー、費用です。データ監視は学習時間の欠測、課題ID、端末、言語、コース比率です。モデル監視は離脱再現率、誤警報、確信度、対象外率です。業務監視は案内閲覧、相談利用、継続率、苦情です。 新しい短期講座が追加されると、従来より学習時間が短くても正常です。入力分布の変化を離脱増加と誤認しないよう、コース別に監視します。新コースは対象外または専用基準で始めます。 正解となる離脱は数週間後に分かります。早期には担当者の修正率、案内拒否、対象外率を見て、確定後に再現率を計算します。短期指標だけで自動再学習しません。 注意しきい値は、欠測率5%、対象外10%、担当者修正率20%などから始め、過去変動で調整します。停止条件は、特定言語で重大な誤案内、個人情報の不正表示、API連続失敗です。停止時は全受講者へ一般案内を出し、人の相談窓口へ戻します。 月次再学習では、新しい確定ラベルを追加します。直近データだけでなく、過去の季節・少数コースを含む固定テストを残します。新モデルが全体で改善しても、障害のある受講者や少数言語で悪化したら公開しません。 案内を受けた人だけ継続し、その結果を学習すると、モデルの介入効果と元の離脱傾向が混ざります。案内の有無と人の判断を記録し、必要に応じて無作為な監査群を設けます。倫理と説明を確認します。 インシデント時はモデル版、入力期間、対象者、送信した案内を特定し、配信を止めます。誤案内を受けた人へ訂正し、原因となったデータ変更と試験不足を記録します。復旧後も同じ失敗条件を継続テストへ追加します。 モデルレジストリには、目的、非推奨用途、データ、評価、承認、監視、停止担当を保存します。使わなくなった版を放置せず、呼び出しを無効化し、保存期間に従ってデータを削除します。 ダッシュボードの数字が欠けた場合、それ自体を監視障害として通知します。監視できていない状態を「問題なし」と扱いません。ログの遅延、時刻ずれ、集計漏れを検査し、監視指標の品質も管理します。 受講者が行動を変えると、モデルの予測対象も変わります。支援案内が効果を持った結果を「元から離脱しなかった正解」として学ぶと、介入の効果が混ざります。予測時点、介入、結果を別項目で保存します。 再学習の候補データは、収集期間、ラベル確定日、介入の有無、同意範囲を確認します。直近一か月だけへ置き換えず、季節と少数集団の固定集合を残します。古い制度のデータを残す場合は、有効な関係と無効な関係を区別します。 新旧モデルを比較するときは、全体平均、コース別、言語別、端末別、確信度別を出します。改善幅が小さい場合、更新に伴う障害リスクと教育費を含め、旧版を継続する選択肢も残します。 警告対応の記録には、検知時刻、担当、調査内容、影響、暫定対応、原因、再発防止、完了確認を含めます。同じ種類の警告が繰り返されたら、個別に閉じるだけでなく、監視や設計の根本問題として扱います。 四半期ごとに、モデルが現在も必要かを確認します。業務規則の改善でAIが不要になった場合、性能が高くても停止します。利用されていないモデルを動かし続けると、費用、攻撃面、古い判断のリスクだけが残ります。 第7章の運用計画は、AIを永続的に使う約束ではありません。価値が続く間だけ、安全条件を守って使い、条件が崩れたら止める計画です。更新能力と同じくらい、停止と廃止の能力を持たせます。 運用担当だけで判断できない重大事象には、法務、安全、経営、利用者対応を含む連絡順を決めます。休日・夜間の責任者と代替連絡先も登録します。訓練では連絡できない人がいる前提で、次の担当へ移ることを確認します。 廃止時はAPIを止めるだけでなく、呼び出し元、定期処理、権限、秘密情報、保存データ、監視、利用者案内を閉じます。別システムが古い予測を参照し続けていないか検索し、廃止完了を記録します。必ず確認します。

手を動かして理解する

  1. 提供ケース「小規模な問い合わせ分類PoCを、課題・データ・評価・運用へ分ける」または自分が説明できる身近な事例を一つ選び、DAY35「MLOpsと継続監視」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「MLOpsの目的、データ・モデル・業務の監視、ドリフト、再学習、インシデント対応を説明し、AIを継続運用する管理計画を作れる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

MLOpsの目的として適切なものはどれですか。

QUESTION 02

データドリフトとコンセプトドリフトの違いはどれですか。

QUESTION 03

本番AIの監視を四層へ分ける組合せはどれですか。

QUESTION 04

新しいデータで再学習したモデルの適切な扱いはどれですか。

QUESTION 05

AIインシデント発生時の最初の対応として適切なものはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ MLOpsは開発から停止までを、再現可能な版・試験・承認で管理する
  • ✓ システム・データ・モデル・業務を分け、ドリフトと性能低下を結び付けて調査する
  • ✓ 再学習を自動公開せず、監視しきい値、停止、ロールバック、インシデント対応を運用する

講義本文 4,036字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
CHAPTER REVIEW第7章の定着テストへ15問を解く →