第7章|AIの社会実装
DAY 34 ・ 約30分AIを本番へ導入する
モデル以外のシステム・人・業務変更まで設計する。
本番AIを、入力・モデル・連携・画面・人・監視を含むシステムとして設計し、段階公開、権限、障害対応、ロールバックを説明できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
推論
学習済みモデルへ新しい入力を渡し、予測や生成結果を得る処理です。学習とは必要資源や失敗条件が異なります。
サービスレベル目標(SLO)
応答時間、稼働率、エラー率など、サービスが目指す信頼性の水準です。
カナリアリリース
新しい版を一部の利用者や処理だけへ先に出し、問題を監視しながら範囲を広げる方法です。
ロールバック
問題が起きた新しい版から、確認済みの以前の版へ戻すことです。データや設定も対象になります。
Human-in-the-loop
AIの処理へ人の確認、修正、承認を組み込み、重要判断を人が担う構成です。
技術的負債
短期的な実装が将来の変更・保守を難しくし、追加費用を生む状態です。AIではデータや連携の依存も負債になります。
監視
誤抽出、確認時間、担当者修正率、個人情報表示を監視します。
仕組みを理解する
1.本番は、モデルファイルを置けば完成ではない
AIサービスには入力取得、前処理、モデル、後処理、データベース、外部連携、画面、権限、ログ、人の作業があります。モデル単体の正解率が高くても、単位変換を誤れば出力は壊れます。古い顧客情報を使えば誤案内になります。 全構成を図にし、各部品の入力・出力・担当・障害時動作を書きます。モデル外のコードとデータ依存が多いほど、変更の影響範囲を追う必要があります。
2.学習時と推論時の処理を一致させる
訓練では欠測補完、標準化、カテゴリ変換を行ったのに、本番APIで別実装にすると予測が変わります。特徴量の定義を共通化し、同じ入力に同じ変換が適用されるテストを作ります。 予測時刻より後の情報を使わないこと、単位・時刻帯・文字コード・カテゴリ辞書を確認します。未登録カテゴリや異常値を受けた場合、無理に予測せず対象外へ返します。
3.性能だけでなく、速度・容量・費用を設計する
開発環境で一件0.5秒でも、本番で毎秒100件なら待ち行列ができます。最大入力長、同時件数、CPU・GPU、メモリ、通信、外部API上限を考えます。平均だけでなく、遅い上位1%の応答時間も見ます。 タイムアウト、再試行、重複実行、費用上限を決めます。生成AIの再試行が続くと、一件の料金と時間が増えます。SLOを定め、超過時は簡易モデルや人の手順へ戻します。
4.権限を、読む・作る・実行するで分ける
文章案を作るAIと、メールを送るAIでは影響が違います。データ閲覧、下書き、更新、送信、削除、課金を別権限にし、必要最小限へします。開発者が本番個人情報を自由に見られる状態も避けます。 重要操作は人の承認を要求し、誰が何を承認したか記録します。モデルの指示文だけで権限を守らず、システム側の認証・認可で制御します。
5.Human-in-the-loopの作業を具体化する
「最終的に人が確認する」と書くだけでは、誰が、何秒で、何を見て、どう却下するか分かりません。確認画面へ元入力、AI出力、根拠、信頼度、未確認事項を示します。承認疲れを防ぐ件数も考えます。 人の判断を正解扱いして自動学習へ戻すと、急いだ誤修正を増幅します。修正理由を記録し、品質確認を経て学習候補へ入れます。
6.段階的に公開し、影響範囲を制限する
最初はシャドーモード、次に社内利用、少数利用者、限定機能、全体へ進めます。カナリアリリースでは新モデルを5%の処理へ出し、エラー、性能、業務指標を旧版と比較します。 利用者群が偏ると結果を一般化できません。対象選定と期間を記録します。問題がなければ段階的に広げ、重大指標を超えたら自動または承認で停止します。
7.モデル、データ、コード、設定を一緒に版管理する
同じモデル重みでも、前処理、しきい値、指示文、検索文書が違えば結果が変わります。モデル版だけでなく、学習データ版、コード、依存ライブラリ、設定、評価結果を一つのリリースへ結び付けます。 誰が、いつ、なぜ変更し、どの試験に合格したかを残します。本番で問題が出たとき、再現できる環境と入力を保存します。個人情報を含むログは必要最小限にします。
8.障害時の動作とロールバックを試験する
外部API停止、モデル読込失敗、入力欠損、応答遅延、データベース不通を想定します。エラー時に空白やもっともらしい既定値を返すと、利用者は成功と誤解します。失敗を明示し、人の手順へ切り替えます。 旧版へ戻す手順を文書化し、実際に訓練します。モデルだけ戻してデータ形式が新しいままだと動かないため、互換性を確認します。
9.セキュリティと悪用を、通常障害と分ける
入力へ命令を埋め込み規則を無視させる、学習データを推測する、大量アクセスで費用を発生させるなど、AI固有または増幅される攻撃があります。通常の誤入力とは別に脅威を洗い出します。 入力制限、出力検査、通信先制限、秘密情報の分離、利用量制限、監査ログを設けます。モデルが安全だという説明だけで、周辺システムの脆弱性を見落としません。
10.DAY 34では、本番前チェックを通す
構成図、権限表、SLO、段階公開、監視、障害手順、ロールバック、担当連絡先を確認します。モデル評価書だけで公開承認を求めません。利用者への説明、問い合わせ、異議申立ても準備します。 本番相当環境で代表入力、最大負荷、異常入力、連携停止、旧版復帰を試します。試験できていない条件は未確認として残します。
実例で理解する
具体例で考える
保険会社で、事故報告書から必要項目を抽出し、担当者の入力を助けるシステムを本番導入する場面を考えます。AIは事故日、場所、車両、負傷の記述を候補として表示しますが、保険金支払いを決定しません。 構成は、文書受付、ウイルス検査、文字認識、個人情報保護、項目抽出モデル、規則検査、担当者画面、基幹登録です。各段階の入力と失敗時動作を図にします。文字認識が失敗した文書を、抽出モデルへ空文で送らないよう止めます。 訓練と本番で、日付形式、全角半角、欠測、カテゴリ辞書を共通化します。未対応言語、手書きが読めない画像、ページ欠落は判定不能へ戻します。AIが空欄を想像で埋めないよう、原文位置を必須にします。 SLOは、一文書30秒以内、月間稼働率、処理失敗率を定めます。大量事故時の同時件数を負荷試験し、外部OCRの上限と費用を確認します。タイムアウト後の再試行で二重登録しない識別子を持たせます。 担当者画面には候補値、元文書の該当箇所、確信度、修正欄を表示します。担当者が承認するまで基幹システムへ登録しません。修正履歴は品質改善へ使いますが、確認なしに翌日のモデルへ学習させません。 最初の二週間はシャドーモードで現行入力と比較し、次に一部署の下書きだけへ使います。誤抽出、確認時間、担当者修正率、個人情報表示を監視します。重大な負傷情報の欠落が一件でもあれば拡大を止めます。 モデル、OCR、前処理、しきい値、画面、データ版を一つのリリース番号へ結び付けます。新モデルを5%へ出し、旧版と比較します。問題時は旧版へ戻し、途中文書がどちらの版で処理されたか追跡します。 外部サービス停止時は、受付を失わず待機列へ置き、担当者へ遅延を知らせます。人の手入力へ切り替える手順を四半期ごとに訓練します。本番導入はモデル精度ではなく、システム、人、復旧を含む運用の開始です。 文書には悪意ある命令文が書かれている可能性があります。抽出対象を定義済み項目へ限定し、文書中の指示で外部送信や規則変更を行いません。モデルから基幹システムへ自由な命令を渡さず、許可した項目と形式だけを受け付けます。 アクセス権は受付担当、査定担当、管理者、開発者で分けます。開発者が問題調査する場合も、必要な文書だけを期限付きで閲覧し、操作記録を残します。検証用へ本番文書を無断でコピーしません。 監視画面には、処理件数、失敗、低信頼、手修正、応答時間、外部費用を表示します。平均値だけでなく部署別、文書形式別に分けます。特定の申請形式だけ失敗が増えた場合、モデル全体を再学習する前に入力経路を調べます。 利用者へは、AIが項目候補を抽出すること、担当者が確認すること、訂正方法を説明します。説明文を長くするだけでなく、誤りが見つかったときに誰へ連絡し、どの記録を直すかを実際に機能させます。 本番データでモデルを改善する場合、保存目的と期間を再確認します。担当者の修正を正解候補へする前に、元文書と修正理由を品質担当が確認します。個人情報を不要な期間まで学習用に残しません。 災害などで処理が急増した場合、優先度、最大待機件数、追加費用の上限を決めます。容量を超えた文書を捨てず、受付番号を発行して人の処理へ回します。処理が遅れていることを成功画面で隠しません。 導入後一か月は毎日、三か月までは週次で結果を確認します。安定した後も月次評価と障害訓練を続けます。公開直後だけ監視を厚くし、その後担当不在になる状態を避けます。 担当者交代時は、構成図、対象外、警告、停止、復旧、問い合わせ経路を引き継ぎます。口頭説明だけでなく、実際の障害例を使って旧版へ戻す訓練を行います。特定の開発者しか復旧できない状態を解消します。 本番変更には、変更内容、影響範囲、試験結果、公開時刻、監視担当、戻す条件をまとめた承認記録を付けます。緊急修正も事後に記録し、恒久対策と暫定対応を区別します。 月次会議では精度の改善案だけでなく、問い合わせ、誤操作、費用、不要になった機能を確認します。機能を増やす前に、使われていない出力や重複した確認を削り、システム全体の複雑さを抑えます。 利用者から誤りを申告できる窓口を設け、受付番号、対象出力、修正、回答期限を管理します。同じ誤りが他の文書にも発生していないか横断確認し、個別訂正だけで終わらせません。申告件数が少ないことを、誤りが少ない証拠とは断定しません。
手を動かして理解する
- 提供ケース「小規模な問い合わせ分類PoCを、課題・データ・評価・運用へ分ける」または自分が説明できる身近な事例を一つ選び、DAY34「AIを本番へ導入する」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「本番AIを、入力・モデル・連携・画面・人・監視を含むシステムとして設計し、段階公開、権限、障害対応、ロールバックを説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
AIを本番導入するときの十分な見方はどれですか。
正解は「入力、前処理、モデル、連携、画面、権限、人、監視を含むシステムとして見る」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力、前処理、モデル、連携、画面、権限、人、監視を含むシステムとして見る: 正解は「入力、前処理、モデル、連携、画面、権限、人、監視を含むシステムとして見る」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
モデルファイルの精度だけを見る: モデル外の障害や運用で失敗します。
ロゴと製品名だけを見る: 外観は本番能力の証拠ではありません。
開発用パソコンだけを見る: 実際の本番環境と連携が必要です。
訓練時と本番推論時で一致させるべきものはどれですか。
正解は「欠測補完、標準化、カテゴリ変換、単位などの前処理」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
欠測補完、標準化、カテゴリ変換、単位などの前処理: 正解は「欠測補完、標準化、カテゴリ変換、単位などの前処理」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
担当者の机の位置だけ: 設備配置は特徴計算の一致ではありません。
モデル説明資料の色だけ: 資料デザインは推論値を合わせません。
テスト結果の良い例だけ: 代表入力と異常入力を含めて試験します。
AIへ与える権限の適切な設計はどれですか。
正解は「閲覧、下書き、更新、送信、削除を分け、必要最小限にする」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
閲覧、下書き、更新、送信、削除を分け、必要最小限にする: 正解は「閲覧、下書き、更新、送信、削除を分け、必要最小限にする」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
文章を作れれば全データ削除も許可する: 能力と実行権限を分ける必要があります。
指示文だけでアクセス制御する: 認証・認可をシステム側で実装します。
開発者へ全本番情報の常時閲覧を許可する: 調査時も期限と対象を限定します。
カナリアリリースの説明として適切なものはどれですか。
正解は「新しい版を一部へ出し、監視しながら段階的に広げる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
新しい版を一部へ出し、監視しながら段階的に広げる: 正解は「新しい版を一部へ出し、監視しながら段階的に広げる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
全利用者へ同時に戻せない形で公開する: 影響範囲を限定する考え方と逆です。
テストなしで旧版を削除する: ロールバック可能な旧版を保持します。
新旧版の結果を記録しない: 比較指標を監視して拡大・停止を決めます。
ロールバック試験で確認すべきものはどれですか。
正解は「モデルだけでなくデータ形式・設定・連携の互換性も含めて旧版へ戻せるか」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
モデルだけでなくデータ形式・設定・連携の互換性も含めて旧版へ戻せるか: 正解は「モデルだけでなくデータ形式・設定・連携の互換性も含めて旧版へ戻せるか」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
旧版のファイル名が短いかだけ: 名称は復旧可能性を示しません。
新モデルの平均精度だけ: 障害対応には周辺構成も必要です。
担当者へ手順を知らせず戻せると仮定する: 担当、手順、訓練を事前に用意します。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 本番AIはモデルだけでなく、入力・連携・画面・権限・人・監視を含むシステムである
- ✓ 学習と推論の処理を一致させ、段階公開と版管理で変更範囲を制御する
- ✓ 障害・攻撃・対象外を想定し、フォールバックとロールバックを実際に試験する
講義本文 4,044字
PRIMARY SOURCES