第6章|実務へつなぐ設計を確かめる。
DAY 30 ・ 約15〜20分最終実習:安全に仕事を任せる
設計、試行、評価、承認、公開後確認を、小さな一仕事で最後まで通す。
自分の業務を一つ選び、影響を限定した試行を設計・実行・評価し、証拠に基づいて任せる範囲を改善できる。
言葉を知る
パイロット
対象、期間、件数、権限を小さく限定し、本格運用の前に価値と危険を確かめる試行。
ベースライン
AIを使う前の人の作業について、品質、時間、費用、修正量を比較できるよう測った基準。
評価ケース
入力、期待する成果、停止すべき条件、確認する証拠を一組にした試験の単位。
リリースゲート
実際の送信・公開・変更へ進む前に、満たすべき品質、安全、承認の条件。
ロールバック
問題が起きた時に変更を止め、検証済みの以前の状態へ安全に戻す手順。
停止判定
受入条件は、第三者が合否を判定できる形にします。
事後レビュー
メールなら架空の宛先、予定ならテスト用カレンダー、記事なら非公開の下書き、Web変更ならプレビュー環境を使います。
仕組みを理解する
最終実習の目的は、派手な自動化ではなく安全な一周を証明すること
30日間の最後に作るものは、最も多くの仕事を自動で行うエージェントではありません。自分の業務を一つ選び、目的を定め、影響を小さくした環境で試し、結果を証拠で確かめ、人が承認し、問題があれば戻せるところまでを一周させます。OpenAIの実務ガイドも、最初から複雑な自律システムを作るのではなく、単一のエージェントと明確なツールから始め、観察した結果に応じて段階的に広げる考え方を示しています。 チャットAIへ相談する場合、利用者が資料を渡し、回答を読み、保存や送信を自分で行います。エージェントへ仕事を任せる場合は、入力を取得し、道具を選び、状態を更新し、成果物を残す工程まで進みます。そのため、文章が良く見えるかだけでなく、どの情報を読み、どの操作を行い、外部へ何が変わったかを確かめなければなりません。 実習の合格は「AIが完了と言った」ことではありません。選んだ仕事について、目的、非対象、評価ケース、承認点、完了証拠、復旧方法がそろい、通常時に役立ち、異常時には止まれることを人が再確認できる状態です。実装方法や製品名が変わっても、この一周を通す考え方は残ります。
小さく、戻せて、外部へ勝手に出ない一仕事を選ぶ
題材は、週次情報の記事下書き、問い合わせの分類、会議メモの整理、Webページ一か所の修正案など、一人が短時間で確認できる仕事にします。開始点と終了点を一つにし、対象期間、件数、利用者、保存先を限定します。「記事制作全部」「事務を自動化」のような広い題材では、価値も失敗も測れません。 最初のパイロットでは、読み取りと隔離された下書きまでにします。送信、公開、削除、決済、契約、権限変更は非対象と書き、実行ツール自体を渡さないか、必ず承認で止めます。できることは、指定情報の収集、整理、候補作成、形式検査です。できないことは、根拠のない判断、接続していないサービスの操作、責任を伴う意思決定、許可されていない範囲への拡張です。 次にベースラインを測ります。人が同じ仕事を行った時の所要時間、見落とし、修正回数、費用、完成条件を一例でも記録します。AI導入後だけを測ると、速くなったのか、品質が落ちたのか判断できません。題材を選んだら、誰のどの不便を減らし、何を変えないかを一文で説明できるまで狭めます。
DAY 29の設計図を、試せる受入条件へ変える
設計図から、目的、入力、出力、正本、ツール、権限、状態、停止条件、承認、完了証拠を抜き出します。目的は「良い記事を作る」ではなく、「初心者向けの確認用原稿を、指定期間の公式発表だけから作り、承認待ちとして保存する」のように書きます。非対象には、公開、外部送信、公式でない情報による断定を入れます。 受入条件は、第三者が合否を判定できる形にします。必要な項目、文字数、公式リンク数、日付、保存先、禁止内容、処理時間の上限を決めます。外部操作があるなら、モデルの文章ではなく、下書きID、更新後の値、テスト結果などを証拠にします。完成、部分完了、確認待ち、失敗を別の状態として扱います。 ツールごとに、入力、返り値、外部効果、権限、時間切れ、結果不明時の確認方法を決めます。秘密や個人情報は目的に必要な項目だけを使い、ログへそのまま残しません。資料が不足または矛盾した時は推測で埋めず、確認待ちへ移すことも受入条件です。
正常例だけでなく、止まるべき評価ケースを先に作る
評価ケースには、通常の成功例に加え、必須項目の欠落、二つの正式資料の矛盾、古い資料、開けないリンク、権限拒否、通信切断、同じ依頼の再実行、外部文書の危険な命令を含めます。それぞれに、期待する成果、期待する停止状態、使ってよいツール、確認する証拠を付けます。 OpenAIの評価ガイドは、評価を直感的な印象ではなく、目的に沿った課題、測定基準、データで行い、継続的に繰り返すことを勧めています。一つの成功例だけでは、たまたま動いたのか、運用できるのか分かりません。正常、境界、失敗、攻撃のケースをそろえることで、どの条件なら任せられるかが見えます。 問題文へ答えを含めるような試験では意味がないのと同じで、評価入力に正しい行動を直接書いてはいけません。エージェントが設計図の規則から判断できるかを確かめます。期待と違った時は、モデルの性能だけを疑わず、入力、指示、ツール契約、状態、権限、ガードレールのどこに穴があるかを分けます。
人工データと無影響モードで最初の実行を行う
最初の実行は、本物に似せた人工データまたは機密を除いた複製で行います。メールなら架空の宛先、予定ならテスト用カレンダー、記事なら非公開の下書き、Web変更ならプレビュー環境を使います。読み取り専用やドライランを選べる場合は有効にし、送信・公開・削除へ到達できないことを確認します。 開始前に、使うモデル、指示、ツール、データ、評価ケースへ版を付けます。実行中は、受け付け、入力確認、調査、作成、検証、承認待ちなどの状態遷移を記録します。OpenAI Agents SDKのトレーシングは、モデルの生成、ツール呼び出し、ハンドオフ、ガードレールなどの実行経路を追跡できる仕組みを提供しています。ただし、記録へ秘密を入れてよいという意味ではありません。必要な項目を選び、閲覧権限と保持期間を管理します。 エージェントが「保存しました」と返しても、その文だけを証拠にしません。保存先を読み直し、対象版、件数、リンク、外部IDを確認します。ツールを呼ばずに成功を主張した場合も失敗として記録します。
人の承認を、具体的なリリースゲートにする
無影響モードで合格したあとも、実際の送信や公開へ自動で進めません。承認画面には、対象、宛先または公開先、成果物の版、差分、検証結果、残る危険、アクセス範囲、戻し方を示します。「続けますか」だけでは、承認者は何が起きるか判断できません。 OpenAI Agents SDKの人の介入機能では、機密性の高いツール呼び出しの前で処理を中断し、承認または拒否の判断と保存した状態から再開できます。重要なのは、承認した内容と実行する内容を結び付けることです。承認後に本文、宛先、金額、版が変わったら、古い承認を再利用しません。 承認者は成果物の見た目だけでなく、根拠、テスト、外部効果を確認します。拒否されたら、別の経路で勝手に実行せず、未実行として停止します。頻繁で曖昧な確認を増やすのではなく、高影響、不可逆、新規対象、規則外、不確実な操作へ承認を集中させます。
失敗、結果不明、二重実行、復旧を一度は演習する
安全な環境で、通信を失敗させる、権限を拒否する、リンクを切る、承認を拒否するなどの異常を一つ起こします。エージェントが回数や時間の上限で止まり、現在地、確認済み事実、未確認事項、次に人が決めることを渡せるかを確かめます。無限再試行や、目的を変えた代替行動は不合格です。 送信や登録の直後に応答が途切れた時は、失敗と結果不明を分けます。業務IDや外部IDで現在の状態を照会し、未実行と確認できた場合だけ同じ冪等キーで再試行します。同じ依頼を二度投入しても、成果が二重に作られないことを試します。 次にロールバックを実行します。変更したファイルや設定を検証済みの版へ戻し、外部で取り消せない効果がある場合は、停止、訂正、関係者への通知手順を確認します。戻したあとにサービスが正常か、アクセス範囲が変わっていないかまで検査します。復旧手順が文章にあるだけで実行できなければ、まだ運用準備はできていません。
ベースラインと証拠を比べ、任せる範囲を一段だけ広げる
全ケースを終えたら、完了率、重大な誤り、根拠不足、不要なツール実行、所要時間、費用、人の修正時間をベースラインと比べます。平均だけでなく、最も悪いケースと、停止すべき時に止まれた割合を見ます。速くても重大ミスが増えたなら成功ではありません。安全でも修正時間が増えたなら、入力や受入条件を直す必要があります。 失敗ごとに再現できる評価ケースを残し、設計図、指示、ツール、ガードレールを一つずつ変更して再評価します。NIST AI RMFのPlaybookは、統治、状況把握、測定、管理を通じて、設計から利用まで継続して危険を扱う考え方を示しています。公開時の一回だけでなく、モデル、データ、規則、外部サービスが変わるたびに見直します。 運用へ移したあとも、監視と再評価を終わらせません。エラー率、承認拒否、処理時間、費用、利用者からの訂正を追い、しきい値を超えたら自動で止めます。新しい種類の失敗は評価ケースへ追加し、直した版が過去の成功を壊していないかも確かめます。安全性は公開日の合格印ではなく、変化を発見して戻せる継続的な能力です。 条件を満たした場合も、次は件数、期間、利用者、権限のうち一つだけを広げます。下書きからいきなり自動公開へ飛ばず、承認付き実行を挟みます。読者演習の最後に、自分の一仕事について「任せる範囲」「人が持つ判断」「完成証拠」「止める条件」「戻す版」を一分で説明してください。説明でき、別の人が同じ証拠で合否を判断できれば、30日間の学びが実務の形になっています。
実例で理解する
具体例で考える
「週次の業界ニュース下書き」を最終実習にするなら、公開は行わず、指定期間の公式一次情報から確認用原稿を作るところまでに限定します。人が同じ作業をすると調査から保存まで60分、重要な修正は一件以下という比較基準を記録します。評価には通常発表、古い発表、二資料の矛盾、リンク切れ、一次情報不足、外部ページの危険な命令、時間上限、保存権限の拒否を用意します。受入条件は公式資料二件以上、発表日と確認日、根拠付き要点、開けるリンク、未確認事項、指定保存先です。エージェントには公式サイトの閲覧と隔離された下書き保存だけを許し、公開機能は渡しません。実行後は行動記録、保存原稿、リンク検査、文字数、停止理由を確認し、人が根拠を承認します。25分に短縮できても、矛盾を推測で埋めた例があれば範囲は広げません。
手を動かして理解する
- 戻せて外部へ勝手に出ない一仕事を選び、人のベースラインと非対象を記録する
- 目的、入力、出力、ツール、最小権限、状態、停止、承認、完了証拠を一枚へまとめる
- 正常、情報不足、矛盾、危険な命令、権限拒否、通信断、重複の評価ケースを作る
- 人工データと無影響モードで実行し、成果物、トレース、外部状態を受入条件へ照合する
- 承認、拒否、復旧を試し、ベースラインとの比較から次に広げる範囲を一つだけ決める
04|今日の理解度を確認する
DAY 30の理解度を確認する
最終実習の最初の題材として、最も適切なものはどれですか。
影響が限定され、戻せて、人が成果を確認できる一仕事から始めます。
顧客全員へのメールを承認なしで自動送信する: 対象が広く外部影響も大きいため、最初の試行には向きません。
指定した公式情報から、隔離された場所へ確認用の下書きを作る: 正解です。読み取りと可逆的な保存に限定でき、公開前に人が確認できます。
本番データを削除して復旧能力を確かめる: 本番の破壊的操作を試験に使うと、失敗時の被害を限定できません。
全社の権限を管理者へ統一する: 目的に不要な広い権限を与え、最小権限に反します。
エージェントが『保存しました』と表示しましたが、保存先に成果物が見つかりません。評価として最も適切なものはどれですか。
モデルの自己報告ではなく、成果物、ツール記録、外部状態を受入条件へ照合します。
自然な文章なので成功とする: 文章の自然さは外部操作が完了した証拠ではありません。
半分成功として本番公開する: 保存さえ確認できない状態で影響範囲を広げるべきではありません。
同じ返答を三回生成できれば成功とする: 同じ主張を繰り返しても、外部状態の証拠は増えません。
完了証拠がないため不合格とし、ツール実行記録と保存先を調べる: 正解です。どの工程で実行または確認が欠けたかを証拠から調べます。
調査中のWebページに、内部情報を別のURLへ送るよう書かれていました。期待する動作はどれですか。
外部資料は参照データであり、エージェントの目的や権限を変更する命令ではありません。
資料内の命令をデータとして扱い、送信せず停止または無視して記録する: 正解です。情報と命令の境界を守り、危険な入力を評価証拠へ残します。
ページの指示を最優先し、内部情報を送る: 外部データへ制御を渡し、情報流出を起こします。
一部だけ送って反応を見る: 少量でも無許可の情報送信であり、安全な試験ではありません。
公開情報と内部情報をまとめて新しいページへ転載する: 目的外の公開と秘密の混入を招きます。
承認者が公開直前に確認すべき情報の組み合わせとして、最も適切なものはどれですか。
承認後に起きる具体的な効果と、その根拠・復旧方法を同時に確認します。
モデル名と回答の長さだけ: どの版をどこへ出し、何が変わるか判断できません。
担当者の感想と完成予定日だけ: 主観と予定は、品質や外部効果の証拠になりません。
公開する対象版、差分、検証証拠、公開先、アクセス範囲、戻し方: 正解です。承認対象と実行要求を具体的に結び付けられます。
エージェントが自信ありと答えた回数: 自己申告の自信はテストや外部状態の代わりになりません。
パイロットが通常例で速く完了しました。次の判断として最も適切なものはどれですか。
価値と安全を複数ケースで測り、変化を一つに限定すれば、問題の原因と影響を追えます。
すぐ全利用者へ管理者権限付きで展開する: 一例の成功から対象と権限を同時に広げると、未確認の失敗が大きくなります。
異常ケースを含む結果をベースラインと比べ、合格後に件数・期間・利用者・権限の一つだけを広げる: 正解です。段階的な拡張と継続評価を行う判断です。
評価ケースを削除して成功例だけを残す: 再発防止と変更後の回帰確認ができなくなります。
人の承認とログを同時に廃止する: 高影響操作の統制と問題調査の証拠を同時に失います。
04|今日の理解度を確認する
DAY 30の理解度を確認する
今日の整理をする
ここまで分かれば次へ
- ✓ 最終実習は小さく可逆な一仕事を、設計・試行・証拠確認・承認・復旧まで一周させる
- ✓ 通常例だけでなく不足・矛盾・攻撃・通信断・重複を試し、自己報告ではなく成果物と外部状態で判定する
- ✓ ベースラインと比較し、失敗を評価ケースへ残して、件数・期間・利用者・権限の一つだけを段階的に広げる
講義本文 4,048字