第5章|安全に動かす運用を確かめる。
DAY 23 ・ 約15〜20分ログ・監視・評価
返答だけで判断せず、実行の道筋、運用中の変化、仕事の品質を別々の証拠で確かめる。
ログ、トレース、メトリクス、監視、評価の役割を説明し、異常の発見と品質改善をつなぐ確認設計を作れる。
言葉を知る
ログ
実行中に起きた出来事を、時刻、対象、結果、識別子などとともに残した記録。
トレース
一つの依頼がモデル、ツール、ハンドオフなどをどの順番で通ったかを、端から端まで関連付けた記録。
メトリクス
成功率、所要時間、費用、再試行数など、状態や傾向を集計して比較できる数値。
監視
実行中・運用中の記録や数値を継続的に見て、異常を検知し対応へつなげる活動。
評価
事前に定めた課題、正解、基準、採点方法を使い、成果と実行経路が目的を満たすか測ること。
アラート
成功率、95パーセンタイルの所要時間、一件当たり費用、ツールエラー率などです。
共通ID
実行IDがなく、時刻がずれ、入力版と担当が残らなければ、行をつなげられません。
仕組みを理解する
エージェントは、最終回答だけでは仕事の成否を説明できない
チャットAIへ一つ質問し、一つの文章を受け取る使い方なら、利用者は主に最終回答を読みます。AIエージェントは、検索、資料取得、モデル判断、ツール実行、別担当への引き渡し、保存、承認を何段も通ります。最後の文章が自然でも、古い資料を選んだ、禁止されたツールを呼んだ、保存に失敗した、別の宛先へ送った可能性があります。反対に、途中で安全に停止した処理を、最終回答がないという理由だけで故障と決めることもできません。 そのため「何が起きたか」「今どう動いているか」「期待した品質か」を分けて確かめます。何が起きたかを追うのがログとトレース、運用中の変化を見つけるのが監視、目的に対する出来を同じ基準で測るのが評価です。OpenAI Agents SDKの公式資料では、一つの実行をトレース、その中のモデル生成、ツール呼び出し、ガードレール、ハンドオフなどをスパンとして記録し、開発時と本番時の調査へ使えると説明されています。 これらはエージェントを賢くする魔法ではありません。記録があっても、必要な項目が欠けていれば原因は追えません。数字を集めても、利用者の目的と結び付かなければ品質は分かりません。観測できる仕組みと、何を良い仕事とするかの基準を先に設計します。
ログ、トレース、メトリクスは同じ記録ではない
ログは出来事の明細です。「10時03分に検索を開始」「候補を三件取得」「保存ツールが権限不足で失敗」のように残します。トレースは、それらを一つの依頼へ結び付け、親子関係と順番を見せます。一つの問い合わせが調査担当から執筆担当へ渡り、どのツールを使い、どこで承認待ちになったかを一本の経路として追えます。メトリクスは、多数の実行を集計して傾向を見ます。成功率、95パーセンタイルの所要時間、一件当たり費用、ツールエラー率などです。 三つを混ぜると調査が難しくなります。成功率が下がったというメトリクスだけでは、どの工程が原因か分かりません。個々のログだけを何万行読んでも、全体で悪化しているか判断できません。異常を数値で見つけ、該当するトレースを開き、必要なログと外部状態へ降りる流れを作ります。 共通の実行ID、タスクID、入力版、エージェント版、モデル名、ツール名、開始・終了時刻、結果状態を関連付けます。ただし、モデルの内部思考をすべて保存できる、保存すべきだと考えません。観測対象は、入力の由来、選択した行動、ツールの引数と結果、ガードレール、最終成果、外部状態など、仕事の再現と監査に必要な信号です。
一つの実行を、目的から外部結果まで追える形にする
トレースの起点には、利用者の目的、受入条件、対象、入力版を置きます。次に、計画やルーティング、モデル呼び出し、検索、ファイル操作、承認、ハンドオフをスパンとしてつなぎます。各スパンには開始と終了、親の識別子、担当、使用した道具、結果状態、エラー分類を持たせます。最後に、保存先、送信履歴、公開URLなど外部の結果証拠を結び付けます。 重要なのは、文章を大量に残すことではなく、問いへ答えられる構造です。「なぜこの資料を採用したか」「誰が公開を承認したか」「どの工程で三分待ったか」「同じメールが二回送られたか」を追える必要があります。複数担当なら、親のトレースIDと担当ごとのスパンを関連付け、入力版と返却結果をそろえます。処理が途中で再開されても、元の依頼と新しい試行を区別します。 OpenAIの公式資料では、トレースが一つの端から端までの処理、スパンが個々の操作を表します。Microsoftも、モデル呼び出し、ツール実行、判断経路を含むテレメトリを用いて、遅延や例外の原因を調べる考えを示しています。製品名に依存せず、親子関係と一意な識別子で仕事の道筋を再構成できることが要点です。
監視は、異常を見つけて行動へつなぐ仕組みである
監視では、見る数字を増やす前に、異常時に何をするか決めます。完了率が基準を下回る、応答時間が急に伸びる、費用が上限へ近づく、同じツールエラーが続く、承認待ちが滞留する、拒否率が急変する、といった信号へ警告条件を置きます。警告には対象、発生時刻、影響範囲、関連トレース、直前の変更、最初の対応を含めます。 一回の失敗で毎回通知すると、担当者が警告を無視するようになります。反対に平均値だけを見ると、少数の重大事故が埋もれます。件数、割合、継続時間、重要度を組み合わせ、金銭、個人情報、公開、削除の失敗は少数でも高く扱います。通常時の基準値を持ち、曜日や処理量の違いも考慮します。 監視でできるのは、観測した信号から異常の可能性を早く知らせ、停止、切り戻し、人への連絡へつなぐことです。できないのは、記録されていない出来事を後から完全に復元することや、警告が出ないことを安全の証明にすることです。監視対象自体が動いているかも確認し、テスト用の異常を定期的に発生させて通知経路を試します。
評価は、良い仕事の条件をテストとして固定する
評価では、まず仕事の目的を測れる条件へ変えます。記事制作なら、公式情報を優先したか、日付と対象製品が正しいか、必須項目を含むか、引用元へ戻れるか、未確認を隠していないかが候補です。検索回数や文章の長さだけでは、利用者へ正しい価値を渡したか分かりません。成果物の品質と、危険な経路を通らなかったかの両方を評価します。 OpenAIのエージェント評価ガイドは、挙動を調査中ならトレースと評価基準を使い、良い状態が分かったら反復可能なデータセットと評価実行へ進む流れを示しています。Anthropicも、複数ターンとツール利用を含むエージェントは、最終回答だけでなく、課題設定、結果、実行経路を組み合わせて評価する必要があると説明しています。 評価セットには、日常の代表例、境界例、過去の失敗例、攻撃例を入れます。期待結果が一つに決まる項目は決定的な検査を使い、文章品質のように幅がある項目は採点表を使います。モデルによる採点は大量処理に役立ちますが、採点モデルも誤ります。専門家が標本を見て、採点が目的と一致するか校正します。
開発前評価と本番監視をつなぎ、変更による後退を見つける
公開前の評価は、同じテストを複数の版へ実行し、変更の影響を比較するために使います。プロンプト、モデル、ツール、検索設定、権限を変える前後で、正確さ、安全性、所要時間、費用を同じ条件で測ります。改善対象の問題だけ通るようになっても、別の仕事が悪化することがあります。過去に通っていた代表例を回帰テストとして残します。 本番では、実際の入力分布、利用者の修正、拒否、問い合わせ、失敗トレースを集計します。本番で繰り返す問題を匿名化・整理し、新しい評価例へ戻します。評価で見つけた弱点を直し、本番で再び測る循環を作ります。ただし、本番利用者へ未検証の変更を直接試すことや、事故が起きるまで評価を省くことはしません。 数値は単独で目標にしません。正解率だけを上げようとして、分からない時も断定するようになれば危険です。速度だけを上げて確認を省けば品質が落ちます。正確さ、安全性、未確認の表明、費用、遅延、人の確認負担を組み合わせ、どの指標を守るためにどこを妥協したか説明できるようにします。
ログは証拠であると同時に、守るべき機密データになる
詳しいログには、利用者の入力、モデル出力、検索内容、ツール引数、ファイル名、メール本文が含まれる場合があります。OpenAI Agents SDKとMicrosoftの公式資料はいずれも、トレースが機密情報を含み得るため、記録内容を制御し、秘密や個人情報を最小化する必要を示しています。デバッグに便利だからと全文を無期限に保存すると、ログ自体が新しい流出元になります。 記録前に、認証情報、トークン、パスワード、個人情報を除去または置き換えます。本文を残さなくても、種類、件数、ハッシュ、参照先、成功状態で追える場合があります。閲覧権限を役割で分け、保存期間、削除、持ち出し、監査を決めます。公開Webを読む担当のログと、顧客情報を扱う担当のログを同じ広い場所へ集めません。 一方で、秘密を恐れて何も残さなければ、事故調査、品質改善、責任の説明ができません。必要な証拠を定義し、内容ではなく構造を残す、危険部分を伏せる、短期保管と集計値を分ける方法を使います。安全なログ設計は、最大量を保存することではなく、目的に必要な最小限を、必要な人だけが、必要な期間だけ扱える状態です。
よくある失敗は、記録量や一つの点数を安心材料にすること
第一の失敗は、ログが多ければ観測できていると思うことです。実行IDがなく、時刻がずれ、入力版と担当が残らなければ、行をつなげられません。第二は、成功の自己申告を成功率へ数えることです。エージェントの「完了しました」ではなく、保存、送信、公開など外部の証拠と照合します。 第三は、平均値だけを見ることです。平均応答時間が正常でも、一部の高リスク処理が停止しているかもしれません。分位点、重要度、対象別の内訳を見ます。第四は、評価セットへ簡単な正常例しか入れないことです。入力不足、矛盾、権限拒否、ツール停止、重複、攻撃、長い処理を含めます。第五は、モデル採点を正解として固定することです。採点表の曖昧さや偏りを人が定期的に検査します。 最後は、指標が悪化しても誰も対応しないことです。各警告に所有者、期限、停止条件、切り戻し方法を割り当てます。観測、判断、対応、再評価までつながって初めて運用になります。ダッシュボードを作ること自体を完成にせず、実際の異常を一件流して、担当者が証拠へ到達し、必要な処置を選べるか試します。
読者演習では、一つの仕事へ観測と評価の設計図を作る
自分の仕事から、外部情報を読み、判断し、成果物を保存する流れを一つ選びます。最初に、目的、受入条件、失敗した時の影響を書きます。次に、一意な実行IDを中心へ置き、入力版、モデル呼び出し、ツール、承認、外部結果をスパンとして並べます。各工程で残す項目と、残してはいけない秘密を分けます。 続いて、監視する数値を五つ以内に絞ります。完了率、所要時間、費用、ツールエラー、承認滞留などから目的に合うものを選び、警告条件、通知先、最初の対応を決めます。評価例は、正常二件、境界一件、過去の失敗一件、安全上の否定例一件を用意し、合格条件と採点方法を書きます。 最後に、ツールを意図的に一度失敗させます。警告から対象トレースへ移り、原因、影響、外部結果を確認できるか試してください。入力全文や秘密を見なくても調査できるか、修正後に同じ評価と回帰テストが通るかも確認します。何が起き、誰へ影響し、なぜ合格と判断したかを別の人が再現できれば、ログ・監視・評価が一つの改善経路として機能しています。
実例で理解する
具体例で考える
請求書を整理するエージェントでは、受け取ったファイル、読み取った会社名・日付・金額、保存先、確認結果を一つの実行記録へ結びます。監視では読取り失敗、処理時間、重複、金額欄の欠損、保存先の誤りを見ます。評価では「請求日と税込総額を原本どおり取得する」「同じ請求書を二重登録しない」「不明な欄は推測せず人へ戻す」を固定基準にします。エージェントが「完了」と答えただけでは合格にせず、原本、一覧表、保存されたファイルを照合します。記録には口座番号など不要な秘密を残さず、見つかった失敗例は次回のテストへ追加します。
手を動かして理解する
- 一つの仕事を選び、目的、受入条件、外部結果の証拠を書く
- 実行IDを中心に、モデル、ツール、承認、保存までのトレースを描く
- 完了率、遅延、費用、エラー、承認滞留から必要な監視指標を選ぶ
- 正常、境界、過去の失敗、安全上の否定例を含む評価セットを作る
- テスト障害を起こし、警告、原因調査、修正、回帰評価までを通す
04|今日の理解度を確認する
DAY 23の理解度を確認する
多数の実行で完了率が急に下がった原因を調べる時、最も適切な進め方はどれですか。
メトリクスで異常を見つけ、関連するトレースとログへ降り、実際の外部結果と照合します。
最終回答が自然な実行だけを成功と数える: 自然な文章と、保存や送信が成功した事実は一致するとは限りません。
完了率の変化を確認し、該当トレースから失敗した工程と外部結果を調べる: 正解です。全体傾向から個別原因まで証拠を関連付けられます。
ログをすべて一行ずつ読み、集計値は使わない: 大量の記録から傾向を発見しにくく、優先する実行も選べません。
モデル名だけを確認して原因を決める: 権限、ツール、入力、通信など別の原因を検証できません。
新しい検索設定が品質を改善したか確認する評価として、最も適切なものはどれですか。
同じ評価セットと採点基準で複数の重要な指標を比較すると、改善と後退を区別できます。
変更後の一件が成功したので改善とする: 一件では入力の幅と回帰を確認できません。
担当者の印象だけで前後を比較する: 再現可能な条件と証拠がなく、版の比較になりません。
代表例、境界例、過去の失敗例を同じ基準で変更前後に実行し、品質・安全・費用・遅延を比べる: 正解です。狙った改善と別領域の悪化を同時に検査できます。
検索回数が増えたことだけを改善とする: 回数は手段であり、正確さや利用者価値を示しません。
エージェントのトレースへ残す内容として、最も適切な考え方はどれですか。
追跡に必要な構造を保ちながら、ログ自体が漏えい源にならないよう内容、権限、期間を絞ります。
調査に必要な識別子や結果状態を残し、秘密と個人情報は除去・最小化する: 正解です。監査可能性とデータ最小化を両立します。
デバッグのため認証トークンを平文で無期限保存する: ログから資格情報が流出する重大な危険があります。
機密が心配なので実行時刻も結果も一切残さない: 事故調査、重複確認、品質改善ができなくなります。
利用者入力とツール結果を全員が閲覧できる場所へ全文保存する: 不要な複製と広い閲覧権限が漏えい範囲を広げます。
監視の警告が大量に発生し、担当者が見なくなっています。最も適切な改善はどれですか。
警告は異常の重要度を区別し、受け取った人が具体的な対応へ進める形にします。
警告をすべて停止し、月末だけ確認する: 重大事故の発見が遅れ、監視の目的を失います。
すべての一回エラーを最高重要度にする: 雑音が増え、重要な警告が埋もれます。
担当者を増やすだけで条件は変えない: 不要な通知と曖昧な対応が残ります。
件数、割合、継続時間、影響度で条件を調整し、所有者と初動を割り当てる: 正解です。通知疲れを減らし、対応可能な監視へ変えます。
モデルによる自動採点を評価へ使う場合、最も適切な運用はどれですか。
自動採点は規模を広げられますが誤りもあるため、人が目的と採点の一致を継続確認します。
採点モデルの結果を永久に正解として固定する: モデルや入力分布が変わると採点のずれを見逃します。
専門家が標本を確認し、採点基準との一致を校正しながら使う: 正解です。速度と信頼性を両立できます。
人の確認をなくすため、曖昧な採点表のまま大量実行する: 曖昧さを大量に繰り返しても評価の妥当性は上がりません。
高得点の結果だけ保存し、失敗例は削除する: 改善に必要な失敗分布と回帰対象を失います。
04|今日の理解度を確認する
DAY 23の理解度を確認する
今日の整理をする
ここまで分かれば次へ
- ✓ ログは出来事、トレースは一回の経路、メトリクスは傾向を示し、共通IDで異常から証拠へ降りられるようにする
- ✓ 監視は警告後の担当と対応まで設計し、評価は代表例・境界例・失敗例を同じ基準で繰り返し測る
- ✓ 機密を最小化した記録と外部結果を照合し、本番の失敗を評価へ戻して継続的に改善する
講義本文 4,508字