第5章|安全に動かす運用を確かめる。
DAY 25 ・ 約15〜20分定期実行と24時間運用
時刻を合図にする仕組みと、仕事を失わず受け渡す仕組みを分け、止まっても気付ける運用を作る。
Scheduler、Queue、Worker、状態保存、通知の役割を説明し、重複・遅延・停止を前提にした24時間運用を設計できる。
言葉を知る
Scheduler
指定した時刻や間隔を合図として、仕事を開始するイベントを発行する仕組み。仕事の中身を最後まで実行する担当ではありません。
Queue
処理待ちの仕事を一時的に保持し、作る側と実行する側の速度差や一時停止を吸収する待ち行列。
Worker
Queueから仕事を受け取り、必要なツールやモデルを使って実際の処理を進める実行担当。
Heartbeat
処理中のWorkerが生きており、仕事を継続していることを一定間隔で記録する信号。
Dead Letter Queue
規定回数を超えて処理できない仕事を通常のQueueから分離し、調査や人の対応へ回す保留場所。
重複実行
仕事ごとに許容する並列数と重複キーを設定します。
タイムゾーン
最初に、起動条件、タイムゾーン、対象期間、重複キー、完了条件を書きます。
仕組みを理解する
起動タイプを四つに分ける
AIエージェントは周囲の仕組みが開始条件を検知し、対象と情報を渡して起動します。起動は、利用者の依頼、問い合わせやWebhookなどの外部イベント、時刻・スケジュール、在庫低下や処理停止など状態変化の四つに分けられます。 起動と処理成功は別です。重複、時刻ずれ、誤検知、古い状態を考慮し、業務キー、対象範囲、承認、停止条件を記録します。必要な時だけ安全に動かす仕組みとして扱います。
24時間運用は、AIへ頼み続けることではない
モデルは入力を受けて出力や次の行動候補を作る部品であり、会話で「毎朝9時」と頼むだけでは継続起動を保証できません。時計の監視、仕事の登録、実行担当への受渡し、結果保存、失敗通知は周囲のシステムが担います。 24時間運用とは、必要時に起動し、混雑や停止でも仕事を失わず再開でき、異常を人が把握できる状態です。起動、処理完了、利用者へ価値が届いたことを別々に確認します。
起動の合図を、時刻・出来事・手動に分ける
毎日、毎週、月末のように時刻で始める場合はSchedulerを使います。新しい問い合わせ、ファイル追加、決済完了のように出来事で始める場合はイベントやWebhookを使います。障害後の再実行、内容確認のための試験、緊急対応には手動起動も残します。一つの仕事へ三つの入口があっても、内部では同じ業務IDと処理手順へそろえると重複を管理しやすくなります。 Schedulerの役割は、指定時刻に「この仕事を始めてよい」というイベントを作るところまでです。長い調査や生成をScheduler自身の処理へ詰め込むと、応答期限、混雑、更新作業の影響を受けやすくなります。Schedulerは短い起動処理でQueueへ仕事を登録し、実作業はWorkerへ渡します。 Webhookは外部サービスから到着する通知です。OpenAIの公式資料では、Webhook受信側は短時間で成功応答を返し、重い処理は背景Workerへ渡す方法が示されています。通知の送信元を署名で検証し、同じイベントが重複して届く可能性を考えてWebhook IDで重複を除きます。外部から来た本文をそのまま高権限の命令にせず、許可されたイベント種類と対象だけを仕事へ変換します。
時刻の設計では、タイムゾーンと重なりを先に決める
「毎朝9時」には、どの地域の9時かという条件があります。日本時間で固定するのか、利用者ごとの現地時間にするのか、UTCで管理して表示時だけ変換するのかを決めます。夏時間のある地域では、一日が23時間や25時間になる日があります。時計を一律に24時間足すだけでは、希望時刻からずれる可能性があります。 次に、前回の処理が終わる前に次の時刻が来た時の扱いを決めます。二つを同時に動かす、前回終了後に一件だけ動かす、古い回を飛ばす、範囲を分けて処理するという選択があります。売上集計を二つ同時に更新すれば競合し、ニュース確認を古い回から全部実行すれば情報が重複するかもしれません。仕事ごとに許容する並列数と重複キーを設定します。 予定時刻ぴったりの実行を前提にしないことも重要です。基盤の混雑、保守、再試行で開始が遅れる場合があります。大切なのは秒単位の正確さより、実行予定時刻、実際の開始時刻、完了時刻、遅延、未実行を記録できることです。「9時の回」という論理上の対象期間を業務IDへ含めれば、10分遅れても同じ回を二重作成せず処理できます。
Queueは、仕事を失わず速度差を吸収する
定刻に千件の対象が見つかっても、千件を一度にモデルや外部APIへ送ると、処理量制限、費用急増、相手サービスへの負荷を招きます。Queueへ一件ずつ仕事を登録し、Workerが許可された並列数で順番に受け取れば、起動側と実行側の速度差を吸収できます。Workerを一時停止しても、未処理の仕事はQueueへ残せます。 ただし、多くのQueueは「一度だけ届く」とは限りません。Google Cloudの公式資料は、定期リクエストが少なくとも一回配送され、まれに同じ仕事が複数回要求されるため、受信処理を冪等にする必要があると説明しています。DAY 24で学んだ業務キー、外部状態の確認、処理済み記録がここでも必要です。 Amazon SQSの公式資料では、Workerが受け取ったメッセージを一定時間ほかのWorkerから見えなくするVisibility Timeoutが説明されています。処理成功後に削除し、時間内に完了できなければ延長または再表示します。短すぎれば処理中に別Workerが同じ仕事を取り、長すぎれば停止後の再開が遅れます。規定回数を超えて失敗した仕事はDead Letter Queueへ分離し、通常の仕事を詰まらせず原因を調べます。
状態保存とHeartbeatで、担当が消えても再開できるようにする
Workerのメモリだけに現在地を持たせると、再起動、更新、通信断で状態が失われます。仕事ID、対象期間、入力版、現在の工程、試行回数、確定済み成果、外部操作ID、次に実行可能な時刻を共有の保存先へ記録します。Workerは記録を取得して処理し、工程が確定するたびに更新します。 同じ仕事を二つのWorkerが同時に取らないよう、所有者と予約期限を持ちます。処理が続いている間はHeartbeatで予約を延長します。Heartbeatが途切れて期限を超えたら、実行環境が消えた可能性を検知し、外部状態を照会してから別Workerが引き継ぎます。単にロックを永久保存すると、最初のWorkerが停止したあと誰も再開できません。 保存すべきなのは会話全文だけではありません。第三者が再開判断に使える確定状態を残します。どの情報源を確認したか、どの成果物版を採用したか、外部送信が未実行か結果不明かを分けます。状態保存はバックアップではなく、運用中の現在地です。保存先自体の障害、容量、保持期間、閲覧権限も監視し、秘密や個人情報を必要以上に複製しません。
長いAI処理は、非同期の仕事として扱う
モデルの処理が数分かかる場合、画面やWebhookの接続を開いたまま待つ設計は不安定です。OpenAIのBackground modeは、長い処理を非同期で開始し、応答オブジェクトの状態を後から確認する方法を提供します。開始要求が受理されたことと、生成結果が完成したことを分け、処理IDを状態保存へ記録します。 完成確認には、一定間隔で状態を問い合わせるPollingと、完了イベントを受け取るWebhookがあります。Pollingは実装しやすい一方、間隔が短すぎると無駄な要求が増え、長すぎると反映が遅れます。Webhookは完成時に受け取れますが、署名検証、重複除去、再配送への対応が必要です。どちらも、完了結果をQueueへ渡し、その後の保存や通知を別工程として進められます。 できないこともあります。Background modeだけでは毎朝の起動、業務全体の永続状態、失敗通知、外部公開の承認まで自動で用意されません。特定APIの非同期機能を、24時間運用全体と混同しないことが重要です。Scheduler、Queue、Worker、状態保存、監視を組み合わせ、その中の一工程として長いモデル処理を扱います。
通知は、成功報告より要対応を届けるために設計する
毎回の成功をすべて通知すると、担当者は重要な異常まで読まなくなります。通常の成功は一覧や日次集計へ残し、即時通知は、連続失敗、未実行、期限超過、Queue滞留、Dead Letter Queueへの移動、高リスク操作の承認待ちなど、行動が必要な状態へ絞ります。通知には仕事ID、影響範囲、現在地、最後の成功、試した対応、担当者が次に行うことを含めます。 通知経路も一つに依存しません。重要度に応じてアプリ内表示、メール、業務チャット、電話連絡などを分けます。ただし、同じ障害で千件の通知を送らず、原因や時間帯でまとめます。受信確認が必要な重大通知には、確認されなければ次の担当へ段階的に上げるEscalationを設定します。 通知を送れたことと、問題が解決したことも別です。担当者が受領し、対応を開始し、復旧を確認した状態を追います。通知先の退職、権限変更、メール不達も定期的に試験します。試験用の異常を発生させ、夜間でも決めた担当へ届くか、秘密が通知本文へ出ないかを確認します。
24時間化で増える危険を、上限と権限で閉じ込める
人が見ていない時間に動くほど、間違いを早く繰り返す危険があります。時間帯ごとの処理件数、モデル費用、外部API回数、同時Worker数、再試行回数に上限を置きます。対象が急増した時は自動拡張だけで追い付こうとせず、入力異常や攻撃でないか確認します。送信、公開、削除、決済は、夜間でも必要な承認と業務ルールを省きません。 Schedulerには仕事を登録する権限、Workerには担当処理に必要な最小権限、通知担当には必要な宛先だけを与えます。すべてのWorkerへ管理者権限を共有しません。認証情報は専用の秘密管理へ置き、ログ、Queue本文、通知へ平文で入れません。Webhookは署名と時刻を検証し、古い要求の再送攻撃も防ぎます。 停止手段も運用機能です。新規起動を止める、Queueの取得を止める、特定の操作だけ禁止する、実行中の仕事を安全な復旧点で止める段階を用意します。更新時は一部のWorkerだけで試し、旧版と新版が同じ仕事を二重処理しないよう版と所有権を管理します。24時間動けることより、必要な時に安全に止められることを先に確認します。
読者演習では、一日の運用表と障害試験を作る
自分の仕事から、毎朝の情報収集、問い合わせ分類、定期レポートなど一つを選びます。最初に、起動条件、タイムゾーン、対象期間、重複キー、完了条件を書きます。次に、Scheduler、Queue、Worker、状態保存、通知の五列を作り、それぞれが受け取る情報、残す証拠、必要権限、失敗時の行き先を埋めます。 前回が終わらないまま次の時刻が来た場合、同じイベントが二回届いた場合、Workerが途中で停止した場合、外部APIが一時間止まった場合、通知先が不達の場合を順に試します。成果物の件数、外部操作の重複、Queueの残数、状態の所有者、通知の到着を確認します。通常時だけでなく、停止と再開が期待どおりかを記録します。 最後に一週間の指標を決めます。予定回数、起動回数、完了回数、遅延、重複除去数、再試行、Dead Letter Queue件数、平均費用、人の対応時間を集計します。AIの返答が自然だったかだけでなく、予定した価値が届き、異常を検知し、失敗を安全に回収できたかを判定できれば、24時間運用の設計になっています。
実例で理解する
具体例で考える
小売店で毎朝、前日の売上報告を作る場合、スケジューラーは対象日を付けて一件の仕事を待ち行列へ登録します。処理担当は同じ日付の完了記録を確認し、売上データの取得、合計の検算、前日比較、下書き保存を工程ごとに記録します。途中で止まった場合は、最後に確認できた工程から再開します。完成した下書きは日次一覧へ載せ、未実行、期限超過、元データ不足だけを担当者へ通知します。報告の外部送信は別の承認付き工程にし、毎日動かすことを理由に送信権限まで無人化しません。
手を動かして理解する
- 定期化したい仕事を一つ選び、起動条件、タイムゾーン、対象期間、重複キーを決める
- Scheduler、Queue、Worker、状態保存、通知の役割と必要権限を書く
- 前回未完了、重複配送、Worker停止、外部障害、通知不達の扱いを決める
- 予定・開始・完了・遅延・滞留・費用・要対応を測る指標を決める
- 試験用の異常を発生させ、重複せず再開し、担当者へ必要情報が届くか確認する
04|今日の理解度を確認する
DAY 25の理解度を確認する
毎朝の定期処理が数十分かかり、開始時刻には多数の対象が見つかります。最も適切な構成はどれですか。
起動、保持、実行を分離すると、処理量の急増や一時停止があっても仕事を失いにくくなります。
Schedulerの応答中に全件を一度で処理する: 起動処理の期限や障害へ長い実作業が巻き込まれ、再開位置も管理しにくくなります。
Schedulerは仕事をQueueへ登録し、Workerが上限付きで処理する: 正解です。Schedulerを短く保ち、Queueで速度差を吸収し、Workerの並列数を制御できます。
利用者がチャット画面を開くまで処理を保留する: 24時間運用の起動が人の画面操作へ依存してしまいます。
全対象を同時に外部APIへ送る: 処理量制限、費用急増、相手サービスへの過負荷を招く可能性があります。
同じ予定回の起動イベントが二回届きました。安全な処理として最も適切なものはどれですか。
定期配送やWebhookは重複し得るため、同じ業務意図を一つの外部効果へそろえます。
後から届いたイベントを必ず新しい仕事として実行する: 同じ日次処理や送信を二重に実行する危険があります。
イベント本文が同じに見えれば記録せず捨てる: 似た別イベントとの区別が不安定で、監査証拠も残りません。
二回目だけ別のWorkerへ渡す: 担当を変えても業務意図が同じなら重複は解消しません。
対象期間を含む同じ業務キーで処理済み状態を確認し、重複実行を防ぐ: 正解です。予定回を識別し、既存結果を再利用または現在状態へ結び付けます。
処理中だったWorkerのHeartbeatが途切れ、予約期限を超えました。次の担当が最初に行うことはどれですか。
停止直前に外部処理が成功している可能性を確認し、確定済み工程を重複させず再開します。
保存状態と外部操作の結果を照会し、安全な復旧点から所有権を取り直す: 正解です。期限付き所有権と外部証拠を使って安全に引き継げます。
前のWorkerが何もしていないと決めて最初から実行する: 保存直前の送信や登録が成功済みなら二重処理になります。
予約を永久ロックへ変更する: 停止したWorkerの仕事を誰も回収できなくなります。
状態記録を削除して新しい仕事番号を付ける: 現在地と重複判定の証拠を失います。
定期処理の通知が多すぎて、担当者が見なくなっています。最も適切な改善はどれですか。
即時通知を行動可能な異常へ絞り、誰が何をするかまで示すと重要な警告が埋もれません。
成功も一時的遅延もすべて最高重要度で通知する: 通知疲れが進み、本当に重大な異常が埋もれます。
通知をすべて停止する: 夜間停止や期限超過へ気付けず、24時間運用の監視を失います。
通常成功は集計し、期限超過や未実行など要対応状態へ担当と初動を付けて通知する: 正解です。平常確認と緊急対応を分け、受信後の行動を明確にします。
通知本文へ認証情報を含めて調査を速くする: 通知経路から秘密が流出する危険があり、専用の秘密管理を使うべきです。
AIエージェントの起動方式について、最も適切な理解はどれですか。
AIエージェントは常に動き続ける存在ではなく、決めたきっかけで起動し、必要な安全設計のもとで仕事を進めます。
すべてのエージェントは常時自律して勝手に動く: 起動条件がなければ処理は始まりません。常時運用にも監視やスケジューラーなどの仕組みが必要です。
利用者の依頼、外部イベント、時刻・スケジュール、状態や条件の変化などを起点にでき、起動条件ごとに権限と確認を設計する: 正解です。代表的な四つの起動方式と安全設計を結びつけています。
スケジュール起動だけがAIエージェントの正式な起動方式である: 利用者操作、Webhookなどのイベント、監視条件の変化も起点になります。
外部イベントで起動する場合はHuman Approvalを置けない: 起動方式にかかわらず、影響の大きい行動の前に人の承認を置けます。
04|今日の理解度を確認する
DAY 25の理解度を確認する
今日の整理をする
ここまで分かれば次へ
- ✓ 24時間運用はモデル単体ではなく、起動、待ち行列、実行、状態保存、通知を分けて作る
- ✓ 時刻のずれ、重複配送、Worker停止を前提に、業務キー、予約期限、Heartbeat、Dead Letter Queueで回収する
- ✓ 通常成功は集計し、要対応だけを通知して、上限、最小権限、停止手段を常に残す
講義本文 4,591字