本文へ移動
← 目次 AIエージェント0→1 DAY 06

第2章|エージェントを動かす部品を確かめる。

DAY 06 ・ 約15〜20分

モデルは何を判断しているのか

推論、モデル選択、速度・費用・精度を、実務の判断として理解する。

今日できるようになること

モデルへ任せる判断と仕組みで固定する処理を分け、仕事に合うモデルを評価して選べる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

モデル

入力された情報から、次に出す文字や構造、ツール利用などの候補を計算する中核部分。製品全体や権限管理とは別の部品です。

推論

目的、指示、現在の情報を使い、答えや次の行動を組み立てる処理。長く考えるほど必ず正しくなるという意味ではありません。

トークン

モデルが文章を処理する時の細かな単位。文字数と完全には一致せず、入力と出力の量は速度や費用に影響します。

コンテキスト

その実行でモデルから参照できる指示、会話、資料、ツール結果などの情報。見えていない情報は判断材料にできません。

評価セット

実務を代表する入力例と合格基準を集めた試験用データ。モデル、指示、ツールを変えた時の比較に使います。

確率分布

候補それぞれに割り当てられる確率の広がり。

システムプロンプト

AIの振る舞いや優先する指示を定める上位の入力。

02|仕組みを理解する

仕組みを理解する

AIエージェント全体の地図

中心のModelだけでなく、判断材料、外部操作、安全確認、記録を組み合わせて一つの仕事を進めます。

判断材料InstructionsContext・Memory
Knowledge / RAG
→
判断の中核Model次の回答や行動候補を選ぶ
→
外部との接続Tools / APIMCPを通じた接続も含む
Guardrails禁止・制限・入力出力検査
Human Approval重要操作を人が確認
Logs / Evaluation経路と結果を記録・評価

エージェントの「頭脳」だけを切り分けて見る

AIエージェントを安全に設計するには、モデルと周囲の仕組みを分けます。モデルは指示、会話、資料、ツール説明、実行結果から、文章、構造、次のツール候補を計算します。実際のファイル変更、メール送信、データベース更新はアプリが行い、権限、承認、回数、記録もアプリ側が管理します。 高性能なモデルへ替えるだけでは、全体の安全性と正確性は保証されません。曖昧なツール定義は誤操作につながり、逆に不適切な提案は権限・形式・承認検査で止められます。品質はモデル、指示、情報、ツール、固定処理、評価、監督の組合せで決まります。 エージェントではモデルの出力が次の行動選択へ使われ、ツール結果が再び入力へ戻ります。誤判断が後続工程へ伝わるため、モデルが知る範囲と保証できない点を先に確認します。

モデルが見ているのは、その時に渡された情報

モデルは利用者の依頼に加え、システムの指示、会話履歴、検索結果、ファイル、ツール説明、直前のエラーなど、コンテキストへ入った情報を使います。これは現在参照できる作業机のようなものです。共有フォルダーに資料があっても、検索・読込されていなければ判断材料にはなりません。 情報が多ければ必ず良いわけでもありません。古い規則、別案件の数字、重複した会話が混ざると、重要な条件を取り違えやすくなります。必要な情報を検索し、出所と更新日を示し、今の仕事に関係する部分を整理して渡します。確定事項、参考情報、未確認情報も分けます。 トークンは、この入力と出力をモデルが扱う細かな単位です。日本語の一文字と一トークンが常に一致するわけではありません。長い会話、巨大なファイル、冗長なツール結果を毎回入れると、処理時間と費用が増え、重要情報が埋もれます。必要な情報を削ることは、単なる節約ではなく判断条件を明瞭にする作業です。ただし、削り過ぎて根拠や例外を失えば精度が下がります。必要な情報が揃っているかを確認します。

推論は正解を取り出す魔法ではない

推論とは、目的と現在の情報から答えや次の行動を組み立てる処理です。複数資料の共通点を探す、曖昧な問い合わせを分類する、エラーから原因候補を絞る、どのツールを先に使うか選ぶ、といった場面で力を発揮します。推論向けのモデルは、難しい問題で中間的な検討へより多くの計算を使える場合があります。しかし、考える量を増やせば必ず正しくなるわけではありません。入力に事実がなければ事実は補えず、誤った前提から丁寧に誤った結論を作ることもあります。 モデルが返す説明は、利用者が判断を理解する助けになりますが、内部処理の完全な監査記録とは限りません。もっともらしい理由が付いていることと、結論が正しいことを分けます。「確認しました」「間違いありません」という自己申告も証拠ではありません。検索結果、原文、計算プログラムの出力、保存されたファイル、実行履歴など、外部で確認できる証拠へ結び付けます。 エージェントでは、推論を使う場所を選びます。問い合わせの意図や次の調査先のように、人でも規則を書き切れない部分はモデルへ任せます。料金計算、日付形式、必須項目、承認の有無のように明確な規則がある部分はコードで処理します。「考えられるから任せる」のではなく、「固定処理では扱いにくく、誤りを後で検出できるから任せる」と判断します。

モデルが選ぶのは答えだけではない

エージェントのモデルは、文章の回答だけでなく、次に情報を集めるか、どのツールを使うか、どの引数を渡すか、結果を受けて続けるか終了するかも選びます。たとえば「今週の公式発表をまとめる」仕事では、検索する、発表元のページを開く、日付を比較する、候補を除外する、原稿を作るという判断があります。ここでモデルが担うのは、許可された候補の中から次の行動を提案することです。 ただし、モデルがツール名と入力を出した時点では、現実の操作はまだ完了していません。アプリが入力形式を検査し、利用者の権限を確認し、必要なら承認を求め、実行後の結果を返します。存在しないファイル名や誤った宛先をモデルが作る可能性もあります。入力が構造化されていても、形式が正しいだけで内容の正しさは保証されません。 終了判断にも検査が必要です。モデルが「完成」と答えても、要求文字数、必須項目、リンク、テスト、保存先を満たしていないことがあります。完了条件を機械的に検査できる形へ変え、証拠が揃った時だけ状態を完了へ進めます。モデルは候補を選び、仕組みが許可と事実を確認する。この分担が、エージェントを単なる会話から実務の仕組みへ変えます。

得意な判断と、任せてはいけない保証

モデルが得意なのは、表現が毎回違う文章の意味を読む、資料を要約する、複数案を比較する、不足情報を質問へ変える、調査の仮説を作るといった仕事です。自然言語で書かれた曖昧な情報を扱い、候補を素早く広げられます。過去の対応例を参考に返信案を作る、障害報告から関連するログを選ぶ、記事の想定読者に合わせて説明を変える場面で役立ちます。 一方、最新情報を何も調べずに知ること、接続されていない社内事情を推測すること、厳密な金額計算、法的責任を伴う最終判断、毎回まったく同じ結果を保証することは任せられません。学習時点以後に変わった製品仕様や料金は、公式情報を検索して確認する必要があります。検索しても、公開されていない事実までは分かりません。 モデルは不確実さを適切に表現できないこともあります。自信のある文体を正解の確率として読まず、根拠、独立した計算、人のレビューを組み合わせます。正解が一つなら正解例と照合し、文章は事実性、網羅性、対象読者、禁止事項など複数基準で評価します。

最も強いモデルを全工程へ使う必要はない

モデル選択では、最初から費用だけを削ると、必要な品質へ届かず原因の切り分けも難しくなります。OpenAIの実務ガイドは、まず能力の高いモデルで要求精度へ到達できるかを確認し、その後、可能な部分を小さなモデルへ置き換えて費用と待ち時間を最適化する進め方を示しています。これは「最強モデルを本番で使い続ける」という意味ではなく、品質の基準線を作ってから効率化するという順序です。 簡単な分類、定型的な情報抽出、短い文章の整形には、速くて費用の低いモデルが十分なことがあります。曖昧な複数資料の比較、複雑な計画、例外の多い調査には、より能力や推論を重視したモデルが必要な場合があります。一つのエージェントの中でも、受付分類は小さなモデル、難しい例だけ強いモデル、人へ影響する最終判断は人、という分担ができます。 モデル名や順位だけで選ばず、指示、資料、ツール説明、出力形式の違いも確認します。新モデルは平均性能が上がっても自社特有の表現で挙動が変わり得るため、代表的な仕事で再評価してから広げます。

精度・速度・費用は仕事全体で測る

精度は、モデルの一般的な評価点だけでは決まりません。自分の仕事から通常例、難しい例、情報不足、危険な依頼を集め、合格条件を付けた評価セットを作ります。分類なら正解率だけでなく、見逃すと重大な種類を分けて測ります。文章なら事実誤り、必須項目、出典、修正量を確認します。エージェントなら最終成果だけでなく、不要なツール実行、禁止操作、停止条件、重複処理も評価します。 速度は、検索、ツール待ち、再試行、人の確認、修正まで含む完了時間で測ります。速いモデルでも確認が増えれば全体は遅くなります。能力重視のモデルが一回で根拠を揃え、差し戻しを減らせるなら、応答が少し遅くても仕事は早く終わります。 費用には、入力と出力の利用量、ツールや検索、再実行だけでなく、開発、評価、監視、人のレビュー、失敗対応を含めます。安いモデルを使って再試行が増えれば、総費用が高くなることがあります。品質目標、完了時間、総費用の三つを同じ評価表へ置き、どれか一つの数字だけで決めません。

よくある失敗は能力不足と設計不足の混同

一つ目の失敗は、モデルが誤った時にすぐ上位モデルへ替えることです。原因が、必要資料を渡していない、ツールの説明が重複している、完了条件が曖昧、古い情報が混ざったことなら、モデル変更だけでは直りません。まず入力、出力、ツール履歴を見て、どの段階で情報または制約が失われたかを確認します。 二つ目は、正常な一例の成功で採用することです。実務には略称、空欄、矛盾、長文、悪意ある指示、権限切れがあります。平均的な例だけでなく、失敗すると影響が大きい境界例を評価セットへ入れます。モデル更新や指示変更の前後で同じ集合を実行し、改善した項目と悪化した項目を分けます。 三つ目は、モデルの採点を同じモデルだけに任せることです。自動評価は大量比較に役立ちますが、評価指示の偏りや見落としがあります。機械的に確認できる文字数、形式、リンクはプログラムで検査し、事実は原典と照合し、重要な判断は人が抜き取り確認します。評価方法自体も正しいかを定期的に調べます。

安全性はモデルの賢さではなく境界で守る

高性能なモデルでも、個人情報、契約、医療、金銭、削除、公開を単独で確定させません。モデルの指示文へ「安全に」と書くだけでなく、読み取りと変更の権限を分け、対象件数と費用へ上限を置き、外部へ影響する直前に承認を求めます。許可されていないツールは候補に出さず、アプリ側でも実行を拒否します。 外部のWebページ、メール、文書は正しい命令とは限らず、悪意ある指示を含む場合があります。外部データは証拠候補として扱い、上位ルールや権限を変更させません。機密情報を不必要に入れず、送信前に宛先と内容を検査します。 NISTのAI RMFは、妥当性や信頼性を継続的な試験と監視で確かめ、失敗の影響が大きい場合は人の介入を含める考え方を示しています。安全は一度の試験で完成する状態ではありません。利用範囲、入力、モデル、ツールが変われば、危険と評価も更新します。異常時に止められ、何が起きたか記録から追え、必要なら元へ戻せる構造を保ちます。

小さな比較実験で自分の選択基準を作る

読者演習では、自分が任せたい仕事から十件を選びます。簡単な例を五件、判断が割れそうな例を三件、情報不足や危険な例を二件にします。各例へ、期待する結果、必須項目、禁止事項、根拠の確認方法を書きます。これが小さな評価セットです。個人情報は匿名化し、本番の送信や変更ツールは使わず、下書き環境で試します。 次に、同じ入力を二つの設定で比較します。たとえば高速なモデルと能力重視のモデル、短い指示と改善した指示を比べます。一度に複数の条件を変えると原因が分からないため、モデル、指示、コンテキスト、ツールのどれか一つだけを変えます。正解数、重大ミス、修正時間、完了時間、ツール回数、おおよその費用を記録します。 最後に工程ごとの採用を決めます。簡単な八件を低費用モデルで処理し、確信できない二件だけ能力重視のモデルまたは人へ渡す方法もあります。合格しない場合は、より強いモデルへ替える前に、情報不足、曖昧な基準、固定処理へ移せる部分を確認します。DAY6の結論は、モデルを信頼度の印象で選ばず、代表的な仕事と外部証拠で選ぶことです。モデルは判断候補を作る重要な部品ですが、正しさ、権限、完了を保証するのはシステム全体の役割です。

03|実例で理解する

実例で理解する

具体例で考える

問い合わせ対応では、軽量なモデルが「請求・解約・操作質問・要確認」を分類し、必要資料を選びます。解約や確信できない例だけを能力重視のモデルへ回し、金額は固定プログラムで計算します。返信は下書きに限定し、外部送信は人が承認します。導入前に実例を匿名化した評価セットで、重大分類の見逃し、根拠、修正時間、完了時間、総費用を比較します。モデルが「送信済み」と述べても、送信履歴がなければ完了にしません。

手を動かして理解する

  1. 自分の仕事から通常・難しい・情報不足・危険な例を合計10件選ぶ
  2. 各例の合格条件、禁止事項、外部証拠を書く
  3. 一度に一条件だけ変え、精度・完了時間・修正時間・総費用を比べる
  4. モデル、固定処理、人へ任せる工程を分ける

04|今日の理解度を確認する

DAY 6の理解度を確認する

1 / 5
QUESTION 01

エージェントでモデルが担う役割について、最も適切な説明はどれですか。

QUESTION 02

問い合わせ対応で、モデルではなく固定処理へ任せるのが最も適切な工程はどれですか。

QUESTION 03

仕事に合うモデルを選ぶ試験方法として、最も適切なものはどれですか。

QUESTION 04

AIエージェント全体の構成を理解する見方として、最も適切なものはどれですか。

QUESTION 05

モデルが「公開は完了しました」と返した時、完了確認として最も適切なものはどれですか。

05|今日の整理をする

今日の整理をする

ここまで分かれば次へ

  • ✓ モデルはコンテキストから答えや次の行動候補を作るが、権限や事実を保証しない
  • ✓ 最初に品質基準を作り、工程ごとに必要十分なモデルへ最適化する
  • ✓ 代表的な実務例と外部証拠で、精度・速度・総費用・安全性を継続評価する

講義本文 4,967字

参考資料

公式の一次情報で確かめる

NEXT LESSONDAY 7「コンテキストと状態管理」へ次のDAYに進む →