安全最終確認 2026.10.12
AI Red-Teaming
AIレッドチーミングエーアイレッドチーミング
攻撃者や誤用者の視点からAIを意図的に試し、弱点や危険な振る舞いを見つける構造化された検査です。
MEANING
もう少し詳しく
通常利用だけでは見つかりにくい欠陥や脆弱性を、決めた範囲・手順・記録方法で調べます。NISTはAIシステムの弱点や脆弱性を探す構造化された試験で、管理された環境や開発者との協働で行う場合が多いと定義しています。
EXAMPLE
身近な例
公開前の問い合わせAIへ、権限外の情報要求、紛らわしい指示、連続した誘導質問を送り、ルールを外れる応答や操作がないか記録します。
MISUNDERSTANDING
よくある勘違い
思いつく危険な質問を数回入れるだけの作業ではありません。また、一度合格しても更新や利用環境の変化で新しい弱点が生じます。
KEY POINT
覚えておくこと
対象・禁止事項・停止条件を決めて隔離環境で試し、見つけた問題を修正して再検査します。
SOURCE
確認した公式情報
コラボットが公式資料を確認し、初心者向けの表現へ整理しています。製品仕様や提供条件は変更される場合があります。
NIST・SP 800-218A Secure Software Development Practices for Generative AI ↗確認日:2026.10.12