本文へ移動
← 目次 生成AI基礎講座 DAY 22

第4章|安全・法律・社会原則

DAY 22 ・ 約15分

バイアスと公平性

平均点の高さに隠れる偏りを見つけ、人への影響から公平性を確かめる。

今日できるようになること

AIの偏りがデータ・設計・運用の各段階で生まれる仕組みを説明し、集団別の評価と人の救済手順を含む確認計画を作れる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語だけを暗記せず、似た言葉との違いまで説明できる状態を目指します。

バイアス

観測、データ収集、判断、計算などが特定の方向へ系統的に偏ることです。統計上のずれ、人の思い込み、組織や社会に残る慣行など複数の意味があり、すべてが同じ原因でも、必ず悪意から生じるものでもありません。

公平性

AIの結果によって、特定の人や集団が理由なく不利な扱いを受けないようにする考え方です。何を公平とするかは用途、権利、誤りの影響で変わるため、単一の数値だけで自動的に決まりません。

代表性

学習・評価データが、実際に利用する人、地域、状況、珍しい事例をどの程度適切に含んでいるかという性質です。人数が多くても、利用環境と構成が違えば十分に代表しているとは限りません。

ラベルバイアス

正解として付けたラベルに、過去の判断や測定方法の偏りが入り込むことです。過去の採用結果を『優秀さ』の正解にすると、能力ではなく過去の選考慣行を学ぶ可能性があります。

代理変数

確認したい属性そのものではないものの、その属性と強く結び付いて代わりに働く入力です。属性欄を削除しても、郵便番号、勤務歴、購買行動などから似た区別が再現される場合があります。

サブグループ評価

全体平均だけでなく、年齢層、地域、利用条件など意味のある集団ごとに性能と誤りを分けて調べることです。複数属性が重なる小さな集団も、人数とプライバシーへ注意して確認します。

偽陽性・偽陰性

本当は対象でないのに対象と判定する誤りが偽陽性、本当は対象なのに見逃す誤りが偽陰性です。同じ正解率でも、誰にどちらの誤りが集中するかで実際の被害は変わります。

フィードバックループ

AIの出力が人の行動や次のデータを変え、そのデータを再び学習・判断へ使うことで偏りが強まる循環です。過去の結果だけを正解として取り込むと、最初の小さな差が固定されることがあります。

02|仕組みを理解する

仕組みを理解する

1.バイアスは、AIが突然作るのではなく仕事の流れから入る

AIは与えられた目的、データ、正解、評価方法を使って結果を作ります。そのため偏りは、収集前の制度、誰を観測したか、欠けた値をどう扱ったか、何を成功と呼んだか、出力を誰がどう使ったかのどこからでも入ります。NISTは、計算やデータだけでなく、人の認知と組織・社会の仕組みに由来する偏りも扱います。悪意がなく、計算が仕様どおりでも、人への不利益は起こり得ます。まず『モデルが差別した』と一言で片付けず、目的から運用後までを時系列で調べます。

2.データの人数だけでなく、誰が見えていないかを調べる

十万件あるデータでも、実際の利用者の一部がほとんど含まれなければ代表性は足りません。オンライン申請だけを集めれば、通信環境や支援が必要な人を見落とすかもしれません。欠損が無作為に見えても、地域や年代に偏っていないかを確認します。収集期間、地域、言語、端末、利用経路を本番環境と比較し、件数表を作ります。少数集団を無理に一括せず、データ不足なら『評価不能』と明示し、追加収集や人による対応へ戻すことも公平な判断です。

3.ラベルと測り方が、過去の判断を正解へ変える

教師あり学習では、正解ラベルが学習の目標になります。しかし採用された、融資を受けた、苦情にならなかったという過去の結果は、能力や信用、満足そのものとは限りません。選ばれなかった人の将来成績は観測できず、窓口へ到達できなかった人の不満も記録されません。測定しやすい代理を本当の目的と取り違えると、モデルは過去の制度を効率よく繰り返します。ラベルの作成者、基準、時点、異議の有無を書き、複数人の一致率や例外を確認します。

4.属性欄を消すだけでは、公平性は保証できない

氏名、性別、年齢などを入力から外せば十分だと思いがちです。しかし居住地、学校、勤務の空白、利用時間などが代理変数となり、同じ区別を間接的に再現することがあります。一方、影響を測るために必要な属性まで無計画に消すと、特定集団で誤りが増えているか確認できません。保護すべき情報の収集には、目的、法令、同意、アクセス制御、保持期間が必要です。予測へ使う入力と、公平性監査だけに限定して使う情報を分け、担当者と保存場所を制限します。

5.公平性には複数の物差しがあり、目的から選ぶ

全員を同じ割合で選ぶ、条件を満たす人の選ばれやすさを集団間でそろえる、似た状況の個人を同じように扱うなど、公平性には異なる定義があります。これらは同時に満たせない場合もあり、一つの万能な公平性スコアはありません。採用なら見逃された適格者、医療なら必要な人を見落とす危険、迷惑メールなら正常な連絡を止める危険というように、用途ごとに誤りの意味を決めます。法務、現場、影響を受ける人を交え、選んだ指標と理由、許容差、残る限界を記録します。

6.平均の高性能は、小さな集団の失敗を隠す

全体正解率が95%でも、多数派が98%、少数派が60%なら、平均だけを見た合格は危険です。集団ごとに件数、正解率、適合率、再現率、偽陽性率、偽陰性率を並べ、影響の大きい誤りを中心に比較します。性別だけ、年代だけで終えず、複数条件が重なる集団も検討します。ただし件数が少ない集団の割合は大きく揺れるため、信頼区間や絶対件数を添え、個人が推測されない形にします。差が見つかったら、データ、閾値、用途の限定、人への引継ぎを見直します。

7.チャットAIは検討を助けても、公平性を決定できない

チャットAIは、想定する利用者、失敗例、確認項目の候補を出し、文章の言い換えやテストケース作成を助けられます。しかし実際のデータ分布、組織の慣行、当事者の経験、法的義務を自動で完全には把握しません。『公平ですか』と聞いて肯定文が返っても監査にはなりません。利用者が与えた前提自体に偏りがあれば、自然な説明で補強することもあります。AIは論点整理と反例作りへ使い、指標の選択、受け入れる影響、最終判断と説明責任は人が担います。

8.実務例:採用支援では順位より確認可能な補助へ限定する

応募書類から職務経験を整理する支援を考えます。採用実績をそのまま正解にせず、業務に必要な能力を職務分析から定義します。氏名、写真、住所など不要な情報をマスクし、表記揺れを整える用途から始めます。AIが不採用を確定せず、根拠箇所と未確認事項を表示し、担当者が原文を読めるようにします。集団別の見逃し率、担当者の修正、異議申立てを測り、差が基準を超えたら利用を止めます。AIを使わない選考と比較し、効率だけでなく応募者への影響と説明可能性を評価します。

9.典型的な失敗は、過去の成功者に似た人だけを残すこと

ある会社が過去の高評価社員を学習し、似た応募者を上位へ出す仕組みを作ったとします。過去に特定地域や経歴の人が多ければ、郵便番号や学校が代理変数となり、別の経歴を持つ適格者を落とす可能性があります。上位者だけ面接され、その結果を次の学習へ使えば、見えなかった人の能力は永久に記録されず、フィードバックループが強まります。全体の採用後成績が高くても解決ではありません。目的、比較対象、観測されない結果を見直し、影響の大きい自動順位付けを止める選択も必要です。

10.安全上の注意は、監査のための情報も守ること

公平性を測るための属性情報は、差を見つける助けになる一方、漏えい、目的外利用、再識別の危険を持ちます。必要な根拠と承認なしに推測した属性を作ったり、生成AIへ個人情報を貼り付けたりしません。利用目的を限定し、監査用データを予測系から分離し、最小権限、暗号化、保持期限、削除、集計の最低人数を決めます。結果を公開するときも、小さすぎる集団の値を出して個人を特定できる状態を避けます。公平性とプライバシーを別々に最大化せず、両方の危険を記録します。

11.公開前と公開後で、同じ確認を繰り返す

公開前には、想定利用者と対象外、データの出所と構成、ラベル、代理変数、集団別性能、危険例、人の確認、停止基準を検証します。モデルとデータの版、閾値、実行条件を保存し、再現できるようにします。公開後は入力分布、集団別の誤り、担当者の上書き、苦情、異議申立て、救済までの時間を定期的に見ます。季節、制度、商品、利用者が変われば、合格済みモデルも公平とは限りません。基準超過時に自動処理を止め、人の処理へ戻し、影響を受けた人へ訂正できる手順を持ちます。

12.読者演習:一枚の公平性テスト計画を作る

架空の問い合わせ振り分けAIを題材にします。まず目的、対象、対象外、最も困る誤りを一文ずつ書きます。次に、言語、問い合わせ種別、利用経路など三つの集団軸を選び、各集団の件数、偽陽性、偽陰性、担当者修正を並べる表を作ります。全体平均と差が隠れないかを確認し、件数不足なら評価不能と書きます。最後に、合格基準、人へ戻す条件、苦情窓口、再評価日、保存する証拠を決めます。属性を収集する場合は目的と保護方法も書き、説明できない項目は削除するか利用を保留します。

03|実例で理解する

実例で理解する

具体例で考える

問い合わせ振り分けAIを小規模に試す例では、日本語の短文だけでなく、長文、やさしい日本語、複数要件、添付あり、緊急表現など実際の利用を代表する例を集めます。全体正解率に加え、問い合わせ種別と利用経路ごとの見逃し率、担当者の修正率、処理時間を比較します。緊急連絡の見逃しが基準を超えた集団では自動振り分けを止め、担当者へ直接渡します。評価用の個人情報は必要最小限にし、監査担当だけが見られる場所へ分離します。モデル、データ、閾値、評価日を記録し、商品や窓口が変わるたびに再評価します。利用者には問い合わせ先と訂正方法を示し、苦情を改善データとして扱う前に目的と品質を確認します。担当部署は月ごとに差分を確認し、急な変化がなくても四半期ごとに代表例と危険例を再試験します。改善後は同じテスト集合だけで合格させず、新しい未使用例でも確認します。判断を変更した理由と影響を受けた件数を残し、問題が見つかった期間の処理を追跡して、必要な利用者へ訂正を案内します。公平性という言葉を難しく感じる場合は、「同じ内容の問い合わせなのに、書き方や利用する窓口が違うだけで不利になっていないか」と考えます。たとえば、短い文では正しく振り分けられるのに、やさしい日本語や音声からの文字起こしだけ失敗が多ければ、その人たちは同じサービスを受けられていません。全体の点数に隠さず、条件ごとに結果を分けて見ることが最初の一歩です。違いを見つけたら、原因を決めつけず、例の不足、読み取りミス、判断基準、画面の使いにくさを順に調べます。同じ内容を言い方だけ変えて比べる、見逃しが多い条件を人へ戻す、利用者が訂正できる窓口を用意する、という対策を組み合わせます。公平性は一度の検査で完成するものではなく、利用者や入力が変わった後も差が広がっていないかを繰り返し確かめます。

手を動かして理解する

  1. 今日の三つの用語を、見ずに説明する
  2. 仕事や生活の例へ置き換える
  3. 間違えた確認問題の理由を声に出して説明する

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

採用支援AIの入力から性別などの属性欄を外した後、確認すべきことはどれですか。

QUESTION 02

過去の採用結果を学習データへ使うとき、最初に疑うべきリスクはどれですか。

QUESTION 03

問い合わせ分類AIを公開する前の評価として、最も適切なものはどれですか。

QUESTION 04

ある小さな集団のテスト件数が非常に少ない場合、結果を扱う方法として最も適切なのはどれですか。

QUESTION 05

公開時に公平性テストへ合格したAIを運用するとき、継続して行うことはどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 偏りはデータだけでなく、目的・ラベル・人・制度・運用からも入る
  • ✓ 公平性の指標は用途と誤りの影響から選び、全体と集団別の両方で測る
  • ✓ 公開後も監視・停止・異議申立て・救済を続け、監査用情報のプライバシーも守る

NEXT LESSONDAY 23「法律・倫理・ガバナンス」へ次のDAYに進む →