本文へ移動
← 目次 生成AI発展講座 DAY 32

第7章|AIの社会実装

DAY 32 ・ 約30分

データを収集・加工する

目的、品質、偏り、権利、来歴を管理する。

今日できるようになること

目的に必要なデータを、取得・ラベル・加工・分割・保存・削除まで追跡し、品質、代表性、情報漏えい、権利の問題を説明できる。

01 言葉を知る02 仕組みを理解する03 実例で理解する04 今日の理解度を確認する05 今日の整理をする
01|言葉を知る

言葉を知る

用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。

データ来歴(Provenance)

データを誰が、いつ、どこから、どの条件で取得し、どう加工したかを追える記録です。

アノテーション

画像の枠、文章の分類など、学習・評価へ使う正解情報を付ける作業です。基準と作業者間の一致が重要です。

代表性

利用対象となる人・環境・条件が、データへ必要な割合と範囲で含まれている性質です。件数の多さだけでは決まりません。

データリーケージ

利用時には得られない情報や評価データが、訓練や前処理へ漏れ、見かけの性能を高くする問題です。

データセットシフト

訓練時と利用時で、入力や正解との関係が変化することです。季節、機器、制度、人の行動などで起こります。

データシート/データカード

データセットの目的、構成、収集、加工、推奨用途、制限などを記録する文書です。

ラベル品質

作業者へ見せる画像は、ラベル名以外の顧客・工場情報を必要最小限にします。

02|仕組みを理解する

仕組みを理解する

1.集められるデータではなく、目的に必要なデータを決める

保有データを全部モデルへ入れてから用途を考えると、不要な個人情報や過去の偏りまで持ち込みます。課題定義から、必要な入力、正解、対象期間、利用時点を逆算します。予測時に存在しない情報は候補から外します。 需要予測なら商品、日付、在庫、価格、販促、天候などを検討しますが、発注後に確定した廃棄数を予測入力へ入れてはいけません。各項目について取得目的、更新頻度、欠測時の扱い、保存期間を定めます。

2.取得条件をそろえ、来歴を残す

同じ「売上」でも、税込・税抜、返品前・返品後、店舗日付・決済日付で値が違います。画像もカメラ、照明、距離、圧縮で分布が変わります。データ値だけでなく、取得条件を記録します。 出所、取得日時、担当、同意・契約、機器、単位、加工履歴、版を追跡できれば、問題の原因を戻れます。Webから取得できることと、学習・再配布できることは同じではありません。利用規約、著作権、個人情報、契約を確認します。

3.データ品質を、正確さだけで見ない

品質には、値が正しい正確性、必要項目がある完全性、同じ定義である一貫性、必要時点で更新される適時性、重複がない一意性などがあります。住所が正しくても10年前なら、現在の配送には使えません。 列ごとに型、範囲、単位、欠測率、重複率、更新時刻を検査します。異常値を機械的に削除せず、入力ミスか、珍しいが重要な例かを確認します。

4.アノテーション基準を、例と反例で作る

「不適切な投稿」「危険な運転」のようなラベルは、人により判断が変わります。定義、含む例、含まない例、境界例、判定不能を用意します。作業者へ短い説明だけを渡さず、練習と質問経路を設けます。 複数人が同じ例を判定し、一致率を測ります。不一致を多数決で消すだけでなく、基準が曖昧か、事実だけで決められないかを調べます。高い専門性が必要なら専門家の確認を残します。

5.対象集団の代表性と、少数条件を確認する

データが100万件あっても、昼間の都市部だけなら夜間や地方を代表しません。利用対象を年齢、地域、言語、機器、季節、業務種類などで分け、件数と結果を確認します。少数だから不要ではなく、失敗影響が大きい集団は重点評価します。 母集団の割合へ合わせるだけでなく、性能を確認できる最低件数を確保します。学習で重み付けや再標本化を行う場合は、評価分布を勝手に変えず、実利用の割合と集団別結果を両方示します。

6.欠測・異常・重複には、意味がある

欠測は偶然とは限りません。高齢者だけオンライン項目が空く、故障時だけセンサーが止まるなら、欠測自体が集団や結果と関係します。平均値補完だけで隠すと、偏りを作ります。 欠測理由とパターンを調べ、欠測フラグを使う、対象外へ戻す、追加取得する方法を選びます。重複データは特定利用者を過大評価し、類似画像が訓練とテストへ分かれる漏えいを生みます。

7.加工手順を、訓練データだけで決める

標準化の平均・分散、カテゴリ辞書、欠測補完値、特徴選択を全データから求めると、検証・テスト情報が訓練へ漏れます。最初に対象単位で分割し、訓練側だけで加工条件を学び、同じ条件を検証・テストへ適用します。 文章の重複除去、画像拡張、時系列窓の作成も分割後に行います。同じ人、装置、会話、商品が両側へまたがらないよう、利用時の未知単位で分けます。

8.合成データは、現実データの代わりではない

生成AIやシミュレーターで珍しい場面を増やせます。個人情報を直接使わずに学習例を作る可能性もあります。しかし、生成モデルの偏りや誤りを増幅し、現実にない規則を学ぶ場合があります。 合成と実データを区別し、生成方法、比率、品質検査を記録します。評価は独立した現実データで行います。合成データだから権利・プライバシー問題が自動で消えるとは限りません。

9.データセットを、文書と版で管理する

データシートには、目的、作成者、構成、収集方法、前処理、ラベル、個人情報、推奨用途、非推奨用途、既知の偏り、保守方法を記録します。モデルが失敗したとき、どのデータ版で学んだかを追えるようにします。 新しいデータを足すたび同名ファイルを上書きせず、版番号、変更理由、件数、品質差を残します。削除要求や権利問題が出た場合、影響する版とモデルを特定します。

10.DAY 32では、データ一件の生涯を描く

取得、同意、保存、加工、ラベル、分割、学習、評価、提供、削除までを矢印で描き、各段階の担当と証拠を書きます。データがモデルへ入った後も、元データとの関係を追えるようにします。 最後に、最も件数の少ない条件、最も欠測が多い項目、最も影響の大きい誤ラベルを一つずつ確認します。総件数だけで品質を説明しないことが到達点です。

03|実例で理解する

実例で理解する

具体例で考える

工場で製品表面の傷を検出する画像モデルを作る場面を考えます。目的は検査員をなくすことではなく、見落としやすい候補を先に示し、最終確認を助けることです。利用時の対象は三工場、昼夜、四種類のカメラです。 画像ごとに工場、製造ライン、日時、カメラ、照明、製品型番、検査員、判定を記録します。傷画像だけを集めず、正常、汚れ、反射、印刷模様、撮影不良を含めます。顧客名や製造番号が不要なら学習前に除去します。 傷の定義を、長さ、深さ、位置、出荷基準と結び付けます。二人の検査員が独立に枠と種類を付け、不一致は責任者が確認します。見えない画像を無理に正常へせず、撮影不良として分けます。 データ分割は画像単位の無作為ではなく、製造ロットと日付単位にします。同じ製品を角度違いで撮った連写が訓練とテストへ分かれないようにします。一工場を完全に外したテストも作り、未知環境への性能を確認します。 前処理の明るさ補正や標準化は訓練側で決めます。左右反転で傷の意味が変わらないか、回転で製品方向が壊れないか確認して拡張します。正常画像を大量に複製して、傷例の割合を見えなくしません。 代表性表には、工場、カメラ、昼夜、型番、傷種類ごとの件数を載せます。新型番が少ない場合、全体精度で隠さず追加収集します。重大傷は少数でも、専用評価集合を確保します。 データシートへ、収集目的、期間、機器、ラベル基準、除外、分割、既知の不足、許可された用途を書きます。品質改善で画像を追加した場合は版を上げ、モデル版と結び付けます。 運用中にカメラを交換したら、新旧画像の明るさや解像度を比較します。性能低下があれば、モデルだけでなく取得条件の変更として扱います。削除対象の製造データがあれば、保存先、派生データ、学習済みモデルへの影響を確認します。 品質検査では、画像ファイルが開けるかだけでなく、解像度、露出、ピント、対象の位置、撮影時刻、ラベルの範囲を自動確認します。基準外画像は勝手に削除せず、件数と発生ラインを報告します。同じラインだけ撮影失敗が多ければ設備問題として直します。 欠測したカメラ情報を「不明」カテゴリにして学習する場合、不明が特定工場と結び付いて近道にならないか確認します。値を補った項目には補完フラグを残し、本当の観測値と区別します。 傷の少ない型番を合成画像で増やす場合、現実の傷形状、光の反射、製品表面との境界を専門家が確認します。合成比率を記録し、合成画像をテストへ入れません。実際の新型番画像で性能を確定します。 作業者へ見せる画像は、ラベル名以外の顧客・工場情報を必要最小限にします。外部委託する場合は利用目的、再委託、保存、返却・削除、事故連絡を契約へ入れます。作業完了後も個人端末へ画像が残らない方法を選びます。 データ版を更新するときは、追加件数だけでなく、工場・型番・傷種類の分布差を旧版と比較します。ラベル基準を変更した場合は、旧ラベルと新ラベルを混ぜず、再判定した範囲を明示します。 最終的なデータシートには、使用してよい検査目的と、人物識別など使用してはいけない目的を記載します。大量の画像があるという理由だけで、別用途へ転用しません。データの価値と、利用許可の範囲を分けて管理します。 保管場所は原本、加工済み、ラベル、訓練用、評価用で分け、アクセス権を必要な担当へ限定します。ファイル名だけで版を判断せず、台帳の識別子と内容ハッシュを使って取り違えを防ぎます。バックアップにも同じ保存期限を適用します。 データを外部へ受け渡すときは、件数、版、暗号化、受領者、受領時刻を記録し、受領確認を取ります。メール添付や個人クラウドへ置く運用を避けます。漏えいが疑われた場合に、対象ファイルと関係者をすぐ特定できる状態にします。 品質報告では「欠測を補完済み」とだけ書かず、元の欠測率、補完方法、補完後に残る不確実性を示します。加工後の見た目が整っていても、元データの不足は消えません。報告基準は定期的に見直します。

手を動かして理解する

  1. 提供ケース「小規模な問い合わせ分類PoCを、課題・データ・評価・運用へ分ける」または自分が説明できる身近な事例を一つ選び、DAY32「データを収集・加工する」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「目的に必要なデータを、取得・ラベル・加工・分割・保存・削除まで追跡し、品質、代表性、情報漏えい、権利の問題を説明できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。

04|今日の理解度を確認する

今日の理解度を確認する

1 / 5
QUESTION 01

データ来歴として記録すべき内容はどれですか。

QUESTION 02

代表性について適切な説明はどれですか。

QUESTION 03

アノテーションで作業者間の判定が割れた場合の適切な対応はどれですか。

QUESTION 04

前処理によるデータリーケージを防ぐ方法はどれですか。

QUESTION 05

合成データを使う場合の適切な評価はどれですか。

05|今日の整理をする

今日の整理をする

この3点を持ち帰る

  • ✓ 目的に必要なデータだけを、取得条件・権利・来歴と一緒に管理する
  • ✓ 代表性、欠測、重複、誤ラベルを条件別に確認し、分割後に加工する
  • ✓ データシートと版管理で、収集から削除まで追跡できる状態を作る

講義本文 4,042字

PRIMARY SOURCES

確認に使った一次資料・原典

本文は各資料を参照し、初学者向けに独自構成・独自表現で解説しています。
NEXT LESSONDAY 33「PoCと評価設計」へ次のDAYに進む →