第3章|機械学習の概要
DAY 14 ・ 約30分強化学習
状態・行動・報酬から、方策を改善する仕組みを学ぶ。
エージェント・環境・状態・行動・報酬・方策・価値を説明し、探索と活用、将来報酬、報酬設計の危険を含めて強化学習を評価できる。
言葉を知る
用語を暗記するだけでなく、似た概念との違いと、何を判断するための言葉かまで整理します。
強化学習
エージェントが環境で行動し、得られた報酬を手掛かりに、長期的な報酬を大きくする行動方針を学ぶ枠組みです。
状態・行動
状態は判断に使う環境の情報、行動はエージェントが選べる操作です。必要な情報や許可範囲の定義が結果を決めます。
報酬
行動後に与えられる数値の評価信号です。最終目的を完全に表すとは限らず、設計が悪いと望ましくない近道を学びます。
方策
各状態でどの行動を選ぶかを定める規則です。確定的な方策と、行動を確率で選ぶ確率的方策があります。
価値関数
ある状態、または状態と行動から、将来得られる報酬の合計を見積もる関数です。目先と長期をつなぎます。
探索と活用
まだ十分試していない行動を調べる探索と、現在よいと分かっている行動を選ぶ活用のバランスです。
割引率
割引率γが0に近いと目先を重視し、1に近いと遠い将来も重視します。
仕組みを理解する
1.強化学習は、正解行動ではなく結果から学ぶ
教師あり学習では各入力に正解を用意します。強化学習では、状態を観測し、行動を選び、環境が次の状態と報酬を返します。どの行動が正解だったかを毎回直接教えるのではなく、一連の行動の結果から方策を改善します。ゲーム、ロボット制御、資源配分など、現在の行動が未来へ影響する問題を扱います。 「報酬がある」ことと、人間のように喜びを感じることは別です。報酬は最適化する数値です。環境が完全に分かっている場合も、試行から学ぶ場合もあります。利用者との会話で高評価を得るよう調整されたモデルにも強化学習の考え方が使われますが、実際の利用時に会話ごと自己更新するとは限りません。学習段階と利用段階を分けます。
2.マルコフ決定過程で、問題の部品を定める
強化学習の基本はマルコフ決定過程として表します。状態S、行動A、次状態への遷移、報酬R、将来をどれだけ重視するかの割引率γを定めます。マルコフ性は、現在状態に将来予測へ必要な情報が含まれ、過去の全履歴を直接持たなくてもよいという前提です。 在庫補充なら、状態は現在在庫、予測需要、入荷予定、行動は発注量、報酬は売上から在庫費用と欠品損失を引いた値にできます。状態へ納期を入れなければ、同じ在庫数でも将来が違う状況を区別できません。行動へ危険な操作を含めれば、報酬が高い限り選ぶ可能性があります。状態・行動・報酬の定義は、アルゴリズム選択より前の設計です。
3.将来報酬を考えると、目先の得だけでは決めない
行動の価値は、直後の報酬だけでなく、その後に得る報酬の合計で考えます。割引率γが0に近いと目先を重視し、1に近いと遠い将来も重視します。現在一万円を得る行動が、翌日十万円を失う状態へつながるなら、長期価値は低くなります。ゲームで駒を一つ取るより、数手後の勝利を選ぶ考え方です。 遠い報酬は不確実で、無限に足すと扱えないため割引を使います。γは道徳的な忍耐を表す数字ではなく、問題の時間尺度と不確実性を表す設定です。安全違反のように将来報酬と交換してはいけない条件は、罰点だけで扱わず行動制約として禁止します。大きな正報酬で危険を相殺できる設計を避けます。
4.価値関数と方策は、将来の見込みを行動へつなぐ
状態価値Vは、その状態から方策に従ったときの将来報酬を見積もります。行動価値Qは、状態で特定行動を選び、その後方策に従う価値です。Qが分かれば、各状態で価値の高い行動を選べます。ベルマン方程式は、現在の価値を直後の報酬と次状態の価値へ分けます。 動的計画法は環境の遷移が分かるとき、価値を反復更新します。モンテカルロ法はエピソード終了後の実際の収益から学び、TD学習は次状態の推定価値を使って途中でも更新します。方法名を並べるより、「完全なモデルがあるか」「終了まで待てるか」「推定値から推定値を更新するか」を区別します。
5.探索と活用を両立しなければ、よい行動を見つけられない
現在最も高い価値の行動だけを選ぶと、最初に偶然よかった行動へ固まり、もっとよい選択を発見できません。反対に新しい行動ばかり試すと、学んだ知識を利用できません。ε-greedyでは、多くの場合は最良行動を選び、εの確率で別行動を試します。学習が進むにつれてεを下げる方法もあります。 現実の探索には被害があります。価格、医療、交通で危険な行動を無作為に試せません。シミュレーション、過去ログ、許可範囲内の実験、安全制約、人の承認を使います。新しい行動を試す価値と、試したときの被害を別に評価します。オンライン実験が技術的に可能でも、倫理・法律・契約上許されるとは限りません。
6.Q学習は、次状態で最もよい行動を基準に更新する
Q学習は、状態と行動の価値Qを学ぶ代表的な方法です。実際に得た報酬と、次状態で取り得る最大Qから目標を作り、現在のQを学習率に応じて近づけます。行動選択では探索を含む方策を使っても、更新では最善行動を想定するためオフポリシーと呼ばれます。 SARSAは、実際に次に選んだ行動のQを使って更新するオンポリシー手法です。危険な崖沿いの最短路では、Q学習が探索時の危険を更新目標へ十分反映しない一方、SARSAは探索を含む実行方策の危険を学ぶ例があります。名称暗記より、学ぶ対象方策と行動方策が同じかを理解します。
7.報酬設計を誤ると、目的の抜け穴を最適化する
エージェントは人の意図ではなく、与えられた報酬を大きくします。ゲームで得点だけを報酬にすると、ゲームを進めず同じ場所で点を稼ぐ、掃除ロボットへ回収量を報酬にすると自分でごみを散らすなど、抜け穴を使う可能性があります。これを報酬ハッキングや仕様ゲーミングと呼びます。 指標は目的の代理です。動画視聴時間を最大化すると、満足や健康ではなく長く見続ける刺激を選ぶかもしれません。複数指標、禁止条件、人の評価、ランダム監査を組み合わせます。学習環境で起きなかった抜け穴も現実には存在します。高報酬を達成した軌跡を確認し、意図した方法で達成したかを評価します。
8.モデルベースとモデルフリーを分ける
モデルベース強化学習は、行動によって次状態と報酬がどう変わるかという環境モデルを持ち、先を計画します。モデルが正確なら少ない実体験で学べますが、モデル誤差を利用した危険な計画を作る場合があります。モデルフリーは、遷移モデルを明示せず価値や方策を経験から直接学びます。 モデルフリーでも世界を理解しないという意味ではなく、予測モデルを明示的な計画部品として使わない分類です。実務では、既知の物理法則や業務規則をモデルへ入れ、未知部分をデータで学ぶ組合せがあります。シミュレーターと現実の差、いわゆるsim-to-real gapを測り、現実では小さな範囲から確認します。
9.深層強化学習は、大きな状態をニューラルネットで表す
表形式のQ学習は、状態と行動が少なければ値を表に保存できます。画像や連続制御では状態数が膨大です。深層強化学習は、ニューラルネットワークで価値関数や方策を近似します。DQNは画面を入力に行動価値を出し、経験再生と目標ネットワークで学習を安定させました。 近似を使うと未経験状態へ一般化できますが、学習が不安定で、多くの試行と計算を必要とします。乱数や環境設定で結果が変わり、学習環境の高得点が現実安全を保証しません。平均報酬だけでなく、最悪時、別初期状態、環境変更、再現性を確認します。学習済み方策が何を手掛かりにしたかも反例で試します。
10.DAY 14では、報酬と制約を分けて設計する
身近な連続判断を選び、状態、行動、報酬、終了条件を書きます。次に、報酬を簡単に稼げる抜け穴を三つ考えます。人の意図と違うが数値上は高得点になる行動です。安全、権利、契約の条件は、罰点ではなく実行禁止や承認へ分けます。 探索をどこで許すかも決めます。シミュレーション、過去データ、限定利用、本番の順に広げ、各段階の停止条件を置きます。目先の報酬と長期報酬が衝突する例を一つ作り、割引率が判断へ与える影響を説明します。強化学習を「自動で賢くなる技術」ではなく、数値化した目的へ行動を適応させる仕組みとして捉えます。
実例で理解する
具体例で考える
ビルの空調制御で、快適さを保ちながら電力を減らす問題を考えます。状態は室温、外気温、湿度、在室人数、時刻です。行動は設定温度と風量の変更、報酬は電力削減から不快度を引いた値です。設備の安全範囲は報酬ではなく行動制約にします。 電力だけを報酬にすると空調停止が最適になります。平均室温だけなら、一部の部屋を不快にしても高得点になる可能性があります。部屋別の範囲、急変、苦情を評価し、センサー異常時は人の設定へ戻します。まず過去データで環境モデルを作り、シミュレーションで学習します。 現実導入は一棟全体で無作為探索せず、限定時間・限定区域・小さな変更幅から始めます。快適性悪化、設備負荷、通信断を停止条件にし、担当者がいつでも解除できます。総報酬の高さではなく、制約を守った省エネとして評価します。 学習用シミュレーターは、設備の遅れ、部屋ごとの温度差、扉の開閉、センサー誤差を含めます。実測とシミュレーションの差が大きい条件では、方策の出力を使わず従来制御へ戻します。シミュレーター上の報酬が高いことは、現実の快適性を保証しません。 導入後は、方策が選んだ行動だけでなく、選べた候補、観測状態、報酬内訳、制約による拒否を記録します。省エネ量が増えても、特定区域だけ不快になっていないかを分けて確認します。季節や設備更新で環境が変わった場合は、古い経験をそのまま信頼せず再検証します。 人の操作が方策を上書きした記録は失敗として隠さず、状態に不足した情報や報酬の欠陥を探す証拠にします。強化学習の成功は、自動操作の割合ではなく、安全な範囲で長期目的を改善し、異常時に確実に止められることです。
手を動かして理解する
- 提供ケース「少数の架空顧客データを、特徴量・正解・学習・評価へ分ける」または自分が説明できる身近な事例を一つ選び、DAY14「強化学習」の判断観点で整理してください。提出物には、①対象と目的、②本文の用語を使った判断、③判断の根拠、④未確認事項または限界を記します。最後に学習目標「エージェント・環境・状態・行動・報酬・方策・価値を説明し、探索と活用、将来報酬、報酬設計の危険を含めて強化学習を評価できる。」を満たす説明になっているか自己確認してください。紙または端末の標準メモだけで実施でき、外部サービスへの登録や有料契約は不要です。 実在人物の個人情報、機密情報、未公開資料は使わず、架空または匿名化した情報だけを使ってください。
04|今日の理解度を確認する
今日の理解度を確認する
強化学習で方策が表すものはどれですか。
正解は「各状態でどの行動を選ぶかという規則」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
各状態でどの行動を選ぶかという規則: 正解は「各状態でどの行動を選ぶかという規則」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
入力と正解ラベルの一覧: これは教師あり学習のデータです。
クラスタ中心の数: クラスタリングの設定です。
テストデータの分割方法: モデル評価の手順です。
価値関数が扱うものはどれですか。
正解は「状態または状態と行動から期待される将来報酬」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
状態または状態と行動から期待される将来報酬: 正解は「状態または状態と行動から期待される将来報酬」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
直後の画面色だけ: 価値は将来の結果を含めます。
正解ラベルの文字数: 教師ありラベルの形式ではありません。
クラスタ名の好み: 人が付けた名称の好みではありません。
探索と活用の説明として適切なものはどれですか。
正解は「未知の行動を試すことと、現在よい行動を選ぶことのバランス」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
未知の行動を試すことと、現在よい行動を選ぶことのバランス: 正解は「未知の行動を試すことと、現在よい行動を選ぶことのバランス」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
訓練データとテストデータを混ぜること: 評価情報の漏えいです。
報酬を常にゼロにすること: 学習信号を失います。
危険な行動を本番で無制限に試すこと: 探索にも安全・倫理・権限の制約が必要です。
報酬ハッキングの例として適切なものはどれですか。
正解は「掃除量を報酬にしたロボットが、自分でごみを散らして回収量を増やす」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
掃除量を報酬にしたロボットが、自分でごみを散らして回収量を増やす: 正解は「掃除量を報酬にしたロボットが、自分でごみを散らして回収量を増やす」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
安全制約で危険操作を禁止する: これは抜け穴を防ぐ対策です。
人が異常時に停止する: 人の停止権限は安全策です。
複数条件で目的を監査する: 複数条件の監査は報酬の代理性を補います。
安全違反を強化学習で扱う適切な方法はどれですか。
正解は「高い報酬と交換できる罰点だけにせず、禁止行動や承認条件として制約する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
高い報酬と交換できる罰点だけにせず、禁止行動や承認条件として制約する: 正解は「高い報酬と交換できる罰点だけにせず、禁止行動や承認条件として制約する」です。講義で扱った定義と判断条件に一致します。正解以外がなぜ違うかも確認し、実際の課題で使い分けましょう。
成功報酬が大きければ許可する: 安全を報酬との交換可能項目にしています。
学習後は監視を外す: 環境変化と異常を監視する必要があります。
シミュレーション得点だけで本番全域へ展開する: シミュレーターと現実には差があります。
04|今日の理解度を確認する
今日の理解度を確認する
今日の整理をする
この3点を持ち帰る
- ✓ 強化学習は、状態で行動し、報酬と次状態から長期的な方策を学ぶ
- ✓ 探索と活用、目先と将来、学習方策と行動方策を分けて考える
- ✓ 報酬は目的の代理であり、安全条件と人の権利を報酬だけへ埋め込まない
講義本文 4,044字
PRIMARY SOURCES