CHAPTER 05 / REVIEW
ディープラーニングの要素技術
現代の深層学習を構成する層、結合、注意、表現学習の役割を整理します。 5日分の知識を、用語暗記ではなく判断へ使えるか確認します。
15問問題と選択肢の順番は挑戦ごとに変わります。
QUESTION 01正常データで学習したオートエンコーダを異常検知へ使う際、正しい注意はどれですか。
正解は「未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない: 正解は「未知異常も上手に復元する場合があり、高誤差を故障原因と断定できない」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
異常は必ず無限大の誤差になる: モデル容量や異常の種類で誤差は変わります。
正常の多様性は評価不要である: 未知の正常条件で誤警報になる可能性があります。
しきい値はテストを見ながら何度でも調整する: テストへ繰り返し合わせると最終評価ではなくなります。
QUESTION 02基本的なSelf-Attentionで系列長nに対して全位置同士を比較すると、計算・メモリが増える代表的な次数はどれですか。
正解は「n²」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
n²: 正解は「n²」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
nだけ: 全位置の組合せを扱うため線形だけではありません。
常に1: 系列長に無関係ではありません。
log nだけ: 基本形の全組比較は対数だけでは表せません。
QUESTION 03残差ブロックの代表的な出力はどれですか。
正解は「F(x)+x」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
F(x)+x: 正解は「F(x)+x」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
F(x)だけを必ず0にする: F(x)は学習する差分で、常に0へ固定しません。
xを削除して乱数だけを出す: 入力を近道で残すことが残差接続の要点です。
テスト損失と訓練損失を足す: 二つの損失を足す式ではありません。
QUESTION 04scaled dot-product attentionでQueryとKeyの内積を次元の平方根で割る主な理由はどれですか。
正解は「得点が大きくなり過ぎてsoftmaxが飽和するのを抑える」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
得点が大きくなり過ぎてsoftmaxが飽和するのを抑える: 正解は「得点が大きくなり過ぎてsoftmaxが飽和するのを抑える」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
出力系列を必ず半分の長さにする: 系列長を変更する処理ではありません。
未来情報を自動削除する: 未来の遮断にはCausal Maskを使います。
Valueを0と1だけにする: Valueの範囲を二値へ限定しません。
QUESTION 05Batch Normalizationを利用時に扱う方法として適切なものはどれですか。
正解は「訓練中に保存した移動平均・移動分散を使う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
訓練中に保存した移動平均・移動分散を使う: 正解は「訓練中に保存した移動平均・移動分散を使う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
利用者一人の値だけで毎回安定したバッチ統計を作る: 単件統計は安定せず、同時入力で予測が変わります。
γとβを利用時に毎回乱数へ戻す: γとβは学習済みパラメータとして保存します。
正規化層だけをモデルから必ず削除する: 学習した正規化を無条件に削除すると分布が変わります。
QUESTION 06畳み込み層でフィルタを32枚用意した場合、出力について適切な説明はどれですか。
正解は「32チャンネルの特徴マップが得られる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
32チャンネルの特徴マップが得られる: 正解は「32チャンネルの特徴マップが得られる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
出力は必ず32×32画素になる: 縦横サイズは入力、フィルタ、ストライド、パディングで決まります。
入力チャンネルは必ず32へ変わる: 入力チャンネル数は元データまたは前層で決まります。
パラメータは必ず32個だけになる: 各フィルタには縦×横×入力チャンネルの重みとバイアスがあります。
QUESTION 07オートエンコーダのボトルネックの役割はどれですか。
正解は「単純コピーを難しくし、情報を制約された表現へまとめさせる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
単純コピーを難しくし、情報を制約された表現へまとめさせる: 正解は「単純コピーを難しくし、情報を制約された表現へまとめさせる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力を必ず無限次元へ増やす: 一般には次元や活性を制約します。
テストデータを訓練へ混ぜる: 評価情報の漏えいとは無関係です。
再構成誤差を計算できなくする: 入力と復元の差を学習へ使います。
QUESTION 08AttentionにおけるQuery・Key・Valueの役割として適切なものはどれですか。
正解は「QueryとKeyで参照重みを作り、Valueの内容を集める」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
QueryとKeyで参照重みを作り、Valueの内容を集める: 正解は「QueryとKeyで参照重みを作り、Valueの内容を集める」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
三つとも正解ラベルの別名: 入力から学習された異なる変換で、ラベルの別名ではありません。
Queryだけでモデルの全重みを更新する: 学習は損失と逆伝播を通じて行います。
Valueは常に入力位置番号だけを持つ: Valueは集める内容を表すベクトルです。
QUESTION 09深いモデルで訓練損失まで浅いモデルより悪化したとき、候補となる確認はどれですか。
正解は「勾配の伝わり方と残差接続を確認する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
勾配の伝わり方と残差接続を確認する: 正解は「勾配の伝わり方と残差接続を確認する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
過学習だけと断定し正則化を最大にする: 訓練損失も悪い場合は最適化上の劣化を分けて考えます。
テストデータを訓練へ追加する: 評価情報の漏えいになります。
入力と出力の形状を確認しない: 残差加算には形状の確認が必要です。
QUESTION 10文章生成の位置tで未来の正解トークンを見せないために使うものはどれですか。
正解は「Causal Mask」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
Causal Mask: 正解は「Causal Mask」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
最大プーリング: プーリングは特徴を縮小・要約する処理です。
テスト時拡張: 複数変換で予測する評価・推論手法です。
L2正則化だけ: L2は重みを抑える正則化で、参照範囲を遮断しません。
QUESTION 11Denoising Autoencoderの説明として適切なものはどれですか。
正解は「壊した入力から、壊す前の入力を復元するよう学ぶ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
壊した入力から、壊す前の入力を復元するよう学ぶ: 正解は「壊した入力から、壊す前の入力を復元するよう学ぶ」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
正常データをすべて削除して異常だけ学ぶ: 正常構造から復元を学ぶ使い方もあります。
decoderを使わず正解率だけ出す: 復元にはdecoderを用います。
潜在表現を必ず一つの値にする: 潜在次元を必ず1へする方式ではありません。
QUESTION 12小さな傷を検出する画像モデルでプーリングを強くし過ぎた場合の主なリスクはどれですか。
正解は「細かな位置や弱い傷の情報を縮小時に失う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
細かな位置や弱い傷の情報を縮小時に失う: 正解は「細かな位置や弱い傷の情報を縮小時に失う」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
学習パラメータが必ず無限に増える: プーリング自体には通常、学習重みがありません。
画像の色数が必ず3倍になる: 色数を増やす処理ではありません。
正解ラベルが自動で修正される: ラベル品質を自動修正する機能ではありません。
QUESTION 13通常のオートエンコーダの学習目標として適切なものはどれですか。
正解は「入力を潜在表現へ変換し、元入力に近く再構成する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
入力を潜在表現へ変換し、元入力に近く再構成する: 正解は「入力を潜在表現へ変換し、元入力に近く再構成する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
正解ラベルだけを暗記して入力を無視する: 入力自身を再構成目標として使います。
未来の売上を必ず予測する: 特定の未来予測が定義そのものではありません。
全入力を人が手作業で分類する: 未ラベルデータからも表現を学べます。
QUESTION 14LSTMとGRUを比較するときの適切な判断はどれですか。
正解は「同じ分割・予算・複数乱数で性能と遅延を比べる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
同じ分割・予算・複数乱数で性能と遅延を比べる: 正解は「同じ分割・予算・複数乱数で性能と遅延を比べる」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
LSTMは名称が長いので必ず優れる: 名称の長さは性能根拠ではありません。
GRUはゲートが少ないので必ず低精度になる: 構造が簡潔でも課題により同等以上になり得ます。
一回だけ最良だった方を無条件で選ぶ: 初期値によるばらつきを確認できません。
QUESTION 15画像のデータ拡張とデータ分割の適切な順序はどれですか。
正解は「原本を対象単位で分割し、訓練側だけを拡張する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
原本を対象単位で分割し、訓練側だけを拡張する: 正解は「原本を対象単位で分割し、訓練側だけを拡張する」です。講義で扱った仕組みと判断条件に一致します。ほかの選択肢が当てはまらない理由まで確認しましょう。
全原本を拡張してから画像単位で無作為分割する: 同じ原本の類似画像が訓練と評価へ漏れます。
テスト画像だけを大量に拡張して訓練する: テストデータは学習へ使いません。
ラベルを壊す変換も数が増えれば採用する: 拡張はラベルの意味を保つ必要があります。
章末テスト
第5章・定着テスト
0/ 15