Vanishing Gradient
Vanishing Gradient Problem
Vanishing Gradient（勾配消失問題）とは
ひとことで
誤差逆伝播法で勾配を出力層から入力層へ伝える途中、勾配が層ごとにかけ合わされて0に近づき、入力側に近い層の重みがほとんど更新されなくなる問題。層の深いネットワークで起こりやすい。
たとえると
伝言ゲームで、1人伝えるごとに声が小さくなっていくようなものです。人数が多いと、最後の方の人にはほとんど何も聞こえず、何を直せばよいのか伝わりません。
現場ではこう使う
10層を超えるネットワークを作った新人エンジニアは、学習を進めても入力側の層の重みがほとんど変わらないことに気づきました。先輩から勾配消失の可能性を指摘され、活性化関数をシグモイド関数からReLUに変え、重みの初期値も見直したところ、全体の層で学習が進むようになりました。
試験のポイント
EXAM POINT「深い層で、入力側の層に勾配が伝わらない」と出てきたら勾配消失問題です。シグモイド関数の微分の最大値は0.25しかなく、層を重ねて掛け合わせるほど勾配が急速に小さくなることが原因の1つです。対策として、ReLUの利用、重みの初期値の工夫（XavierやHeの初期値）、バッチ正規化、ResNetのスキップ結合が問われます。反対に勾配が大きくなりすぎる勾配爆発もあわせて覚えましょう。
混同しやすい用語との違い
- Overfitting学習データに適合しすぎて未知のデータで精度が落ちる状態。勾配消失は学習そのものが進まない問題
- Backpropagation勾配を出力層から入力層へ伝える計算方法。勾配消失はその過程で起きる問題