Backpropagation
Backpropagation
Backpropagation（誤差逆伝播法）とは
ひとことで
出力と正解の誤差をもとに、出力層から入力層へ向かって逆向きに、各重みの勾配（誤差への影響の大きさ）を効率よく計算する方法。微分の連鎖律を利用する。
たとえると
料理の味が濃すぎたとき、完成品から工程をさかのぼって「最後の味付けでどれだけ、その前の下味でどれだけ濃くなったか」を順に突き止めていくようなものです。原因の割合がわかれば、どこをどれだけ直せばよいかが決まります。
現場ではこう使う
新人エンジニアは、ニューラルネットワークの学習で何が起きているのかを理解するため、小さなネットワークの勾配を手計算で確かめました。誤差逆伝播法で出力側から勾配を順に求め、ライブラリが自動で計算した値と一致することを確認して、学習の仕組みへの理解を深めました。
試験のポイント
EXAM POINT「誤差を出力層から入力層へ逆向きに伝える」「連鎖律」と出てきたら誤差逆伝播法です。誤差逆伝播法は勾配を「求める」方法で、その勾配を使って重みを「更新する」のは勾配降下法という役割の違いがよく問われます。層が深いと伝わる勾配が小さくなる勾配消失問題とセットで押さえましょう。
混同しやすい用語との違い
- Gradient Descent求めた勾配を使って重みを更新する最適化手法。誤差逆伝播法は勾配の計算方法
- Vanishing Gradient誤差逆伝播法で勾配を伝える途中に、勾配が0に近づいてしまう問題