ResNet
Residual Network
ResNet（ResNet（残差ネットワーク））とは
ひとことで
層を飛び越えて入力をそのまま先の層の出力に足し合わせる「スキップ結合（ショートカット結合）」を取り入れたCNN。2015年にMicrosoft Researchのチームが発表し、100層を超える非常に深いネットワークの学習を可能にした。
たとえると
高層ビルに、各階を順番に通る階段だけでなく、何階分かを一気に結ぶ直通エレベーターを付けるようなものです。どれだけ階数が増えても、上の階と下の階の行き来が途切れにくくなります。
現場ではこう使う
部品の外観検査システムを作るチームは、ImageNetで学習済みのResNetを土台にして、自社の部品画像で追加学習させました。深いネットワークでありながら学習が安定しており、少ない枚数の画像でも短期間で実用的な精度に到達しました。
試験のポイント
EXAM POINT「スキップ結合（ショートカット結合）」「残差学習」「非常に深い層でも学習できる」と出てきたらResNetです。入力 x に層の出力 F(x) を足した F(x) + x を次に渡すことで、勾配が入力側まで伝わりやすくなり、勾配消失問題を緩和します。2015年の画像認識コンテストILSVRCで優勝したモデルとして、AlexNet、VGG、GoogLeNetなどとの歴史の流れも問われます。
混同しやすい用語との違い
- CNN畳み込みで画像の特徴を取り出すネットワーク全般。ResNetはスキップ結合を加えたCNNの一種
- LSTMRNNの勾配消失をゲートの仕組みで改善したモデル。ResNetはCNNの深さの問題をスキップ結合で改善した