LSTM
Long Short-Term Memory
LSTM（長・短期記憶）とは
ひとことで
RNNを改良したニューラルネットワークで、情報を「覚える・忘れる・取り出す」を調整するゲートの仕組みを持つ。長い系列でも、離れた位置の重要な情報を保持しやすい。
たとえると
大事なところに付箋を貼りながら本を読むようなものです。重要な情報は付箋で残し、不要になった付箋ははがしていくので、長い本でも序盤の大事な伏線を覚えておけます。
現場ではこう使う
ある企業では、過去数年分の売上データから翌月の需要を予測する仕組みを作ろうとしていました。季節の変動のように長い期間にまたがるパターンを捉える必要があったため、データ分析チームは長期の依存関係を扱いやすいLSTMを使ったモデルを試しました。その結果、単純なRNNよりも予測の精度が安定しました。
試験のポイント
EXAM POINT「RNNの勾配消失問題を改善」「ゲート（入力・忘却・出力）」「長期の依存関係を学習」と出てきたらLSTMです。RNNの弱点を補うために生まれたという関係を押さえましょう。さらにその後、並列処理しやすいTransformerが登場して自然言語処理の主流になった、という歴史の流れも問われます。
混同しやすい用語との違い
- RNNLSTMの元になったモデル。長い系列では過去の情報を忘れやすい
- Transformer再帰の仕組みを使わず、Self-Attentionで文全体の関係を一度にとらえる
- CNN画像の局所的な特徴を取り出すモデル。系列データの記憶の仕組みは持たない