RNN
Recurrent Neural Network
RNN（再帰型ニューラルネットワーク）とは
ひとことで
前の時点の情報を内部に保持しながら、順番に入力を処理していくニューラルネットワーク。文章・音声・株価のような時系列データの扱いに使われる。
たとえると
本を1ページずつ読み進めながら、それまでのあらすじを頭の中に覚えておく読み方です。ただし長い本だと、最初の方の内容をだんだん忘れてしまうという弱点があります。
現場ではこう使う
コールセンターでは、通話の音声を文字に起こすシステムを検討していました。音声は時間の流れに沿って意味がつながるため、前の音や言葉を踏まえて処理できるRNN系のモデルが使われてきたことを、担当者は研修で学びました。現在はTransformerを使ったモデルが主流になっていることもあわせて理解し、製品選定の参考にしました。
試験のポイント
EXAM POINT「時系列データ」「前の時点の出力を次の入力に利用する（再帰）」と出てきたらRNNです。長い系列では昔の情報がうまく伝わらない（勾配消失）という弱点があり、それを改良したのがLSTMという流れで押さえましょう。順番に処理するため並列計算がしにくく、この点を克服したのがTransformerです。
混同しやすい用語との違い
- LSTMRNNの改良版。ゲートの仕組みで、長い系列でも重要な情報を覚えておける
- CNN画像のような空間的なデータの特徴を取り出すのが得意。時系列の扱いはRNNが得意
- Transformer順番に処理せず、Attentionで全体を一度に見る。並列計算しやすく、長い文章も扱いやすい