Self-Attention
Self-Attention
Self-Attention（自己注意機構）とは
ひとことで
文章などの系列の中で、各単語が他のどの単語とどれだけ関係が深いかを計算し、その重みに応じて情報を取り込む仕組み。Transformerの中核となる。
たとえると
会議の参加者全員が、発言のたびに「今の話は誰の話と特に関係があるか」を確かめ合うようなものです。「彼」という言葉が出てきたら、文中のどの人物を指すのかを、全員の発言を見比べて判断します。
現場ではこう使う
「新しい会議室は広いが、それは予約が取りにくい」という文をAIで英訳する場面を考えます。Self-Attentionによって、モデルは「それ」が「新しい会議室」と強く関係していると判断できるため、指している対象を取り違えずに訳せます。この仕組みにより、長い文書の要約でも、離れた位置にある情報どうしの関係を保ちやすくなりました。
試験のポイント
EXAM POINT「文中の単語どうしの関連度（重み）を計算」「Transformerの中核技術」と出てきたらSelf-Attention（自己注意機構）です。前から順番に情報を受け渡すRNNとは違い、離れた単語どうしの関係も直接計算できる点がポイントです。Transformerという「モデル全体の名前」と、Self-Attentionという「その中の仕組み」を混同しないようにしましょう。
混同しやすい用語との違い
- TransformerSelf-Attentionを中心に組み立てられたモデル全体の名前
- RNN前の時点の情報を順番に受け渡す。離れた単語の関係をとらえるのが苦手
- Embedding単語を数値のベクトルに変換したもの。Self-Attentionはそのベクトルどうしの関係を計算する