Transformer
Transformer
Transformer（トランスフォーマー）とは
ひとことで
Self-Attention（自己注意機構）を中心に、文中のすべての単語どうしの関係を一度にとらえるニューラルネットワークの仕組み。2017年に発表され、現在の多くのLLMの土台になっている。
たとえると
会議の議事録を読むときに、1行ずつ順番に読むのではなく、全体を見渡して「この『それ』は3行前のあの話のことだ」と関係を一気に結びつける読み方です。全体を同時に見るので、読むのも速く、長い文書でも関係を見失いにくくなります。
現場ではこう使う
社内勉強会で、生成AIの仕組みが話題になりました。講師は、現在の多くのLLMがTransformerという仕組みを使っており、文章全体の単語の関係を並列にとらえられるようになったことで、大量のデータでの学習が現実的になったと説明しました。参加者は、生成AIの急速な発展の背景に、この技術の登場があることを理解しました。
試験のポイント
EXAM POINT「Attention（注意機構）を中心としたモデル」「並列処理が可能」「多くのLLMの基盤」と出てきたらTransformerです。順番に処理するRNNやLSTMの弱点（並列化しにくい、長い文脈が苦手）を克服した点が区別のポイントです。中核となる仕組みがSelf-Attentionであることもセットで覚えましょう。
混同しやすい用語との違い
- RNN単語を1つずつ順番に処理する。Transformerは文全体を同時に処理する
- Self-AttentionTransformerの中核となる仕組みの名前。Transformerはそれを組み込んだモデル全体
- LLMTransformerなどの仕組みを使って大量のテキストで学習した大規模なモデル