BERT
Bidirectional Encoder Representations from Transformers
BERT（BERT（バート））とは
ひとことで
2018年にGoogleが発表した自然言語処理のモデルで、Transformerのエンコーダを使い、文の前後両方向の文脈から単語の意味をとらえる。大量の文章で事前学習し、ファインチューニングでさまざまなタスクに応用できる。
たとえると
文章の穴埋め問題を大量に解いて読解力を鍛えた人のようなものです。空欄の前だけでなく後ろの文も手がかりにするので、言葉の意味を文脈に合わせて正確に読み取れます。
現場ではこう使う
社内の問い合わせメールを内容ごとに担当部署へ振り分ける仕組みを作るにあたり、開発チームは事前学習済みのBERTを利用しました。過去の振り分け実績を使ってファインチューニングしたところ、ゼロからモデルを作るよりも少ないデータと短い期間で、実用的な分類精度を得られました。
試験のポイント
EXAM POINT「双方向」「Transformerのエンコーダ」「Masked Language Model（文中の一部の単語を隠して当てる学習）」と出てきたらBERTです。事前学習にはMLMと、2つの文が連続しているかを当てるNext Sentence Prediction（NSP）が使われます。次の単語を予測するデコーダ型で文章生成が得意なGPTと対比し、BERTは分類や質問応答などの文章理解が得意と整理しましょう。
混同しやすい用語との違い
- LLM多くの生成系LLMはデコーダ型で次のトークンを予測し文章を生成する。BERTはエンコーダ型で文章の理解が得意
- Word2Vec1つの単語に1つの固定したベクトルを割り当てる。BERTは文脈に応じて同じ単語でも異なる表現になる
- TransformerBERTの土台となる仕組み。BERTはそのエンコーダ部分を使ったモデル