Embedding
Embedding
Embedding（埋め込み（エンベディング））とは
ひとことで
単語や文章などを、意味の近さが数値の近さとして表れるように、多数の数値の並び（ベクトル）に変換すること、またはそのベクトル。意味の似た文書の検索（ベクトル検索）などに使われる。
たとえると
言葉ひとつひとつに、地図の上の「住所（座標）」を割り当てるようなものです。意味の似た「犬」と「子犬」は近い場所に、関係の薄い「犬」と「請求書」は遠い場所に置かれるので、距離を測れば意味の近さがわかります。
現場ではこう使う
情報システム部門は、社内の大量のマニュアルを検索しやすくするため、文書を段落ごとにエンベディングに変換して保存しました。社員が「パソコンが起動しない」と質問すると、言葉が完全に一致しなくても「PCの電源が入らないときの対処」の段落が意味の近さで見つかります。この検索結果をLLMに渡して回答させるRAGの仕組みを作りました。
試験のポイント
EXAM POINT「単語や文章を、意味を反映したベクトル（数値の並び）に変換」「意味の近さをベクトルの距離で表す」と出てきたらエンベディングです。RAGで関連文書を探すベクトル検索の土台になる技術として問われます。文章を処理単位に区切るトークン化とは、「区切る」か「数値で意味を表す」かで区別しましょう。
混同しやすい用語との違い
- Token文章を処理用の単位に区切ったもの。エンベディングはそれを意味を表す数値に変換したもの
- RAG関連資料を検索して回答に生かす手法全体。エンベディングはその検索を支える技術
- Fine-tuningモデル自体を追加学習させること。エンベディングはデータを数値で表す方法