Top-p
Top-p Sampling (Nucleus Sampling)
Top-p（Top-pサンプリング（核サンプリング））とは
ひとことで
次のトークンの候補を確率の高い順に並べ、累積確率がp以上になる最小の候補の集まりの中から選ぶ方法。pを小さくすると候補が絞られて安定し、大きくすると多様な出力になる。
たとえると
お弁当のおかずを選ぶときに、「人気順に並べて、全体の9割の人が選ぶおかずまでを候補にする」と決めてから、その中から選ぶようなものです。めったに選ばれない変わり種のおかずは、最初から候補に入りません。
現場ではこう使う
開発チームが文章生成ツールを調整していたところ、ときどき文脈に合わない奇妙な言葉が混じることがありました。Top-pの値を下げたところ、確率の低い不自然な候補が選ばれにくくなり、出力が安定しました。担当者は、Temperatureと同時に大きく変えると効果がわかりにくくなるため、一方ずつ調整するようにしています。
試験のポイント
EXAM POINT「累積確率がpに達するまでの上位候補から次の語を選ぶ」「核サンプリング」と出てきたらTop-pです。pを小さくすると候補が少なくなって出力が安定し、大きくすると多様になります。確率の分布そのものをなだらかにしたり鋭くしたりするTemperatureとは、「候補の範囲を区切る」点で区別しましょう。
混同しやすい用語との違い
- Temperature確率の分布のとがり具合を変えてランダムさを調整する。候補の数そのものは区切らない
- TokenLLMが文章を処理する単位。Top-pはどのトークンを候補にするかを決める
- Context Window一度に扱えるトークン数の上限。出力の多様性の設定とは関係ない