SVM
Support Vector Machine
SVM（サポートベクターマシン）とは
ひとことで
クラスを分ける境界（超平面）を、境界に最も近いデータ（サポートベクター）との距離（マージン）が最大になるように決める教師あり学習の手法。カーネル法を使うと、直線では分けられないデータにも対応できる。
たとえると
2つのチームの陣地の間に道を通すとき、両方のチームの最前列の人からできるだけ離れた、最も幅の広い道を通すようなものです。道幅に余裕があるほど、新しく来た人をどちらの陣地か判断しやすくなります。
現場ではこう使う
文書分類の研修で、講師は少ない学習データでも安定した結果が出やすい手法としてSVMを紹介しました。受講者は、ニュース記事を「スポーツ」と「経済」に分類する演習で、カーネルの種類を変えると境界の形が変わり、分類の精度にも違いが出ることを確かめました。
試験のポイント
EXAM POINT「マージン最大化」「サポートベクター」「カーネルトリック」と出てきたらSVMです。カーネル法によって、データを高次元の空間に移したと考えて線形に分離できるようにする点が問われます。多少の誤分類を許すソフトマージンという考え方もあります。複数の決定木を組み合わせるランダムフォレストなどのアンサンブル学習と区別しましょう。
混同しやすい用語との違い
- k-means正解ラベルなしでデータをグループに分ける教師なし学習。SVMは教師あり学習
- Random Forest多数の決定木の多数決で予測するアンサンブル学習。SVMはマージン最大化で境界を決める