Random Forest
Random Forest
Random Forest（ランダムフォレスト）とは
ひとことで
学習データや特徴量をランダムに選んで多数の決定木を作り、それらの予測を多数決（回帰では平均）でまとめる手法。アンサンブル学習のうち、バギングの代表例である。
たとえると
1人の専門家に頼らず、少しずつ違う資料を渡した大勢の担当者に別々に判断してもらい、多数決で結論を出すようなものです。1人ひとりは間違えることがあっても、全体としては安定した判断になります。
現場ではこう使う
保険会社では、契約者の情報から解約しそうな人を予測するモデルを作りました。ランダムフォレストを使ったところ、1本の決定木よりも予測が安定し、どの項目が予測に効いているかを示す特徴量の重要度も得られました。営業部門はその結果をもとに、フォローの優先順位を決めました。
試験のポイント
EXAM POINT「複数の決定木」「多数決」「バギング」と出てきたらランダムフォレストです。各決定木を独立に並列で作るバギングと、前のモデルの誤りを次のモデルで補うように順番に作るブースティングの違いが頻出です。1本の決定木より過学習しにくく、特徴量の重要度を確認できる点も押さえましょう。
混同しやすい用語との違い
- Boosting弱い学習器を順番に作り、前の誤りを重点的に学ぶ。ランダムフォレストは決定木を独立に作って多数決をとる
- SVMマージン最大化で境界を決める1つのモデル。複数のモデルを組み合わせる手法ではない