Cross-Validation
Cross-Validation
Cross-Validation（交差検証）とは
ひとことで
データを複数のグループに分け、学習用と検証用の役割を入れ替えながら何度も学習・評価を行う方法。データの分け方による偶然の影響を減らし、未知のデータへの性能（汎化性能）を見積もる。
たとえると
問題集を5つに分け、4つで勉強して残りの1つで実力を試す、という組み合わせを5通り入れ替えて行うようなものです。1回だけのテストでは出題の当たり外れがありますが、5回の平均なら本当の実力に近い評価ができます。
現場ではこう使う
件数の少ない医療データでモデルを評価していたチームは、学習用と検証用の分け方を変えるたびに精度が大きく変わることに悩んでいました。データを5つに分けて検証用を順に入れ替えるk分割交差検証で評価したところ、平均的な性能とばらつきを把握でき、モデルの比較を落ち着いて行えるようになりました。
試験のポイント
EXAM POINT「データを分割し、学習用と検証用を入れ替えて複数回評価」と出てきたら交差検証です。データをk個に分けるk分割交差検証と、1回だけ学習用とテスト用に分けるホールドアウト法の違いが問われます。データが少ないときに特に有効です。最終評価用のテストデータを学習やモデル選びに使ってはいけない点も押さえましょう。
混同しやすい用語との違い
- Overfittingモデルが学習データに偏りすぎた状態。交差検証はそれを見つけるための評価方法
- Regularization学習時に過学習を抑える工夫。交差検証は学習後の評価の方法