AUC
Area Under the Curve
AUC（AUC（曲線下面積））とは
ひとことで
ROC曲線の下側の面積で、分類モデルの性能を0から1の数値で表す指標。1に近いほど性能が高く、0.5はランダムに判定した場合と同じ程度であることを意味する。
たとえると
何度もダイヤルを回して記録した金属探知機の成績を、1つの通知表の点数にまとめたようなものです。満点の1なら完璧な探知機、0.5ならあてずっぽうに反応しているのと変わりません。
現場ではこう使う
マーケティング部門で、購入しそうな顧客を予測する複数のモデルを比較することになりました。判定のしきい値は後で業務に合わせて決める予定だったため、しきい値によらずに性能を比べられるAUCを指標に採用し、最も値の高いモデルを候補に選びました。
試験のポイント
EXAM POINT「ROC曲線の下の面積」と出てきたらAUCです。1なら完全な分類、0.5ならランダムな予測と同じという値の意味がよく問われます。特定のしきい値に依存せずにモデルの性能を比較できる点が特徴です。グラフであるROC曲線と、それを数値にしたAUCの関係を区別しましょう。