機械学習の学習日記 | Microsoft Azure Machine Learning / Cross Validate Model モジュール
K-分割交差検証のk=10かな。
Machine Learning > Evaluate > Cross Validate Model
交差検証を行い、データに対するスコアと、交差検証の評価を出力します。
入出力関係が次のようになります。
Untrained model
Machine Learning > Initialize Model のモデルを接続する。
Dataset
データセットを入力する。Scored results
データに対するスコアを出力します。下の例では、incomeを予測した結果が、Score Labels と Scored Probabilities に出力されます。
Score Labels ： 予測結果
Scored Probabilities ： 予測の確率？値を見ていると大きい値の場合外れているような感じ？
Evaluation results
交差検証の結果を出力します。K-分割交差検証のk=10で検証している模様。
Fold Number
分割したデータの番号Number of examples in fold
検証に使用したデータ数
Model
学習モデル
Accuracy
正確度
Precision
精度、適合率Recall
再現率F-Score
F値AUC
ROC曲線下面積(AUC: area under the curve)0.5 - 1.0の値。
お医者様の世界でもAUCという指標を使っているみたい。そこでは概ね次のように判断しているとの事
| AUC | 予測能・診断能 |
| 0.9-1.0 | 高い |
| 0.7-0.9 | そこそこ |
| 0.5-0.7 | 低い |
細かい内容は後で勉強する。
Average Log Loss
Training Log Loss