トレーニングと結果

最終ステップの Train & deploy は、ML Studio が本格的に処理を行う部分です。多数のモデルを検索してターゲットの予測に最も適したものを見つけ、その検索過程をリアルタイムで表示し、勝者のスコアカードをわかりやすく提示します。これが ML Studio の「AutoML」機能です。アルゴリズムを選んだり調整したりする必要はなく、検索がそれを代わりに行います。

トレーニングはサーバーで実行される

トレーニングはサーバーのバックグラウンドで実行されるため、ブラウザを閉じて再度戻ってきてもトレーニングは続行されます。検索の進行に合わせて画面が自動更新されます。いつでも実行を 停止 して後で再開でき、時間のかかる処理も中断したところから再開可能です。

ライブ検索

検索中、ML Studio は異なる モデルファミリー に対して異なる 特徴量セット（例えば Process features のみ、または + Enrichments を加えたもの）を試します。各組み合わせはモデルが見ていないデータで評価されるため、そのスコアは新しいケースでの予測精度を反映します。

検索グリッド には、縦軸にモデルファミリー、横軸に特徴量セットが表示されます。各セルはそのファミリーがその特徴量セットで達成した最高のアウトオブサンプルスコアを示します：

• 色が濃いセルほど性能が高い。
• 緑のセルは現在の最高スコア。
• 枠線のあるセルは現在トレーニング中。
• 空のセルは未試行。

グリッド上部には現在評価済みの構成数、検索の残り時間、現在トレーニング中のモデル、これまでの最高結果がライブで表示されます。

トレーニング損失曲線

グリッドの横には Training loss - 低いほど良い のグラフがあり、検索が進むにつれて2本の線をプロットします：

• アウトオブサンプル（テスト） - モデルが見ていないケースでの性能。
• インサンプル（トレイン） - 学習に使ったケースでの性能。

2本の線が近いときは、モデルが既存データを丸暗記するのではなく、新規ケースにも一般化できていることを示し、理想的な状態です。

スコアカード

検索が完了すると見出しが Your prediction is ready に変わり、ML Studio は勝者モデルを提示します。

トップには Winner: [model family] と表示され、どのファミリーが勝利したか、使用された特徴量セット、主要設定、トレーニングおよびテストに使われた信号数とケース数が示されます。指標カードの内容は予測タイプによって異なります：

予測タイプ	指標カード
Binary	F1スコア（メイン指標）、Accuracy（正確度）、Precision（適合率）、Recall（再現率）
Classification	Accuracy（正確度）、Balanced accuracy（バランス精度）、Log-loss（対数損失）
Regression	R-squared（決定係数）、ターゲットの単位で示す Typical error (MAE)、RMSE（平方根平均二乗誤差）

各指標にはわかりやすいツールチップが付いており、脚注には検索が最適化した単一のメイン指標名が記載されています。スコアは複数のフォールドにわたる交差検証を経て計算された平均値で、±の幅も示されるため結果の安定性がわかります。

予測を駆動する要因と全リーダーボード

指標の下には、ML Studio がモデルの予測理由を説明し、試行したすべてのファミリーを表示します。

• この予測を最も駆動する要因 には、予測に最も影響した信号が単純な棒グラフでランキング表示されます。
• リーダーボード - 各ファミリーの最良構成 には、各モデルファミリーの最高結果が順位、最良特徴量セット、主要設定、スコア、所要時間と共にリスト表示され、勝者は (best) の印付きです。

もし回答をすでに内包していると思われる信号が除外されていれば、そのことと除外された列も明示されるため、スコアが信頼できる純粋な予測の反映であり、リークではないことがわかります。

ここから、ML Studio は勝者モデルを自動的にライブ予測として実際のケースに適用します。その出力と使い方は 予測の活用 にて解説しています。