Training und Ergebnisse

Der letzte Schritt – Train & deploy – ist der Punkt, an dem ML Studio die Hauptarbeit erledigt. Es durchsucht viele Modelle, um dasjenige zu finden, das Ihr Ziel am besten vorhersagt, zeigt Ihnen die Suche live an und präsentiert eine klare Ergebnisübersicht des Gewinners. Dies ist der "AutoML"-Teil von ML Studio: Sie wählen keinen Algorithmus aus und passen ihn nicht an – die Suche übernimmt das für Sie.

Training läuft auf dem Server

Das Training läuft im Hintergrund auf dem Server, sodass Sie den Browser schließen und später zurückkehren können – der Lauf läuft weiter. Der Bildschirm aktualisiert sich während der Suche automatisch. Sie können einen Lauf jederzeit Stoppen und später fortsetzen, und lange Läufe setzen genau dort fort, wo sie aufgehört haben.

Die Live-Suche

Während die Suche läuft, testet ML Studio verschiedene Modellfamilien gegen verschiedene Feature-Sets (zum Beispiel Process features allein gegenüber + Enrichments). Es bewertet jede Kombination anhand von Daten, die das Modell noch nicht gesehen hat, sodass die Zahlen widerspiegeln, wie gut die Vorhersage bei neuen Fällen funktionieren wird.

Die Suchmatrix zeigt die Modellfamilien an der Seite und die Feature-Sets oben. Jede Zelle enthält die beste Out-of-Sample-Bewertung, die diese Familie auf diesem Feature-Set erreicht hat:

• Dunklere Zellen sind stärker.
• Die grüne Zelle ist die derzeit beste.
• Eine umrandete Zelle zeigt, was gerade trainiert wird.
• Leere Zellen wurden noch nicht ausprobiert.

Über der Matrix zeigt ein Live-Balken an, wie viele Konfigurationen bereits bewertet wurden, wie viel Zeit noch bis zum Ende der Suche bleibt, was gerade trainiert wird und das bisher beste Ergebnis.

Die Trainingsverlust-Kurve

Neben der Matrix zeigt ein Training loss – je niedriger desto besser Diagramm zwei Linien, während die Suche fortschreitet:

• Out-of-sample (Test) – wie das Modell bei noch ungesehenen Fällen abschneidet.
• In-sample (Train) – wie es bei den Fällen abschneidet, von denen es gelernt hat.

Wenn die beiden Linien nah beieinander liegen, generalisiert das Modell auf neue Fälle, anstatt die alten auswendig zu lernen – genau das, was Sie möchten.

Die Ergebnisübersicht

Wenn die Suche abgeschlossen ist, ändert sich die Überschrift zu Your prediction is ready und ML Studio präsentiert das Gewinner-Modell.

Oben zeigt Winner: [model family], welche Familie gewonnen hat, welches Feature-Set verwendet wurde, die wichtigsten Einstellungen und wie viele Signale und Fälle für Training und Test genutzt wurden. Die wichtigsten Metriken auf der Übersichts-Karte hängen von Ihrem Vorhersagetyp ab:

Vorhersagetyp	Metrik-Karten
Binary	F1 score (die Hauptmetrik), Accuracy, Precision, Recall
Classification	Accuracy, Balanced accuracy, Log-loss
Regression	R-squared, Typischer Fehler (MAE) in den eigenen Einheiten des Ziels, RMSE

Jede Metrik hat eine Erklärung in Klartext als Tooltip, und eine Fußnote nennt die einzelne Hauptmetrik, die die Suche optimiert hat. Die Werte sind über mehrere Folds mittels Kreuzvalidierung gemittelt und mit einer kleinen Schwankungsbreite angegeben, sodass Sie sehen können, wie stabil das Ergebnis ist.

Was die Vorhersage antreibt und die vollständige Bestenliste

Unter den Metriken erklärt ML Studio, warum das Modell so vorhersagt, wie es das tut, und zeigt jede getestete Familie.

• Was diese Vorhersage am meisten antreibt listet die Signale auf, die die Vorhersage am stärksten beeinflussen, in einem einfachen Balkendiagramm.
• Leaderboard – die beste Konfiguration jeder Familie zeigt das beste Ergebnis jeder Modellfamilie: deren Rang, das gewinnende Feature-Set, die wichtigsten Einstellungen, die Punktzahl und wie lange das Training gedauert hat. Der Gewinner ist mit (best) markiert.

Wenn ein Signal entfernt wurde, weil es so aussah, als ob es bereits die Antwort kodiert, weist ML Studio auch darauf hin, zusammen mit den Spalten, die entfernt wurden – so können Sie sicher sein, dass das Ergebnis eine echte Vorhersage ist und kein Leak.

Von hier aus setzt ML Studio das Gewinner-Modell automatisch als Live-Vorhersage für Ihre Fälle ein. Diese Ausgabe – und wie Sie sie verwenden – wird im Abschnitt Using your predictions behandelt.