Training en Resultaten
De laatste stap - Train & deploy - is waar ML Studio het zware werk doet. Het zoekt door veel modellen om degene te vinden die je doel het beste voorspelt, toont de zoekactie terwijl die plaatsvindt, en presenteert een duidelijke scorecard van de winnaar. Dit is het "AutoML"-gedeelte van ML Studio: je kiest of stemt geen algoritme af - de zoekactie doet dat voor jou.
Training draait op de server
Training draait op de achtergrond op de server, dus je kunt de browser sluiten en later terugkomen - de run gaat door. Het scherm werkt zichzelf bij terwijl de zoekactie vordert. Je kunt een run op elk moment Stoppen en later hervatten, en lange runs pakken weer op waar ze gebleven waren.
De live zoekactie
Terwijl de zoekactie loopt, probeert ML Studio verschillende modelfamilies uit tegen verschillende feature-sets (bijvoorbeeld Proceskenmerken alleen, versus + Verrijkingen). Het beoordeelt elke combinatie op data die het model nog niet gezien heeft, zodat de cijfers weergeven hoe goed de voorspelling zal werken op nieuwe gevallen.
Het zoekraster toont modelfamilies langs de zijkant en feature-sets bovenaan. Elke cel is de beste out-of-sample score die die familie bereikte op die feature-set:
- Donkere cellen zijn sterker.
- De groene cel is de huidige beste.
- Een omlijnde cel is momenteel in training.
- Lege cellen zijn nog niet geprobeerd.
Boven het raster vertelt een live balk hoeveel configuraties er gescoord zijn van het totaal, hoeveel tijd er nog over is in de zoekactie, wat er nu in training is, en wat het beste resultaat tot nu toe is.
De training-verliescurve
Naast het raster toont een Training loss - lager is beter grafiek twee lijnen terwijl de zoekactie verdiept:
- out-of-sample (test) - hoe het model presteert op gevallen die het niet heeft gezien.
- in-sample (train) - hoe het presteert op de gevallen waarvan het leerde.
Wanneer de twee lijnen dicht bij elkaar blijven, generaliseert het model naar nieuwe gevallen in plaats van de oude te onthouden - precies wat je wilt.
De scorecard
Wanneer de zoekactie klaar is, verandert de kop naar Je voorspelling is klaar en toont ML Studio het winnende model.
Bovenaan toont Winner: [model family] welke familie won, welke feature-set het gebruikte, de belangrijkste instellingen, en op hoeveel signalen en gevallen het getraind en getest is. De kop-metric kaarten hangen af van je voorspellingstype:
| Voorspellingstype | Metric kaarten |
|---|---|
| Binaire | F1 score (de kop), Accuracy, Precision, Recall |
| Classificatie | Accuracy, Gebalanceerde accuracy, Log-loss |
| Regressie | R-kwadraat, Typische fout (MAE) in de eigen eenheden van de target, RMSE |
Elke metric heeft een tooltip in gewone taal, en een voetnoot noemt het enkele kopnummer waar de zoekactie op heeft geoptimaliseerd. Scores zijn cross-gevalideerd over meerdere folds en getoond als een gemiddelde met een kleine plus/minus marge, zodat je kunt zien hoe stabiel het resultaat is.
Wat drijft de voorspelling, en het volledige klassement
Onder de metrics legt ML Studio uit waarom het model voorspelt wat het doet en toont elke familie die het probeerde.
- Wat drijft deze voorspelling het meest rangschikt de signalen die de meeste invloed hebben op de voorspelling, als een eenvoudig staafdiagram.
- Klassement - de beste configuratie van elke familie toont elk modelfamilies beste resultaat: de rang, de winnende feature-set, de belangrijkste instellingen, de score, en hoe lang het duurde. De winnaar is gemarkeerd (beste).
Als een signaal verwijderd werd omdat het leek alsof het het antwoord al codeerde, benoemt ML Studio dat ook, samen met de kolommen die verwijderd zijn - zodat je erop kunt vertrouwen dat de score een echte voorspelling weerspiegelt, geen lek.
Vanaf hier zet ML Studio het winnende model automatisch in als een live voorspelling op je gevallen. Die output - en hoe je die gebruikt - wordt behandeld in Je voorspellingen gebruiken.