Entraînement et résultats
L'étape finale - Entraîner & déployer - est celle où ML Studio fait le gros du travail. Il cherche parmi de nombreux modèles pour trouver celui qui prédit le mieux votre cible, vous montre la recherche en temps réel, et présente un tableau clair du gagnant. C'est la partie "AutoML" de ML Studio : vous ne choisissez ni ne réglez un algorithme - la recherche le fait pour vous.
L'entraînement s'exécute sur le serveur
L'entraînement s'exécute en arrière-plan sur le serveur, vous pouvez donc fermer le navigateur et revenir plus tard - l'exécution continue. L'écran se met à jour au fur et à mesure que la recherche progresse. Vous pouvez Arrêter une exécution à tout moment et la reprendre ensuite, et les longues exécutions reprennent là où elles se sont arrêtées.
La recherche en direct
Pendant que la recherche s'exécute, ML Studio teste différentes familles de modèles avec différents ensembles de caractéristiques (par exemple Caractéristiques du processus seules, contre + Enrichissements). Il évalue chaque combinaison sur des données que le modèle n'a pas vues, de sorte que les chiffres reflètent la qualité de la prédiction sur de nouveaux cas.
La grille de recherche montre les familles de modèles sur le côté et les ensembles de caractéristiques en haut. Chaque cellule correspond au meilleur score hors échantillon que cette famille a obtenu sur cet ensemble de caractéristiques :
- Les cellules plus foncées sont meilleures.
- La cellule verte est la meilleure actuellement.
- Une cellule encadrée est en cours d'entraînement.
- Les cellules vides n'ont pas encore été testées.
Au-dessus de la grille, une barre active indique combien de configurations ont été évaluées sur le total, combien de temps il reste, ce qui est en cours d'entraînement, et le meilleur résultat jusqu'à présent.
La courbe de perte d'entraînement
À côté de la grille, un graphique Perte d'entraînement - plus bas est mieux trace deux courbes au fur et à mesure que la recherche progresse :
- hors échantillon (test) - comment le modèle performe sur des cas qu'il n'a pas vus.
- dans l'échantillon (train) - comment il performe sur les cas appris.
Lorsque les deux courbes restent proches, le modèle généralise à de nouveaux cas plutôt que de mémoriser les anciens - c'est exactement ce que vous voulez.
Le tableau de bord
Lorsque la recherche se termine, le titre change pour Votre prédiction est prête et ML Studio présente le modèle gagnant.
En haut, Gagnant : [famille de modèles] indique quelle famille a gagné, quel ensemble de caractéristiques elle a utilisé, ses réglages clés, et combien de signaux et de cas ont été utilisés pour l'entraînement et le test. Les cartes métriques principales dépendent de votre type de prédiction :
| Type de prédiction | Cartes métriques |
|---|---|
| Binaire | Score F1 (principal), Exactitude, Précision, Rappel |
| Classification | Exactitude, Exactitude équilibrée, Log-loss |
| Régression | R², Erreur typique (MAE) dans les unités de la cible, RMSE |
Chaque métrique a une info-bulle en langage clair, et une note de bas de page indique quel chiffre principal la recherche a optimisé. Les scores sont validés en croisé sur plusieurs plis et affichés comme une moyenne avec un petit écart plus/moins, pour que vous puissiez juger de la stabilité du résultat.
Ce qui pilote la prédiction, et le classement complet
Sous les métriques, ML Studio explique pourquoi le modèle prédit ce qu’il prédit et montre toutes les familles qu’il a testées.
- Ce qui pilote le plus cette prédiction classe les signaux qui influencent le plus la prédiction, sous forme de graphique à barres simple.
- Classement - la meilleure configuration de chaque famille liste le meilleur résultat pour chaque famille de modèles : son rang, l’ensemble de caractéristiques gagnant, les réglages clés, le score, et la durée. Le gagnant est marqué (meilleur).
Si un signal a été retiré pour sembler déjà encoder la réponse, ML Studio le signale aussi, ainsi que les colonnes supprimées - pour que vous puissiez avoir confiance que le score reflète une prédiction réelle, pas une fuite.
À partir de là, ML Studio met automatiquement le modèle gagnant en production comme prédiction en direct sur vos cas. Cette sortie - et comment l’utiliser - est expliquée dans Utiliser vos prédictions.