Comment j'ai atteint 99.5% de précision avec YOLO sur des sprites Mario

Introduction

Dans le cadre du projet LADDER, j'ai dû entraîner un modèle YOLO pour classifier automatiquement les niveaux de Super Mario Bros à partir de captures d'écran de speedruns.

Le défi

Les sprites Mario sont petits (16x16 pixels), les arrière-plans varient entre les mondes, et certains ennemis se ressemblent fortement. La première itération du modèle plafonnait à 85%.

La solution

Trois techniques ont fait la différence : l'augmentation de données ciblée (rotation, flip, ajustement de luminosité), le fine-tuning progressif avec un learning rate scheduler, et l'ajout de classes intermédiaires pour les objets ambigus.

Résultats

Le modèle final atteint 99.5% de précision sur 15 566 frames de test, avec un temps d'inférence de 12ms par frame.