Quelle est la précision du timing des beatmaps IA ? ManiaGAI face à Mapperatorinator

Les joueurs pardonnent beaucoup de choses à une beatmap. Pas le timing. Un chart dont les notes tombent quelques millisecondes à côté du temps sonne faux dès la première mesure, aussi bons que soient ses patterns — alors avant qu’un mapper IA puisse placer une seule note, il doit répondre à deux questions qu’un mapper humain règle à l’oreille : quel est le BPM du morceau, et où tombe exactement le temps ?

Cet article examine la façon dont ManiaGAI y répond. Nous avons lancé sa détection du timing sur toutes les musiques osu! mania ranked que nous pouvions évaluer, et comparé le résultat au timing écrit par le mapper — aux côtés de ManiaGAI v1 et du projet open source Mapperatorinator. En bref : ManiaGAI v2 a juste sur le plus grand nombre de musiques à la tolérance que les joueurs perçoivent réellement, Mapperatorinator est plus précis à la tolérance la plus stricte, et le benchmark laisse de vraies questions ouvertes. Les détails suivent.

Ce qui a été mesuré

Un timing automatique doit produire ce qu’un mapper produit dans l’éditeur : un BPM et un offset, écrits sous forme de lignes de timing. Pour une musique au tempo constant, cela fait une seule ligne. Le jeu de test regroupe donc chaque mapset osu! mania ranked ou approved dont le mapper a timé la musique avec exactement une ligne — 2 507 mapsets, après retrait des packs de rate edits et des mapsets en double. Les trois méthodes ont produit un résultat sur 2 501 d’entre eux, et tous les chiffres ci-dessous portent sur ces 2 501 musiques.

Les trois méthodes :

• ManiaGAI v2 — la détection du timing de ManiaGAI depuis la version 2 (1er octobre 2026) : des activations de temps issues du modèle open source Beat This, transformées en grille de timing par notre propre méthode d’ajustement. Le benchmark a utilisé une configuration proche de celle mise en production, mais pas identique.
• ManiaGAI v1 — le détecteur utilisé sur le site avant la version 2.
• Mapperatorinator — le mode timing du mapper IA open source d’OliBomby, utilisé tel qu’il a été publié. C’est la seule référence de timing open source que nous ayons évaluée.

Une musique compte comme correcte quand le BPM détecté correspond à celui du mapper — moitié ou double du tempo acceptés, puisqu’une musique timée à 85 ou à 170 BPM peut être chartée à l’identique — et que la phase du temps tombe dans une tolérance autour de celle du mapper. Nous donnons quatre tolérances, de 10 à 40 ms.

Les résultats

Part des 2 501 musiques. « BPM correct » accepte la moitié ou le double du tempo. « Une seule ligne de timing » = la musique a été timée avec une seule ligne, comme l’a fait son mapper.

La méthode en tête dépend de la tolérance, et c’est l’enseignement le plus intéressant du tableau. À 10 ms, Mapperatorinator est devant. À partir de 20 ms, c’est ManiaGAI v2. À 40 ms, ManiaGAI v2 a juste sur 97,1 % des musiques, contre 91,7 % pour Mapperatorinator et 90,7 % pour ManiaGAI v1.

Pourquoi 40 ms est le chiffre phare

Une tolérance serrée mesure la précision ; une tolérance plus large mesure si le timing est utilisable. Nous retenons 40 ms comme chiffre phare à cause d’un test d’écoute : sur 31 musiques que le critère à 10 ms jugeait fausses, 30 sonnaient correctement timées à l’écoute. Les erreurs de 10 à 40 ms sont réelles, et le tableau les montre — mais à cette échelle, le BPM et le temps sont justes, et c’est ce qui décide si un chart se joue dans le temps.

Musique par musique

Les pourcentages ne disent pas quelles musiques chaque méthode réussit. En comptant les musiques où une seule des deux méthodes avait juste :

• À 40 ms, ManiaGAI v2 avait juste là où Mapperatorinator se trompait sur 187 musiques, et l’inverse s’est produit sur 51. Les deux avaient juste sur 2 242 ; les deux se trompaient sur 21.
• À 20 ms, l’écart est bien plus serré : 187 musiques contre 153.
• Face à son prédécesseur à 40 ms, ManiaGAI v2 a gagné sur 190 musiques et perdu sur 30.

Là où Mapperatorinator fait mieux

Mapperatorinator place le temps plus précisément quand il trouve le bon tempo :

• À 10 ms près, il a juste sur 78,0 % des musiques, contre 71,4 % pour ManiaGAI v2.
• Son erreur de phase est plus faible : une médiane de 5,0 ms contre 5,8 ms.

Là où ManiaGAI fait mieux

ManiaGAI v2 trouve plus souvent le bon tempo (98,0 % contre 92,6 %, moitié/double accepté), et il a beaucoup moins de problèmes de faux changements de tempo. Chaque musique de ce jeu a un seul tempo constant, donc toute ligne de timing supplémentaire est un changement de tempo qui n’existe pas dans la musique — et dans un chart, cela se traduit par un décalage brutal de la grille de temps en plein milieu du morceau.

• ManiaGAI v2 a timé les 2 501 musiques avec une seule ligne.
• ManiaGAI v1 a ajouté des lignes sur 181 musiques (7,2 %).
• Mapperatorinator a ajouté des lignes sur 2 226 musiques (89,0 %) — une médiane de 6 lignes et une moyenne de 7,9 par musique.

Il faut remettre cela en contexte : Mapperatorinator ne suppose pas qu’une musique a un seul tempo, et sur les musiques dont le tempo change vraiment, écrire plusieurs lignes est le bon comportement. Ce benchmark ne contient que des musiques à tempo constant : il peut montrer le coût de ce choix de conception, pas son avantage.

À quelle distance du plafond ?

À 40 ms, 16 musiques (0,6 %) ont mis en échec les trois méthodes. Même un juge parfait qui choisirait la meilleure des trois pour chaque musique atteindrait 99,4 % — l’écart entre les 97,1 % de ManiaGAI v2 et ce plafond est donc faible. Sur ces 16 musiques, 12 étaient des erreurs de tempo pour ManiaGAI v2 et 4 des erreurs de phase.

Ce que ce benchmark ne dit pas

• Ce n’est pas un test sur données réservées. 344 des musiques avaient servi pendant le réglage du détecteur de ManiaGAI v2. Nous avons vérifié si cela gonflait le résultat : à 40 ms, ManiaGAI v2 obtient 97,1 % sur ces musiques et 97,1 % sur les 2 157 qu’il n’avait jamais vues ; à 10 ms, 70,3 % contre 71,5 %. Le réglage n’a pas apporté une précision qui ne se généralise pas — mais un jeu réservé et propre serait une preuve plus solide.
• Uniquement des musiques à tempo constant. Les musiques qui changent de tempo sont plus difficiles pour toutes les méthodes, et elles ne sont pas incluses ici. Dans les données dont ManiaGAI v2 a appris, 15,8 % des charts changent de tempo en cours de morceau.
• Uniquement des maps ranked, avec le mapper comme vérité de référence. Le timing des maps ranked est vérifié par des humains, ce qui en fait la meilleure référence disponible — mais cela reste le timing d’une seule personne, et la population correspond à la musique qui finit ranked.
• Une seule référence externe. Mapperatorinator est la seule autre méthode que nous avons testée. Nous n’avons pas évalué de beat trackers qui n’ont pas été conçus pour osu!, et nous n’affirmons rien à leur sujet.
• Le timing, pas les charts. Le benchmark note uniquement la grille de timing, pas la qualité des charts générés.
• Proche de la configuration en production, pas identique. Le détecteur en production diffère sur certains détails de la variante mesurée ici.

La suite pour le timing

Trois points ressortent. Les erreurs restantes sur les musiques à tempo constant concernent surtout le tempo, pas la phase. À la tolérance la plus stricte, il reste de la précision à gagner. Et la plus grande question ouverte est celle à laquelle ce benchmark ne peut pas répondre : comment chaque méthode — y compris la nôtre — gère les musiques dont le tempo change vraiment. C’est le manque qu’un futur benchmark devra combler.

Pour voir ce que le timing signifie en pratique, le BPM et le timing dans osu! expliqués couvre les bases, la page Technologie montre où se situe le timing dans l’ensemble du pipeline, et le test le plus rapide reste une musique que vous connaissez bien.