Wie genau ist KI-Beatmap-Timing? ManiaGAI vs. Mapperatorinator

Spieler verzeihen einer Beatmap vieles. Schlechtes Timing verzeihen sie nicht. Ein Chart, dessen Noten ein paar Millisekunden neben dem Beat liegen, fühlt sich vom ersten Takt an falsch an, egal wie gut die Patterns sind – bevor ein KI-Mapper also auch nur eine einzige Note setzen kann, muss er zwei Fragen beantworten, die ein menschlicher Mapper nach Gehör beantwortet: Welche BPM hat der Song, und wo genau liegt der Beat?

In diesem Beitrag geht es darum, wie gut ManiaGAI diese Fragen beantwortet. Wir haben seine Timing-Erkennung auf jeden Ranked osu! mania-Song angewendet, den wir auswerten konnten, und das Ergebnis mit dem Timing verglichen, das der Mapper gesetzt hat – neben ManiaGAI v1 und dem Open-Source-Projekt Mapperatorinator. Kurz gesagt: ManiaGAI v2 trifft bei der Toleranz, die Spieler tatsächlich hören, die meisten Songs richtig, Mapperatorinator ist bei der engsten Toleranz präziser, und der Benchmark lässt echte Fragen offen. Die Details folgen unten.

Was gemessen wurde

Automatisches Timing muss liefern, was ein Mapper im Editor erstellt: eine BPM und einen Offset, geschrieben als Timing-Linien. Bei einem Song mit einem gleichbleibenden Tempo ist das eine Linie. Das Testset besteht deshalb aus jedem Ranked oder Approved osu! mania-Mapset, dessen Mapper den Song mit genau einer Linie getimt hat – 2.507 Mapsets, nachdem Rate-Edit-Packs und doppelte Mapsets entfernt wurden. Alle drei Methoden lieferten bei 2.501 davon ein Ergebnis, und alle Zahlen unten beziehen sich auf diese 2.501 Songs.

Die drei Methoden:

• ManiaGAI v2 – die Timing-Erkennung hinter ManiaGAI seit Version 2 (1. Oktober 2026): Beat-Aktivierungen aus dem Open-Source-Modell Beat This, die unser eigenes Fitting-Verfahren in ein Timing-Raster umwandelt. Der Benchmark lief mit einer Konfiguration, die der ausgelieferten sehr nahe kommt, aber nicht mit ihr identisch ist.
• ManiaGAI v1 – der Detektor, den die Seite vor Version 2 verwendet hat.
• Mapperatorinator – der Timing-Modus von OliBombys Open-Source-KI-Mapper, ausgeführt wie veröffentlicht. Er ist die einzige Open-Source-Timing-Baseline, die wir gebenchmarkt haben.

Ein Song gilt als korrekt, wenn die erkannte BPM mit der des Mappers übereinstimmt – halbes oder doppeltes Tempo ist erlaubt, da ein Song mit 85 oder 170 BPM identisch gechartet werden kann – und die Beat-Phase innerhalb einer Toleranz zu der des Mappers liegt. Wir geben vier Toleranzen an, von 10 bis 40 ms.

Die Ergebnisse

Anteil von 2.501 Songs. „BPM korrekt“ erlaubt halbes/doppeltes Tempo. „Eine Timing-Linie“ = der Song wurde mit einer einzigen Linie getimt, so wie von seinem Mapper.

Welche Methode vorn liegt, hängt von der Toleranz ab – und das ist die aufschlussreichste Information in der Tabelle. Bei 10 ms führt Mapperatorinator. Ab 20 ms führt ManiaGAI v2. Bei 40 ms liegt ManiaGAI v2 bei 97,1 % der Songs richtig, gegenüber 91,7 % bei Mapperatorinator und 90,7 % bei ManiaGAI v1.

Warum 40 ms die Hauptzahl ist

Eine enge Toleranz misst Präzision; eine lockerere misst, ob das Timing brauchbar ist. Wir wählen 40 ms als Hauptzahl wegen eines Hörtests: Von 31 Songs, die das 10-ms-Kriterium als falsch markiert hatte, klangen 30 beim Abspielen korrekt getimt. Fehler von 10–40 ms sind real, und die Tabelle weist sie aus – aber in dieser Größenordnung stimmen BPM und Beat, und genau das entscheidet, ob sich ein Chart auf dem Beat spielt.

Song für Song

Prozentzahlen verbergen, welche Songs jede Methode richtig hat. Gezählt wurden Songs, bei denen genau eine der beiden Methoden richtig lag:

• Bei 40 ms lag ManiaGAI v2 bei 187 Songs richtig, bei denen Mapperatorinator falsch lag, und umgekehrt war es bei 51 der Fall. Beide lagen bei 2.242 richtig; beide lagen bei 21 falsch.
• Bei 20 ms ist der Abstand viel knapper: 187 Songs zu 153.
• Gegen seinen eigenen Vorgänger gewann ManiaGAI v2 bei 40 ms 190 Songs und verlor 30.

Wo Mapperatorinator besser ist

Mapperatorinator setzt den Beat präziser, wenn er das Tempo richtig erkennt:

• Innerhalb von 10 ms liegt er bei 78,0 % der Songs richtig, gegenüber 71,4 % bei ManiaGAI v2.
• Sein Beat-Phasen-Fehler ist kleiner: ein Median von 5,0 ms gegenüber 5,8 ms.

Wo ManiaGAI besser ist

ManiaGAI v2 erkennt das Tempo häufiger richtig (98,0 % gegenüber 92,6 %, mit erlaubtem halbem/doppeltem Tempo) und hat ein viel kleineres Problem mit falschen Tempowechseln. Jeder Song in diesem Set hat ein gleichbleibendes Tempo, also ist jede zusätzliche Timing-Linie ein Tempowechsel, den es in der Musik nicht gibt – und in einem Chart bedeutet das eine plötzliche Verschiebung des Beat-Rasters mitten im Song.

• ManiaGAI v2 hat alle 2.501 Songs mit einer einzigen Linie getimt.
• ManiaGAI v1 hat bei 181 Songs (7,2 %) Linien hinzugefügt.
• Mapperatorinator hat bei 2.226 Songs (89,0 %) Linien hinzugefügt – im Median 6 Linien und im Mittel 7,9 pro Song.

Das braucht Kontext: Mapperatorinator geht nicht davon aus, dass ein Song ein einziges Tempo hat, und bei Songs, deren Tempo sich tatsächlich ändert, ist es richtig, mehrere Linien zu setzen. Dieser Benchmark enthält nur Songs mit gleichbleibendem Tempo – er kann also die Kosten dieses Designs zeigen, nicht aber seinen Nutzen.

Wie nah an der Obergrenze?

Bei 40 ms scheiterten alle drei Methoden an 16 Songs (0,6 %). Selbst ein perfekter Schiedsrichter, der für jeden Song die beste der drei Methoden wählt, käme auf 99,4 % – der Abstand zwischen den 97,1 % von ManiaGAI v2 und dieser Obergrenze ist also klein. Von diesen 16 Songs waren 12 für ManiaGAI v2 Tempofehler und 4 Phasenfehler.

Was dieser Benchmark nicht aussagt

• Es ist kein Held-out-Test. 344 der Songs wurden verwendet, während der Detektor von ManiaGAI v2 abgestimmt wurde. Wir haben geprüft, ob das das Ergebnis aufbläht: Bei 40 ms erreicht ManiaGAI v2 auf diesen Songs 97,1 % und 97,1 % auf den 2.157, die er nie gesehen hat; bei 10 ms 70,3 % gegenüber 71,5 %. Das Tuning hat keine Genauigkeit erkauft, die sich nicht verallgemeinern lässt – ein sauberes Held-out-Set wäre aber ein stärkerer Beleg.
• Nur Songs mit gleichbleibendem Tempo. Songs mit Tempowechseln sind für jede Methode schwieriger, und sie sind hier nicht enthalten. In den Daten, aus denen ManiaGAI v2 gelernt hat, wechseln 15,8 % der Charts mitten im Song das Tempo.
• Nur Ranked Maps, mit dem Mapper als Referenz. Ranked-Timing wird von Menschen geprüft und ist damit die beste verfügbare Referenz – aber es bleibt das Timing einer einzelnen Person, und die Grundgesamtheit ist die Musik, die gerankt wird.
• Eine externe Baseline. Mapperatorinator ist die einzige andere Methode, die wir getestet haben. Beat-Tracker, die nicht für osu! gebaut wurden, haben wir nicht gebenchmarkt, und wir behaupten nichts über sie.
• Timing, nicht Charts. Der Benchmark bewertet allein das Timing-Raster, nicht wie gut die generierten Charts sind.
• Nah an der ausgelieferten Konfiguration, nicht identisch. Der Detektor in Produktion unterscheidet sich in Details von der hier gemessenen Variante.

Wie es mit dem Timing weitergeht

Drei Dinge fallen auf. Die verbleibenden Fehler bei gleichbleibendem Tempo betreffen vor allem das Tempo, nicht die Phase. Bei der engsten Toleranz ist noch Präzision zu holen. Und die größte offene Frage ist die, die dieser Benchmark nicht beantworten kann: wie jede Methode – unsere eingeschlossen – mit Songs umgeht, deren Tempo sich wirklich ändert. Diese Lücke muss ein künftiger Benchmark schließen.

Wenn du sehen willst, was das Timing in der Praxis bedeutet: BPM und Timing in osu! erklärt behandelt die Grundlagen, die Technologie-Seite zeigt, wo das Timing in der gesamten Pipeline sitzt, und der schnellste Test ist ein Song, den du gut kennst.