¿Qué tan preciso es el timing de los beatmaps con IA? ManiaGAI vs Mapperatorinator

Los jugadores le perdonan mucho a un beatmap. Lo que no perdonan es el timing. Un mapa cuyas notas caen unos milisegundos fuera del pulso se siente mal desde el primer compás, por buenos que sean sus patrones; así que, antes de que un mapper con IA pueda colocar una sola nota, tiene que responder dos preguntas que un mapper humano responde de oído: ¿cuál es el BPM de la canción y dónde cae exactamente el pulso?

Este artículo trata de qué tan bien las responde ManiaGAI. Ejecutamos su detección de timing en todas las canciones ranked de osu! mania que pudimos evaluar y comparamos el resultado con el timing que escribió el mapper, junto a ManiaGAI v1 y el proyecto de código abierto Mapperatorinator. En resumen: ManiaGAI v2 acierta en más canciones con la tolerancia que los jugadores realmente perciben, Mapperatorinator es más preciso con la más estricta, y el benchmark deja preguntas reales sin responder. Los detalles, a continuación.

Qué se midió

El timing automático tiene que producir lo mismo que produce un mapper en el editor: un BPM y un offset, escritos como líneas de timing. Para una canción con un tempo constante, eso es una sola línea. Por eso el conjunto de prueba son todos los mapsets de osu! mania ranked o approved cuyo mapper hizo el timing de la canción con exactamente una línea: 2507 mapsets, tras quitar los packs de rate edits y los mapsets duplicados. Los tres métodos dieron un resultado en 2501 de ellos, y todas las cifras de abajo se refieren a esas 2501 canciones.

Los tres métodos:

• ManiaGAI v2: la detección de timing de ManiaGAI desde la versión 2 (1 de octubre de 2026). Las activaciones de pulso del modelo de código abierto Beat This se convierten en una cuadrícula de timing con nuestro propio método de ajuste. El benchmark usó una configuración cercana, pero no idéntica, a la que se lanzó.
• ManiaGAI v1: el detector que usaba el sitio antes de la versión 2.
• Mapperatorinator: el modo de timing del mapper con IA de código abierto de OliBomby, ejecutado tal como se publicó. Es la única referencia de timing de código abierto que evaluamos.

Una canción cuenta como correcta cuando el BPM detectado coincide con el del mapper (se admite la mitad o el doble del tempo, ya que una canción con timing a 85 o a 170 BPM puede mapearse de forma idéntica) y la fase del pulso queda dentro de una tolerancia respecto a la del mapper. Informamos cuatro tolerancias, de 10 a 40 ms.

Los resultados

Porcentaje de 2501 canciones. “BPM correcto” admite la mitad o el doble del tempo. “Una línea de timing” = la canción se cronometró con una sola línea, como hizo su mapper.

Qué método va primero depende de la tolerancia, y eso es lo más revelador de la tabla. A 10 ms va delante Mapperatorinator. A partir de 20 ms, ManiaGAI v2. A 40 ms, ManiaGAI v2 acierta en el 97,1 % de las canciones, frente al 91,7 % de Mapperatorinator y el 90,7 % de ManiaGAI v1.

Por qué 40 ms es la cifra principal

Una tolerancia estricta mide la precisión; una más amplia mide si el timing es usable. Elegimos 40 ms como cifra principal por una prueba de escucha: de 31 canciones que el criterio de 10 ms marcó como erróneas, 30 sonaban con el timing correcto al reproducirlas. Los errores de 10–40 ms son reales, y la tabla los recoge; pero a ese tamaño el BPM y el pulso son correctos, y eso es lo que decide si un mapa se juega a tiempo.

Canción por canción

Los porcentajes ocultan qué canciones acierta cada método. Contando las canciones en las que exactamente uno de los dos métodos acertó:

• A 40 ms, ManiaGAI v2 acertó donde Mapperatorinator falló en 187 canciones, y lo contrario ocurrió en 51. Ambos acertaron en 2242; ambos fallaron en 21.
• A 20 ms el margen es mucho más ajustado: 187 canciones frente a 153.
• Frente a su propio predecesor a 40 ms, ManiaGAI v2 ganó 190 canciones y perdió 30.

Dónde Mapperatorinator es mejor

Mapperatorinator coloca el pulso con más precisión cuando acierta el tempo:

• Dentro de 10 ms acierta en el 78,0 % de las canciones, frente al 71,4 % de ManiaGAI v2.
• Su error de fase del pulso es menor: una mediana de 5,0 ms frente a 5,8 ms.

Dónde ManiaGAI es mejor

ManiaGAI v2 acierta el tempo más a menudo (98,0 % frente a 92,6 %, admitiendo la mitad o el doble), y tiene un problema mucho menor con los falsos cambios de tempo. Todas las canciones de este conjunto tienen un único tempo constante, así que cualquier línea de timing extra es un cambio de tempo que no está en la música; y en un mapa significa un desplazamiento repentino de la cuadrícula de pulsos a mitad de la canción.

• ManiaGAI v2 cronometró las 2501 canciones con una sola línea.
• ManiaGAI v1 añadió líneas en 181 canciones (7,2 %).
• Mapperatorinator añadió líneas en 2226 canciones (89,0 %): una mediana de 6 líneas y una media de 7,9 por canción.

Esto necesita contexto: Mapperatorinator no da por hecho que una canción tenga un solo tempo, y en canciones que de verdad cambian de tempo, escribir varias líneas es el comportamiento correcto. Este benchmark solo contiene canciones de tempo constante, así que puede mostrar el coste de ese diseño, pero no su beneficio.

¿Qué tan cerca del techo?

A 40 ms, 16 canciones (0,6 %) derrotaron a los tres métodos. Incluso un juez perfecto que eligiera el mejor de los tres para cada canción llegaría al 99,4 %; así que la distancia entre el 97,1 % de ManiaGAI v2 y ese techo es pequeña. De esas 16 canciones, 12 fueron errores de tempo para ManiaGAI v2 y 4 fueron errores de fase.

Lo que este benchmark no te dice

• No es una prueba con datos reservados. 344 de las canciones se usaron mientras se ajustaba el detector de ManiaGAI v2. Comprobamos si eso inflaba el resultado: a 40 ms, ManiaGAI v2 obtiene 97,1 % en esas canciones y 97,1 % en las 2157 que nunca vio; a 10 ms, 70,3 % frente a 71,5 %. El ajuste no compró una precisión que no se generalice, pero un conjunto reservado limpio sería una prueba más sólida.
• Solo canciones de tempo constante. Las canciones que cambian de tempo son más difíciles para todos los métodos, y no están aquí. En los datos de los que aprendió ManiaGAI v2, el 15,8 % de los mapas cambia de tempo a mitad de la canción.
• Solo mapas ranked, con el mapper como referencia. El timing de los mapas ranked lo revisan personas, lo que lo convierte en la mejor referencia disponible; pero sigue siendo el timing de una persona, y la población es la música que llega a ranked.
• Una sola referencia externa. Mapperatorinator es el único otro método que ejecutamos. No hemos evaluado beat trackers que no se crearon para osu!, y no afirmamos nada sobre ellos.
• Timing, no mapas. El benchmark puntúa solo la cuadrícula de timing, no la calidad de los mapas generados.
• Cercano a la configuración lanzada, no idéntico. El detector de producción difiere en detalles de la variante medida aquí.

Lo que viene para el timing

Destacan tres cosas. Los errores que quedan en tempo constante son sobre todo de tempo, no de fase. En la tolerancia más estricta todavía hay precisión que ganar. Y la mayor pregunta abierta es la que este benchmark no puede responder: cómo maneja cada método (el nuestro incluido) las canciones cuyo tempo cambia de verdad. Esa es la brecha que un futuro benchmark tiene que cerrar.

Si quieres ver qué significa el timing en la práctica, BPM y timing en osu! explicados cubre lo básico, la página de Tecnología muestra dónde encaja el timing en todo el pipeline, y la prueba más rápida es una canción que conozcas bien.