Насколько точен тайминг beatmap от ИИ? ManiaGAI против Mapperatorinator

Игроки многое прощают beatmap. Но не тайминг. Чарт, ноты которого стоят на несколько миллисекунд мимо бита, ощущается неправильным с первого такта, какими бы хорошими ни были паттерны, — поэтому прежде чем ИИ-маппер поставит хотя бы одну ноту, он должен ответить на два вопроса, на которые маппер-человек отвечает на слух: какой у песни BPM и где именно приходится бит?

Эта статья о том, насколько хорошо ManiaGAI на них отвечает. Мы прогнали определение тайминга на всех ranked-песнях osu! mania, которые смогли оценить, и сравнили результат с таймингом, который поставил маппер, — наряду с ManiaGAI v1 и открытым Mapperatorinator. Если коротко: ManiaGAI v2 правильно определяет тайминг у наибольшего числа песен при допуске, который игроки действительно слышат, Mapperatorinator точнее при самом жёстком допуске, а сам бенчмарк оставляет открытыми реальные вопросы. Подробности ниже.

Что измерялось

Автоматический тайминг должен выдать то же, что маппер делает в редакторе: BPM и offset, записанные в виде тайминг-линий. Для песни с одним постоянным темпом это одна линия. Поэтому тестовый набор — это все ranked- и approved-mapset для osu! mania, маппер которых затаймил песню ровно одной линией, — 2 507 mapset после удаления паков с rate-edit и дубликатов mapset. Все три метода выдали результат для 2 501 из них, и все цифры ниже посчитаны по этим 2 501 песням.

Три метода:

• ManiaGAI v2 — определение тайминга, на котором ManiaGAI работает начиная с версии 2 (1 октября 2026 года): активации битов из открытой модели Beat This, которые наш собственный метод подгонки превращает в сетку тайминга. В бенчмарке использовалась конфигурация, близкая к выпущенной, но не идентичная ей.
• ManiaGAI v1 — детектор, которым сайт пользовался до версии 2.
• Mapperatorinator — режим тайминга открытого ИИ-маппера от OliBomby, запущенный в том виде, в каком он выпущен. Это единственный открытый эталон для тайминга, который мы сравнивали.

Песня считается правильной, если найденный BPM совпадает с BPM маппера — половинный или двойной темп допускается, потому что песню, затаймленную на 85 или 170 BPM, можно зачартить одинаково, — и фаза бита попадает в допуск относительно маппера. Мы приводим четыре допуска — от 10 до 40 мс.

Результаты

Доля от 2 501 песен. «BPM верный» допускает половинный/двойной темп. «Одна тайминг-линия» — песня затаймлена одной линией, как это сделал её маппер.

Какой метод впереди, зависит от допуска, — и это самое информативное в таблице. При 10 мс лидирует Mapperatorinator. Начиная с 20 мс — ManiaGAI v2. При 40 мс ManiaGAI v2 прав на 97,1 % песен против 91,7 % у Mapperatorinator и 90,7 % у ManiaGAI v1.

Почему главная цифра — 40 мс

Жёсткий допуск измеряет точность; более мягкий — то, пригоден ли тайминг. Мы выбрали 40 мс главной цифрой из-за проверки на слух: из 31 песен, которые критерий 10 мс признал неправильными, 30 при прослушивании звучали затаймленными правильно. Ошибки в 10–40 мс реальны, и таблица их показывает, — но при таком размере BPM и бит верны, а именно это решает, играется ли чарт в бит.

Песня за песней

Проценты скрывают, какие именно песни каждый метод определяет верно. Если считать песни, где прав был ровно один из двух методов:

• При 40 мс ManiaGAI v2 был прав там, где ошибся Mapperatorinator, на 187 песнях, а обратное случилось на 51. Оба были правы на 2 242; оба ошиблись на 21.
• При 20 мс разрыв гораздо меньше: 187 песен против 153.
• В сравнении со своим предшественником при 40 мс ManiaGAI v2 выиграл на 190 песнях и проиграл на 30.

Где Mapperatorinator лучше

Когда Mapperatorinator угадывает темп, он ставит бит точнее:

• В пределах 10 мс он прав на 78,0 % песен против 71,4 % у ManiaGAI v2.
• Его ошибка фазы бита меньше: медиана 5,0 мс против 5,8 мс.

Где лучше ManiaGAI

ManiaGAI v2 чаще правильно определяет темп (98,0 % против 92,6 % с учётом половинного/двойного), и у него гораздо меньше проблем с ложными сменами темпа. У каждой песни в этом наборе один постоянный темп, поэтому любая лишняя тайминг-линия — это смена темпа, которой нет в музыке, а в чарте она означает внезапный сдвиг сетки битов посреди песни.

• ManiaGAI v2 затаймил все 2 501 песен одной линией.
• ManiaGAI v1 добавил лишние линии на 181 песнях (7,2 %).
• Mapperatorinator добавил лишние линии на 2 226 песнях (89,0 %) — медиана 6 линий и в среднем 7,9 на песню.

Здесь нужен контекст: Mapperatorinator не исходит из того, что у песни один темп, а на песнях, где темп действительно меняется, несколько линий — правильное поведение. В этом бенчмарке только песни с постоянным темпом, поэтому он может показать цену такого подхода, но не его пользу.

Насколько близко к потолку?

При 40 мс 16 песен (0,6 %) не поддались ни одному из трёх методов. Даже идеальный судья, выбирающий для каждой песни лучший из трёх, получил бы 99,4 %, — так что расстояние между 97,1 % у ManiaGAI v2 и этим потолком невелико. Из этих 16 песен у ManiaGAI v2 12 были ошибками темпа и 4 — ошибками фазы.

О чём этот бенчмарк не говорит

• Это не отложенная тестовая выборка. 344 из этих песен использовались при настройке детектора ManiaGAI v2. Мы проверили, не завысило ли это результат: при 40 мс ManiaGAI v2 набирает 97,1 % на этих песнях и 97,1 % на 2 157 песнях, которых он никогда не видел; при 10 мс — 70,3 % против 71,5 %. Настройка не дала точности, которая не обобщается, — но чистая отложенная выборка была бы более сильным доказательством.
• Только песни с постоянным темпом. Песни со сменой темпа сложнее для любого метода, а здесь их нет. В данных, на которых обучался ManiaGAI v2, 15,8 % чартов меняют темп посреди песни.
• Только ranked-карты, а эталон — маппер. Тайминг ranked-карт проверяют люди, поэтому это лучший доступный эталон, — но это всё равно тайминг одного человека, а выборка ограничена музыкой, которая попадает в ranked.
• Один внешний эталон. Mapperatorinator — единственный другой метод, который мы запускали. Мы не сравнивали бит-трекеры, созданные не для osu!, и ничего о них не утверждаем.
• Тайминг, а не чарты. Бенчмарк оценивает только сетку тайминга, а не качество сгенерированных чартов.
• Близко к выпущенной конфигурации, но не идентично. Продакшен-детектор в деталях отличается от варианта, измеренного здесь.

Что дальше с таймингом

Выделяются три вещи. Оставшиеся ошибки на песнях с постоянным темпом в основном касаются темпа, а не фазы. При самом жёстком допуске ещё есть куда повышать точность. А главный открытый вопрос — тот, на который этот бенчмарк ответить не может: как каждый метод, включая наш, справляется с песнями, темп которых действительно меняется. Именно этот пробел должен закрыть будущий бенчмарк.

Если хотите понять, что тайминг значит на практике, основы описаны в статье BPM и тайминг в osu! простыми словами, на странице «Технология» показано, какое место тайминг занимает во всём конвейере, а самый быстрый тест — песня, которую вы хорошо знаете.