AIによるbeatmapのタイミングはどれほど正確か？ ManiaGAI vs Mapperatorinator

プレイヤーはbeatmapの多くの欠点を許してくれます。でも、タイミングのズレだけは許してくれません。ノーツが拍から数ミリ秒ずれている譜面は、パターンがどれだけ良くても最初の小節から違和感があります — だからAI mapperは、ノーツを一つ置く前に、人間のmapperが耳で答えている二つの問いに答えなければなりません：この曲のBPMはいくつか、そして拍は正確にどこにあるのか。

この記事では、ManiaGAIがその問いにどれだけ正確に答えられるかを扱います。評価できたすべてのRanked osu! maniaの曲でタイミング検出を実行し、その結果をmapperが書いたタイミングと比較しました — ManiaGAI v1、そしてオープンソースのMapperatorinatorと並べて。要点だけ言うと、プレイヤーが実際に聞き分けられる許容範囲ではManiaGAI v2が最も多くの曲で正解し、最も厳しい許容範囲ではMapperatorinatorのほうが精密で、このベンチマークでは答えの出ていない問いも残っています。詳しくは以下のとおりです。

何を測ったか

自動タイミングは、mapperがエディターで作るものと同じものを出力する必要があります：タイミングラインとして書かれたBPMとオフセットです。テンポが一定の曲なら、ラインは1本です。そこでテストセットは、mapperがちょうど1本のラインで曲のタイミングを取った、RankedまたはApprovedのosu! mania mapsetすべてとしました — レート変更パックと重複mapsetを除いて2,507個のmapsetです。三つの手法すべてが結果を出せたのはそのうち2,501個で、以下の数値はすべてこの2,501曲に対するものです。

比較した三つの手法：

• ManiaGAI v2 — バージョン2（2026年10月1日）以降のManiaGAIを支えるタイミング検出です。オープンソースのBeat Thisモデルによる拍の活性化出力を、独自のフィッティング手法でタイミンググリッドに変換します。ベンチマークで使った設定は、実際に公開したものに近いですが、同一ではありません。
• ManiaGAI v1 — バージョン2以前にサイトで使っていた検出器です。
• Mapperatorinator — OliBombyによるオープンソースのAI mapperのタイミングモードを、公開されたままの状態で実行しました。私たちがベンチマークしたオープンソースのタイミング手法はこれだけです。

検出したBPMがmapperのものと一致し — 85 BPMで取っても170 BPMで取っても同じ譜面が書けるので、半分や倍のテンポも許容します — かつ拍の位相がmapperのものから許容範囲内に収まったとき、その曲を正解とします。許容範囲は10 msから40 msまでの四段階で報告します。

結果

2,501曲に占める割合。「BPM正解」は半分・倍のテンポを許容。「タイミングライン1本」＝mapperと同じく、1本のラインでタイミングを取れた曲。

どの手法がトップになるかは許容範囲によって変わり、それがこの表から読み取れる最も重要な点です。10 msではMapperatorinatorが上回ります。20 ms以上ではManiaGAI v2が上回ります。40 msではManiaGAI v2が97.1%の曲で正解し、Mapperatorinatorは91.7%、ManiaGAI v1は90.7%です。

なぜ40 msを代表値にするのか

厳しい許容範囲は精密さを測り、緩い許容範囲はタイミングが使えるかどうかを測ります。40 msを代表値に選んだのは、試聴チェックの結果によるものです：10 msの基準で不正解とされた31曲のうち、30曲は再生してみると正しくタイミングが取れているように聞こえました。10〜40 msの誤差は実在するもので、表にも載せています — ただ、その程度の誤差ならBPMと拍は合っていて、譜面が拍に乗って遊べるかどうかを決めるのはそこです。

曲ごとに見る

パーセンテージだけでは、各手法がどの曲で正解したかはわかりません。二つの手法のうち片方だけが正解した曲を数えると：

• 40 msでは、ManiaGAI v2が正解しMapperatorinatorが不正解だった曲が187曲、その逆が51曲でした。両方正解が2,242曲、両方不正解が21曲です。
• 20 msでは差はずっと小さく、187曲対153曲でした。
• 40 msで前バージョンと比べると、ManiaGAI v2が勝ったのは190曲、負けたのは30曲でした。

Mapperatorinatorが優れている点

Mapperatorinatorは、テンポを正しく当てたときには拍をより精密に置きます：

• 10 ms以内では78.0%の曲で正解し、ManiaGAI v2は71.4%です。
• 拍の位相誤差も小さく、中央値は5.0 ms、ManiaGAI v2は5.8 msです。

ManiaGAIが優れている点

ManiaGAI v2はテンポを正しく当てる頻度が高く（半分・倍を許容して98.0%対92.6%）、誤ったテンポ変化の問題がずっと少なくなっています。このセットの曲はどれもテンポが一定なので、余分なタイミングラインはすべて音楽には存在しないテンポ変化です— 譜面では、曲の途中で拍のグリッドが突然ずれることを意味します。

• ManiaGAI v2は2,501曲すべてを1本のラインでタイミングを取りました。
• ManiaGAI v1は181曲（7.2%）でラインを追加しました。
• Mapperatorinatorは2,226曲（89.0%）でラインを追加しました — 1曲あたり中央値6本、平均7.9本です。

これには補足が必要です：Mapperatorinatorは曲のテンポが一つだとは仮定しておらず、本当にテンポが変わる曲では、複数のラインを書くのが正しい振る舞いです。このベンチマークにはテンポが一定の曲しか含まれないため、その設計のコストは示せても、メリットは示せません。

上限にどこまで近いか

40 msでは、16曲（0.6%）で三つの手法すべてが失敗しました。曲ごとに三つの中から最良の結果を選ぶ完璧な審査員がいたとしても99.4%にとどまります — つまり、ManiaGAI v2の97.1%とその上限との差は小さいということです。その16曲のうち、ManiaGAI v2にとって12曲はテンポの誤り、4曲は位相の誤りでした。

このベンチマークからわからないこと

• ホールドアウトテストではありません。344曲は、ManiaGAI v2の検出器を調整する際に使われていました。それで結果が水増しされていないか確認しました：40 msでは、ManiaGAI v2はそれらの曲で97.1%、一度も見ていない2,157曲で97.1%。10 msでは70.3%対71.5%です。調整によって汎化しない精度を稼いだわけではありません — ただ、きれいなホールドアウトセットがあれば、より強い証拠になります。
• テンポが一定の曲のみ。テンポが変わる曲はどの手法にとっても難しく、ここには含まれていません。ManiaGAI v2が学習したデータでは、譜面の15.8%が曲の途中でテンポが変わります。
• Ranked譜面のみで、mapperのタイミングを正解とする。Rankedのタイミングは人の目でチェックされているので、手に入る中で最良の基準です — それでも一人の人間のタイミングであることに変わりはなく、対象はRankedになる音楽に限られます。
• 外部の比較対象は一つだけ。私たちが実行した他の手法はMapperatorinatorだけです。osu!向けに作られていないビートトラッカーはベンチマークしておらず、それらについては何も主張しません。
• 評価対象はタイミングで、譜面ではありません。このベンチマークが評価するのはタイミンググリッドだけで、生成された譜面の良し悪しは評価していません。
• 公開中の設定に近いものの、同一ではありません。本番の検出器は、ここで測定したものと細部が異なります。

タイミングの今後

目立つ点は三つあります。テンポが一定の曲で残っている誤りは、主に位相ではなくテンポの問題です。最も厳しい許容範囲では、まだ精度を上げる余地があります。そして最大の未解決問題は、このベンチマークでは答えられないものです：本当にテンポが変わる曲を、私たちのものも含めた各手法がどう扱うか。それが今後のベンチマークで埋めるべき空白です。

タイミングが実際に何を意味するのかを知りたい方は、osu!のBPMとタイミング解説で基本を、テクノロジーページでパイプライン全体の中でのタイミングの位置づけを確認できます。そして一番手っ取り早いテストは、よく知っている曲で試してみることです。