Seberapa Akurat Timing Beatmap Buatan AI? ManiaGAI vs Mapperatorinator

Pemain bisa memaafkan banyak hal dari sebuah beatmap. Tapi tidak dengan timing. Chart yang not-notnya meleset beberapa milidetik dari ketukan sudah terasa salah sejak birama pertama, sebagus apa pun polanya — jadi sebelum mapper AI bisa menaruh satu not pun, ia harus menjawab dua pertanyaan yang dijawab mapper manusia dengan telinganya: berapa BPM lagunya, dan di mana tepatnya ketukan jatuh?

Tulisan ini membahas seberapa baik ManiaGAI menjawabnya. Kami menjalankan deteksi timing-nya pada setiap lagu osu! mania ranked yang bisa kami evaluasi dan membandingkan hasilnya dengan timing yang ditulis mapper-nya — berdampingan dengan ManiaGAI v1 dan Mapperatorinator yang open-source. Versi singkatnya: ManiaGAI v2 paling banyak benar pada toleransi yang benar-benar terdengar oleh pemain, Mapperatorinator lebih presisi pada toleransi paling ketat, dan benchmark ini masih menyisakan pertanyaan yang sungguh terbuka. Detailnya ada di bawah.

Apa yang diukur

Timing otomatis harus menghasilkan hal yang dihasilkan mapper di editor: BPM dan offset, ditulis sebagai timing line. Untuk lagu dengan satu tempo yang stabil, itu berarti satu line. Jadi set pengujiannya adalah setiap mapset osu! mania ranked atau approved yang lagunya di-timing oleh mapper-nya dengan tepat satu line — 2.507 mapset, setelah membuang paket rate-edit dan mapset duplikat. Ketiga metode menghasilkan hasil pada 2.501 di antaranya, dan setiap angka di bawah dihitung dari 2.501 lagu tersebut.

Tiga metodenya:

• ManiaGAI v2 — deteksi timing di balik ManiaGAI sejak versi 2 (1 Oktober 2026): aktivasi ketukan dari model open-source Beat This, diubah menjadi grid timing oleh metode fitting buatan kami sendiri. Benchmark ini memakai konfigurasi yang mendekati, tapi tidak identik dengan, versi yang dirilis.
• ManiaGAI v1 — detektor yang dipakai situs ini sebelum versi 2.
• Mapperatorinator — mode timing dari mapper AI open-source buatan OliBomby, dijalankan apa adanya sesuai rilisnya. Ini satu-satunya baseline timing open-source yang kami uji.

Sebuah lagu dihitung benar jika BPM yang terdeteksi cocok dengan milik mapper — setengah atau dua kali tempo diperbolehkan, karena lagu yang di-timing di 85 atau 170 BPM bisa di-chart dengan cara yang sama persis — dan fase ketukannya jatuh dalam batas toleransi dari milik mapper. Kami melaporkan empat toleransi, dari 10 sampai 40 ms.

Hasilnya

Persentase dari 2.501 lagu. “BPM benar” memperbolehkan setengah/dua kali tempo. “Satu timing line” = lagu di-timing dengan satu line saja, seperti yang dilakukan mapper-nya.

Metode mana yang unggul bergantung pada toleransinya, dan itulah hal paling informatif di tabel ini. Di 10 ms, Mapperatorinator di depan. Mulai 20 ms, ManiaGAI v2 yang unggul. Di 40 ms, ManiaGAI v2 benar pada 97,1% lagu, dibandingkan 91,7% untuk Mapperatorinator dan 90,7% untuk ManiaGAI v1.

Kenapa 40 ms jadi angka utama

Toleransi yang ketat mengukur presisi; toleransi yang lebih longgar mengukur apakah timing-nya bisa dipakai. Kami memilih 40 ms sebagai angka utama karena sebuah pengecekan dengan mendengarkan langsung: dari 31 lagu yang ditandai salah oleh kriteria 10 ms, 30 terdengar sudah ter-timing dengan benar saat dimainkan. Error sebesar 10–40 ms itu nyata, dan tabel melaporkannya — tapi pada ukuran itu BPM dan ketukannya sudah benar, dan itulah yang menentukan apakah sebuah chart dimainkan pas di ketukan.

Lagu per lagu

Persentase menyembunyikan lagu mana yang dijawab benar oleh tiap metode. Dengan menghitung lagu yang hanya dijawab benar oleh salah satu dari dua metode:

• Di 40 ms, ManiaGAI v2 benar sementara Mapperatorinator salah pada 187 lagu, dan kebalikannya terjadi pada 51. Keduanya benar pada 2.242; keduanya salah pada 21.
• Di 20 ms selisihnya jauh lebih tipis: 187 lagu berbanding 153.
• Melawan pendahulunya sendiri di 40 ms, ManiaGAI v2 menang di 190 lagu dan kalah di 30.

Di mana Mapperatorinator lebih baik

Mapperatorinator menempatkan ketukan dengan lebih presisi saat tempo-nya benar:

• Dalam 10 ms, ia benar pada 78,0% lagu, dibandingkan 71,4% untuk ManiaGAI v2.
• Error fase ketukannya lebih kecil: median 5,0 ms dibandingkan 5,8 ms.

Di mana ManiaGAI lebih baik

ManiaGAI v2 lebih sering menebak tempo dengan benar (98,0% dibandingkan 92,6%, dengan setengah/dua kali tempo diperbolehkan), dan masalahnya dengan perubahan tempo palsu jauh lebih kecil. Setiap lagu di set ini punya satu tempo yang stabil, jadi setiap timing line tambahan adalah perubahan tempo yang tidak ada di musiknya — dan di dalam chart, itu berarti grid ketukan tiba-tiba bergeser di tengah lagu.

• ManiaGAI v2 men-timing seluruh 2.501 lagu dengan satu line.
• ManiaGAI v1 menambahkan line pada 181 lagu (7,2%).
• Mapperatorinator menambahkan line pada 2.226 lagu (89,0%) — median 6 line dan rata-rata 7,9 per lagu.

Itu perlu konteks: Mapperatorinator tidak mengasumsikan sebuah lagu hanya punya satu tempo, dan pada lagu yang memang berubah tempo, menulis beberapa line adalah perilaku yang tepat. Benchmark ini hanya berisi lagu bertempo stabil, jadi ia bisa menunjukkan harga dari desain itu, bukan manfaatnya.

Seberapa dekat dengan batas atas?

Di 40 ms, 16 lagu (0,6%) mengalahkan ketiga metode. Bahkan juri sempurna yang memilih hasil terbaik dari ketiganya untuk setiap lagu hanya akan mencapai 99,4% — jadi jarak antara 97,1% milik ManiaGAI v2 dan batas atas itu kecil. Dari 16 lagu tersebut, 12 adalah error tempo bagi ManiaGAI v2 dan 4 adalah error fase.

Apa yang tidak bisa disimpulkan dari benchmark ini

• Ini bukan uji held-out. 344 dari lagu-lagu ini pernah dipakai saat detektor ManiaGAI v2 sedang di-tuning. Kami memeriksa apakah itu menggelembungkan hasilnya: di 40 ms, ManiaGAI v2 mencetak 97,1% pada lagu-lagu itu dan 97,1% pada 2.157 lagu yang belum pernah dilihatnya; di 10 ms, 70,3% dibandingkan 71,5%. Tuning itu tidak menghasilkan akurasi semu yang gagal digeneralisasi — tapi set held-out yang bersih akan menjadi bukti yang lebih kuat.
• Hanya lagu bertempo stabil. Lagu yang berubah tempo lebih sulit bagi setiap metode, dan lagu seperti itu tidak ada di sini. Dalam data yang dipelajari ManiaGAI v2, 15,8% chart berubah tempo di tengah lagu.
• Hanya map ranked, dengan mapper sebagai acuan kebenaran. Timing map ranked diperiksa oleh manusia, sehingga menjadikannya referensi terbaik yang tersedia — tapi itu tetap timing dari satu orang, dan populasinya adalah musik yang berhasil di-rank.
• Satu baseline eksternal. Mapperatorinator adalah satu-satunya metode lain yang kami jalankan. Kami belum menguji beat tracker yang tidak dibuat untuk osu!, dan kami tidak mengklaim apa pun tentangnya.
• Timing, bukan chart. Benchmark ini hanya menilai grid timing, bukan seberapa bagus chart yang dihasilkan.
• Mendekati konfigurasi yang dirilis, tapi tidak identik. Detektor di produksi berbeda dalam beberapa detail dari versi yang diukur di sini.

Langkah berikutnya untuk timing

Ada tiga hal yang menonjol. Error yang tersisa pada lagu bertempo stabil sebagian besar soal tempo, bukan fase. Pada toleransi paling ketat, masih ada presisi yang bisa ditingkatkan. Dan pertanyaan terbuka terbesar justru yang tidak bisa dijawab benchmark ini: bagaimana setiap metode — termasuk milik kami — menangani lagu yang tempo-nya benar-benar berubah. Itulah celah yang harus ditutup oleh benchmark berikutnya.

Kalau kamu ingin melihat arti timing dalam praktik, penjelasan BPM dan timing di osu! membahas dasar-dasarnya, halaman Teknologi menunjukkan posisi timing di seluruh pipeline, dan cara tercepat untuk mengujinya adalah dengan lagu yang kamu kenal baik.