Yapay Zekâ Beatmap Timing’i Ne Kadar Doğru? ManiaGAI ve Mapperatorinator

Oyuncular bir beatmap’te pek çok şeyi affeder. Timing’i affetmezler. Notaları vuruştan birkaç milisaniye kayık duran bir chart, pattern’leri ne kadar iyi olursa olsun ilk ölçüden itibaren yanlış hissettirir — bu yüzden bir yapay zekâ mapper’ı tek bir nota koymadan önce, insan bir mapper’ın kulakla cevapladığı iki soruyu cevaplamak zorundadır: şarkının BPM’i ne ve vuruş tam olarak nereye düşüyor?

Bu yazı, ManiaGAI’ın bu sorulara ne kadar iyi cevap verdiğini anlatıyor. Timing algılamasını değerlendirebildiğimiz tüm ranked osu! mania şarkılarında çalıştırdık ve sonucu mapper’ın yazdığı timing ile karşılaştırdık — ManiaGAI v1’in ve açık kaynaklı Mapperatorinator’ın yanında. Kısaca: oyuncuların gerçekten duyduğu toleransta en çok şarkıyı ManiaGAI v2 doğru buluyor, en dar toleransta Mapperatorinator daha hassas ve benchmark bazı soruları gerçekten açık bırakıyor. Ayrıntılar aşağıda.

Neyi ölçtük

Otomatik timing, bir mapper’ın editörde ürettiğini üretmek zorundadır: timing çizgileri olarak yazılmış bir BPM ve bir offset. Tek ve sabit bir tempoya sahip bir şarkı için bu, tek bir çizgi demektir. Bu yüzden test seti, mapper’ının şarkıyı tam olarak tek bir çizgiyle zamanladığı tüm ranked ya da approved osu! mania mapset’lerinden oluşuyor — rate-edit paketleri ve kopya mapset’ler çıkarıldıktan sonra 2.507 mapset. Üç yöntemin üçü de bunların 2.501 tanesinde sonuç üretti ve aşağıdaki her sayı bu 2.501 şarkı üzerinden.

Üç yöntem:

• ManiaGAI v2 — 2. sürümden (1 Ekim 2026) bu yana ManiaGAI’ın arkasındaki timing algılaması: açık kaynaklı Beat This modelinden gelen vuruş aktivasyonları, kendi fitting yöntemimizle bir timing ızgarasına dönüştürülüyor. Benchmark, yayına çıkana yakın ama onunla birebir aynı olmayan bir yapılandırmayla çalıştırıldı.
• ManiaGAI v1 — sitenin 2. sürümden önce kullandığı algılayıcı.
• Mapperatorinator — OliBomby’nin açık kaynaklı yapay zekâ mapper’ının timing modu, yayımlandığı haliyle çalıştırıldı. Benchmark’ladığımız tek açık kaynaklı timing referansı bu.

Bir şarkı, algılanan BPM mapper’ınkiyle eşleştiğinde — yarım ya da çift tempo da kabul ediliyor, çünkü 85 ya da 170 BPM ile zamanlanmış bir şarkı birebir aynı şekilde chart’lanabilir — ve vuruş fazı mapper’ınkine belirli bir tolerans içinde oturduğunda doğru sayılıyor. 10 ms’den 40 ms’ye dört tolerans raporluyoruz.

Sonuçlar

2.501 şarkı içindeki pay. “BPM doğru” yarım/çift tempoya izin verir. “Tek timing çizgisi” = şarkı, mapper’ının yaptığı gibi tek bir çizgiyle zamanlandı.

Hangi yöntemin önde olduğu toleransa bağlı ve tablodaki en öğretici şey de bu. 10 ms’de Mapperatorinator önde. 20 ms’den itibaren ManiaGAI v2. 40 ms’de ManiaGAI v2 şarkıların %97,1’inde doğru; Mapperatorinator’da bu oran %91,7, ManiaGAI v1’de %90,7.

Neden manşet sayısı 40 ms

Dar bir tolerans hassasiyeti ölçer; daha geniş bir tolerans ise timing’in kullanılabilir olup olmadığını. Manşet olarak 40 ms’yi bir dinleme kontrolü yüzünden seçiyoruz: 10 ms kriterinin yanlış saydığı 31 şarkıdan 30 tanesi çalındığında doğru zamanlanmış gibi duyuldu. 10–40 ms’lik hatalar gerçektir ve tablo onları raporlar — ama bu büyüklükte BPM ve vuruş doğrudur ve bir chart’ın vuruşa oturarak oynanıp oynanmadığına karar veren de budur.

Şarkı şarkı

Yüzdeler, her yöntemin hangi şarkıları doğru bulduğunu gizler. İki yöntemden yalnızca birinin doğru olduğu şarkıları sayarsak:

• 40 ms’de ManiaGAI v2, Mapperatorinator’ın yanıldığı 187 şarkıda doğruydu; tersi 51 şarkıda oldu. 2.242 şarkıda ikisi de doğruydu; 21 şarkıda ikisi de yanıldı.
• 20 ms’de fark çok daha az: 187 şarkıya karşı 153.
• 40 ms’de kendi selefine karşı ManiaGAI v2 190 şarkı kazandı, 30 şarkı kaybetti.

Mapperatorinator’ın daha iyi olduğu yerler

Mapperatorinator, tempoyu doğru bulduğunda vuruşu daha hassas yerleştiriyor:

• 10 ms içinde şarkıların %78,0’ında doğru; ManiaGAI v2’de bu oran %71,4.
• Vuruş fazı hatası daha küçük: medyan 5,0 ms’ye karşı 5,8 ms.

ManiaGAI’ın daha iyi olduğu yerler

ManiaGAI v2 tempoyu daha sık doğru buluyor (yarım/çift tempo kabul edildiğinde %92,6’ya karşı %98,0) ve sahte tempo değişimleri konusunda çok daha küçük bir sorunu var. Bu setteki her şarkının tek ve sabit bir temposu var; dolayısıyla fazladan her timing çizgisi müzikte olmayan bir tempo değişimidir — bir chart’ta da şarkının ortasında vuruş ızgarasının aniden kayması anlamına gelir.

• ManiaGAI v2, 2.501 şarkının tamamını tek bir çizgiyle zamanladı.
• ManiaGAI v1, 181 şarkıda (%7,2) çizgi ekledi.
• Mapperatorinator 2.226 şarkıda (%89,0) çizgi ekledi — şarkı başına medyan 6, ortalama 7,9 çizgi.

Bunun bir bağlamı var: Mapperatorinator bir şarkının tek bir tempoya sahip olduğunu varsaymaz ve temposu gerçekten değişen şarkılarda birkaç çizgi yazmak doğru davranıştır. Bu benchmark yalnızca sabit tempolu şarkılar içerdiği için o tasarımın faydasını değil, yalnızca maliyetini gösterebiliyor.

Tavana ne kadar yakın?

40 ms’de 16 şarkı (%0,6) üç yöntemin üçünü de alt etti. Her şarkı için üçünün en iyisini seçen kusursuz bir hakem bile %99,4’te kalırdı — yani ManiaGAI v2’nin %97,1’i ile o tavan arasındaki mesafe küçük. Bu 16 şarkının 12 tanesi ManiaGAI v2 için tempo hatası, 4 tanesi faz hatasıydı.

Bu benchmark’ın sana söylemedikleri

• Ayrılmış (held-out) bir test değil. Şarkıların 344 tanesi, ManiaGAI v2 algılayıcısı ayarlanırken kullanılmıştı. Bunun sonucu şişirip şişirmediğini kontrol ettik: 40 ms’de ManiaGAI v2 bu şarkılarda %97,1, hiç görmediği 2.157 şarkıda %97,1 skor alıyor; 10 ms’de %71,5’e karşı %70,3. Ayarlama, genellenemeyen bir doğruluk satın almadı — ama temiz bir held-out set daha güçlü bir kanıt olurdu.
• Yalnızca sabit tempolu şarkılar. Temposu değişen şarkılar her yöntem için daha zordur ve burada yer almıyorlar. ManiaGAI v2’nin öğrendiği verilerde chart’ların %15,8’inde tempo şarkının ortasında değişiyor.
• Yalnızca ranked map’ler ve doğru cevap olarak mapper. Ranked timing insanlar tarafından kontrol edilir; bu da onu elimizdeki en iyi referans yapar — ama yine de bir kişinin timing’idir ve popülasyon, ranked olan müziklerden oluşur.
• Tek bir dış referans. Çalıştırdığımız diğer tek yöntem Mapperatorinator. osu! için yapılmamış beat tracker’ları benchmark’lamadık ve onlar hakkında hiçbir iddiada bulunmuyoruz.
• Timing, chart’lar değil. Benchmark üretilen chart’ların ne kadar iyi olduğunu değil, yalnızca timing ızgarasını puanlıyor.
• Yayındaki yapılandırmaya yakın, birebir aynı değil. Üretimdeki algılayıcı, burada ölçülen koldan ayrıntılarda farklıdır.

Timing’de sırada ne var

Üç şey öne çıkıyor. Sabit tempolu şarkılarda kalan hatalar çoğunlukla fazla değil, tempoyla ilgili. En dar toleransta hâlâ kazanılacak hassasiyet var. Ve en büyük açık soru, bu benchmark’ın cevaplayamadığı soru: her yöntemin — bizimki dahil — temposu gerçekten değişen şarkılarla nasıl başa çıktığı. Gelecekteki bir benchmark’ın kapatması gereken boşluk bu.

Timing’in pratikte ne anlama geldiğini görmek istersen, osu!’da BPM ve timing’in açıklaması temelleri anlatıyor, Teknoloji sayfası timing’in tüm sürecin neresinde durduğunu gösteriyor ve en hızlı test, iyi bildiğin bir şarkı.