AI beatmap 타이밍은 얼마나 정확할까? ManiaGAI vs Mapperatorinator

플레이어는 beatmap의 웬만한 부분은 너그럽게 넘어갑니다. 하지만 타이밍만은 용납하지 않습니다. 노트가 비트에서 몇 밀리초만 어긋나 있어도, 패턴이 아무리 좋아도 첫 마디부터 어색하게 느껴집니다. 그래서 AI 매퍼는 노트를 하나라도 놓기 전에, 사람 매퍼가 귀로 판단하는 두 가지 질문에 답해야 합니다. 이 곡의 BPM은 얼마인가, 그리고 비트는 정확히 어디에 떨어지는가?

이 글은 ManiaGAI가 이 질문에 얼마나 잘 답하는지에 관한 이야기입니다. 평가할 수 있는 모든 Ranked osu! mania 곡에 ManiaGAI의 타이밍 감지를 돌리고, 그 결과를 mapper가 직접 작성한 타이밍과 비교했습니다. ManiaGAI v1, 그리고 오픈소스 Mapperatorinator와 나란히 놓고요. 요약하면, 플레이어가 실제로 느끼는 허용 오차에서는 ManiaGAI v2가 가장 많은 곡을 맞히고, 가장 엄격한 허용 오차에서는 Mapperatorinator가 더 정밀하며, 이 벤치마크로는 답할 수 없는 질문도 분명히 남아 있습니다. 자세한 내용은 아래에 있습니다.

무엇을 측정했나

자동 타이밍은 mapper가 에디터에서 만드는 것과 같은 결과를 내야 합니다. 즉 BPM과 오프셋을 타이밍 라인으로 작성하는 것입니다. 템포가 일정한 곡이라면 라인은 하나입니다. 그래서 테스트 세트는 mapper가 정확히 한 개의 라인으로 타이밍을 잡은 모든 Ranked 또는 Approved osu! mania mapset입니다. 배속 편집 팩과 중복 mapset을 제외하면 2,507개 mapset입니다. 세 방법 모두가 결과를 낸 곡은 그중 2,501곡이며, 아래의 모든 수치는 이 2,501곡을 기준으로 합니다.

세 가지 방법은 다음과 같습니다.

• ManiaGAI v2 — 버전 2(2026년 10월 1일)부터 ManiaGAI에 쓰이는 타이밍 감지입니다. 오픈소스 Beat This 모델의 비트 활성화값을 자체 피팅 방식으로 타이밍 그리드로 바꿉니다. 벤치마크에서는 실제 배포된 설정과 비슷하지만 완전히 같지는 않은 설정을 사용했습니다.
• ManiaGAI v1 — 버전 2 이전에 사이트에서 쓰던 감지기입니다.
• Mapperatorinator — OliBomby의 오픈소스 AI 매퍼의 타이밍 모드를 공개된 그대로 실행했습니다. 저희가 벤치마크한 유일한 오픈소스 타이밍 비교 대상입니다.

감지된 BPM이 mapper의 BPM과 일치하고(85 BPM이든 170 BPM이든 똑같이 채보를 만들 수 있으므로 절반 또는 두 배 템포도 허용), 동시에 비트 위상이 mapper의 위상과 허용 오차 안에 들어오면 그 곡은 정답으로 칩니다. 허용 오차는 10 ms부터 40 ms까지 네 가지로 보고합니다.

결과

2,501곡 중 비율. “BPM 정답”은 절반/두 배 템포를 허용합니다. “타이밍 라인 1개” = 그 곡의 mapper처럼 라인 하나로 타이밍을 잡았다는 뜻입니다.

어느 방법이 앞서는지는 허용 오차에 따라 달라지며, 이것이 이 표에서 가장 많은 것을 알려 주는 부분입니다. 10 ms에서는 Mapperatorinator가 앞섭니다. 20 ms부터는 ManiaGAI v2가 앞섭니다. 40 ms에서 ManiaGAI v2는 97.1%의 곡을 맞혔고, Mapperatorinator는 91.7%, ManiaGAI v1은 90.7%였습니다.

왜 40 ms를 대표 수치로 삼았나

엄격한 허용 오차는 정밀도를 재고, 느슨한 허용 오차는 타이밍이 쓸 만한지를 잽니다. 40 ms를 대표 수치로 고른 것은 청취 검사 때문입니다. 10 ms 기준에서 오답으로 분류된 31곡 중 30곡은 실제로 들어 보니 타이밍이 맞게 들렸습니다. 10–40 ms의 오차는 실재하고 표에도 그대로 나와 있습니다. 하지만 그 정도 크기라면 BPM과 비트는 맞은 것이고, 채보가 비트에 맞게 플레이되는지는 바로 그것이 결정합니다.

곡 단위로 보기

비율만으로는 각 방법이 어떤 곡을 맞혔는지 알 수 없습니다. 두 방법 중 정확히 한쪽만 맞힌 곡을 세어 보면 다음과 같습니다.

• 40 ms에서 ManiaGAI v2는 맞히고 Mapperatorinator는 틀린 곡이 187곡, 그 반대가 51곡이었습니다. 둘 다 맞힌 곡은 2,242곡, 둘 다 틀린 곡은 21곡입니다.
• 20 ms에서는 차이가 훨씬 좁아집니다. 187곡 대 153곡입니다.
• 40 ms에서 이전 버전과 비교하면, ManiaGAI v2가 190곡에서 이기고 30곡에서 졌습니다.

Mapperatorinator가 더 나은 부분

Mapperatorinator는 템포를 맞혔을 때 비트를 더 정밀하게 놓습니다.

• 10 ms 이내에서 78.0%의 곡을 맞혀, ManiaGAI v2의 71.4%보다 높습니다.
• 비트 위상 오차도 더 작습니다. 중앙값이 5.0 ms로, ManiaGAI v2의 5.8 ms보다 작습니다.

ManiaGAI가 더 나은 부분

ManiaGAI v2는 템포를 더 자주 맞히고(절반/두 배 허용 시 98.0% 대 92.6%), 잘못된 템포 변화 문제가 훨씬 적습니다. 이 세트의 모든 곡은 템포가 일정하므로, 타이밍 라인이 하나라도 더 있으면 음악에 없는 템포 변화가 생긴 것입니다. 채보에서는 곡 중간에 비트 그리드가 갑자기 밀리는 것을 뜻합니다.

• ManiaGAI v2는 2,501곡 모두를 라인 하나로 타이밍했습니다.
• ManiaGAI v1은 181곡(7.2%)에서 라인을 추가했습니다.
• Mapperatorinator는 2,226곡(89.0%)에서 라인을 추가했습니다. 곡당 중앙값 6개, 평균 7.9개입니다.

여기에는 맥락이 필요합니다. Mapperatorinator는 곡의 템포가 하나라고 가정하지 않으며, 실제로 템포가 바뀌는 곡에서는 라인을 여러 개 쓰는 것이 올바른 동작입니다. 이 벤치마크에는 템포가 일정한 곡만 있으므로, 그 설계의 비용은 보여 줄 수 있어도 이점은 보여 줄 수 없습니다.

한계에 얼마나 가까운가?

40 ms에서 16곡(0.6%)은 세 방법 모두 틀렸습니다. 곡마다 세 방법 중 최선을 골라 주는 완벽한 심판이 있다 해도 99.4%에 그칩니다. 따라서 ManiaGAI v2의 97.1%와 그 한계 사이의 거리는 작습니다. 그 16곡 중 ManiaGAI v2의 템포 오류가 12곡, 위상 오류가 4곡이었습니다.

이 벤치마크가 알려 주지 않는 것

• 홀드아웃 테스트가 아닙니다. 그중 344곡은 ManiaGAI v2 감지기를 튜닝하는 동안 사용된 곡입니다. 이것이 결과를 부풀렸는지 확인했습니다. 40 ms에서 ManiaGAI v2는 그 곡들에서 97.1%, 한 번도 보지 않은 2,157곡에서 97.1%를 기록했고, 10 ms에서는 70.3% 대 71.5%였습니다. 튜닝이 일반화되지 않는 정확도를 만들어 내지는 않았습니다. 하지만 깨끗한 홀드아웃 세트가 있다면 더 강력한 증거가 될 것입니다.
• 템포가 일정한 곡만 포함합니다. 템포가 바뀌는 곡은 어떤 방법에게나 더 어렵고, 여기에는 포함되지 않았습니다. ManiaGAI v2가 학습한 데이터에서는 채보의 15.8%가 곡 중간에 템포가 바뀝니다.
• Ranked 맵만, mapper를 정답으로 삼았습니다. Ranked 타이밍은 사람이 검수하므로 구할 수 있는 최선의 기준입니다. 하지만 여전히 한 사람의 타이밍이며, 대상은 Ranked가 되는 음악에 한정됩니다.
• 외부 비교 대상은 하나뿐입니다. 저희가 함께 돌린 다른 방법은 Mapperatorinator뿐입니다. osu!용으로 만들어지지 않은 비트 트래커는 벤치마크하지 않았으며, 그에 대해서는 어떤 주장도 하지 않습니다.
• 채보가 아니라 타이밍입니다. 이 벤치마크는 타이밍 그리드만 평가하며, 생성된 채보의 품질은 평가하지 않습니다.
• 배포된 설정과 비슷하지만 동일하지는 않습니다. 운영 중인 감지기는 여기서 측정한 구성과 세부 사항이 다릅니다.

타이밍의 다음 단계

세 가지가 눈에 띕니다. 템포가 일정한 곡에서 남은 오류는 대부분 위상이 아니라 템포의 문제입니다. 가장 엄격한 허용 오차에서는 아직 정밀도를 끌어올릴 여지가 있습니다. 그리고 가장 큰 미해결 질문은 이 벤치마크로 답할 수 없는 것입니다. 저희를 포함한 모든 방법이 템포가 실제로 바뀌는 곡을 어떻게 처리하는가. 다음 벤치마크가 메워야 할 공백이 바로 그것입니다.

타이밍이 실제로 어떤 의미인지 알고 싶다면 osu!의 BPM과 타이밍 설명에서 기본을 다루고, 기술 페이지에서 전체 파이프라인 속 타이밍의 위치를 볼 수 있습니다. 가장 빠른 테스트는 잘 아는 곡을 직접 넣어 보는 것입니다.