Наша история
От исследовательского проекта до ИИ-генераторов beatmap для двух режимов osu! — за четыре месяца. У каждой песни должна быть своя beatmap.
Проблема
Вы находите любимую песню, ищете для неё beatmap — а нужной карты нет. Песню никто не замапил, или карта есть только в другом режиме, с другим числом клавиш или на сложности, далёкой от вашей. Ручной маппинг занимает часы на каждую сложность, и никакое сообщество не сможет замапить каждую песню для каждого игрока.
Видение: каждая песня заслуживает beatmap
DanceGAI существует, чтобы нужная вам карта могла появиться, даже если её никто не сделал: любая песня — в играбельный beatmap для osu! в выбранном вами режиме и на выбранных сложностях.
Почему ИИ
Модель, обученная на работах тысяч маперов, создаёт первую играбельную карту за секунды. Она не заменяет маперов — опытный мапер всё ещё сделает карту лучше, и если отличная карта уже есть, играйте её. ИИ нужен для песен и сложностей, у которых иначе не было бы карты вовсе.
Как мы это строим
- Играбельно, а не просто правдоподобно. Верный тайминг, осмысленные паттерны и звёздность, измеренная алгоритмом osu!.
- Честно об ИИ. Каждая карта помечена как созданная с помощью ИИ, и мы публикуем, как работает система и где она ещё не справляется.
- Решает игрок. Режим, число клавиш, сложности и стиль выбираете вы.
- Достаточно быстро, чтобы играть. Целый mapset за секунды — попробовать другую сложность или стиль легко.
Все принципы — в разделе «Наша миссия».
Вехи
Моменты, которые сформировали DanceGAI. Все отдельные изменения — в истории изменений.
Начало исследований
DanceGAI начался как исследовательский проект Project Rhythm: может ли модель научиться маппить osu! mania так, как это делают люди, — не транскрибируя аудио, а решая, какие ощущения должна давать карта? Первые недели ушли на основы: как описывать паттерны карты, как представить её так, чтобы модель могла на ней учиться, и на каких данных учиться.
Запуск dancegai.com
Первый пайплайн генерации был заморожен, и в тот же день заработал dancegai.com с основным циклом: загрузить песню, сгенерировать на облачном GPU, скачать играбельный .osz. Сыро, но по-настоящему — любой мог превратить песню в карту.
Одна песня — целый mapset
Вместо одной карты за раз одна генерация стала давать полный набор сложностей, каждая названа по своему измеренному звёздному рейтингу, — а полноценный генератор открылся для посетителей без входа в аккаунт.
ManiaGAI v2
1 октября версия 2 заменила в продакшене весь пайплайн. Тайминг верен на 97,1% песен нашего бенчмарка (было 90,7%), а полный mapset теперь занимает около 20 секунд работы GPU — обычно 13–25 секунд, в зависимости от песни и запрошенных сложностей, — вместо минуты и больше. Ваше аудио подготавливается прямо в браузере, пока вы выбираете настройки, GPU-воркеры запускаются из снапшота примерно за секунду, а возможности генератора расширились: от 4K до 9K, любой выбор звёздных рейтингов и настройки стиля. Как всё это работает, объясняется на странице о технологии.
DanceGAI на 15 языках
3 октября весь сайт — генератор, гайды и все страницы — стал доступен на 15 языках. У каждого языка свой адрес, например dancegai.com/ja, а меню языка вверху каждой страницы переключает язык, оставляя вас на той же странице.
Общий доступ и публичная галерея
Теперь игроки сами решают, кто видит каждый mapset: приватный, по ссылке или публичный. Публичные карты собираются в Галерее — в виде беззвучного предпросмотра, чтобы сама песня никогда не публиковалась, — а их чарты хранятся навсегда. В тот же день повторные генерации стали стартовать быстрее, а модель нот перешла на новейшую версию.
ManiaGAI v2.1
Через неделю после версии 2 вышла ManiaGAI v2.1 — значительный рост качества: обе модели существенно улучшены. Теперь каждый чарт помечен версией, которая его создала, и Галерея это показывает. За два дня до этого карты в Галерее стало можно играть с песней и скачивать в течение недели после генерации.
OsuGAI v1 Beta — osu! standard
DanceGAI стал платформой для нескольких режимов. OsuGAI, генератор для osu! standard, открылся в бете — со своей страницей, своими настройками стиля и фоновыми изображениями, а главная страница теперь представляет оба режима на примере одной и той же Flower Dance, замапленной каждым из них. Он честно говорит, что это бета: карты часто получаются сложнее цели, а формы некоторых слайдеров грубоваты.
Долгосрочное видение
У каждой песни должна быть своя beatmap — в каждом режиме osu!. ManiaGAI v2 — это фундамент, а OsuGAI v1 — наш первый шаг за пределы osu! mania; следующие этапы — улучшенный OsuGAI (более точная сложность, более аккуратные слайдеры, обучение на игре людей), больше контроля над редактированием и два оставшихся режима: TaikoGAI для osu! taiko и CatchGAI для osu! catch. Первая часть контроля над редактированием уже проходит внутреннее тестирование: редактор карт, в котором можно выделить не понравившийся фрагмент чарта и перегенерировать с помощью ИИ только его — или отредактировать ноты самостоятельно и сразу протестировать результат в игре.
О том, куда мы движемся и почему, читайте в нашей миссии.