Учёные Университета прикладных наук итальянской Швейцарии, Института исследований искусственного интеллекта Далле Молле и Миланского технического университета представили Robot Drummer, который демонстрирует 90% точности ритма в сложных композициях. Робот-барабанщик открывает возможности участия роботов-музыкантов в живых выступлениях в будущем, считает научная группа.
Команда во главе с Асадом Али Шахидом создала систему машинного обучения, позволяющую гуманоидному роботу играть целевые песни на ударной установке. Учёные протестировали систему симуляции на человекоподобном роботе G1 от Unitree. Музыку преобразовали в «ритмическую контактную цепь» — точно рассчитанную последовательность ударов по барабанам.
Робот практиковался в виртуальной среде, чтобы отточить свою технику игры.
Шахид объяснил, что ключевая идея работы заключалась в преобразовании каждого музыкального произведения в цепочку точно выверенных по времени контактных событий. Эти сигналы подсказывали роботу, когда и по каким элементам установки нужно ударить.
Со временем робот развил поведение, похожее на человеческое, такое как смена палочек, игра со скрещёнными руками и оптимизация движений по всему комплекту барабанов. Тесты охватывали жанры от джаза до рока и металла, включая композиции In the End от Linkin Park, Living on a Prayer от Bon Jovi и Take Five от Дэйва Брубека.
Robot Drummer научился планировать предстоящие удары и переназначать палочки на ходу, поделился Шахид. Он полагает, что работа предложит основу для обучения точным навыкам ритма в далёких от музыки областях.
Теперь исследователи планируют перенести навыки Robot Drummer с симуляции на реальное оборудование. Кроме того, они намерены добавить импровизацию, чтобы робот адаптироваться к музыкальным подсказкам, реагируя на них в режиме реального времени, как живой барабанщик.
Автор: Travis_Macrif
