Научные сотрудники Вашингтонского университета в США использовали машинное обучение для создания системы Audeo, которая способна играть на пианино.
Американские ученые рассказали, что созданный ими алгоритм умеет воссоздавать музыку, используя лишь визуальные сигналы. Для этого он использовал видео без звука, снятое сверху над клавишами. Серия экспериментов показала, что система для распознавания музыки способна идентифицировать мелодии с точностью в 86%. Данный показатель, по мнению экспертов, можно повысить, однако для этого алгоритму придется больше «тренироваться».
ИИ следует определенному порядку действия, декодируя происходящее на видео, а затем переводя все это в музыку. Также система способна запоминать дополнительную информацию, среди которой, например, сила нажатия на клавишу. Эти данные ИИ тоже использует для воссоздания мелодии.
