Logiciel

09 juillet 2018 07:15; Act: 09.07.2018 07:15 Print

Isoler chaque instrument de la vidéo d'un orchestre

Des chercheurs du MIT ont développé une intelligence artificielle utilisant autant le son que l’image.

Une faute?

Pas besoin d’utiliser un équaliseur pour entendre distinctement les basses ou un instrument de musique spécifique dans un clip vidéo. Des chercheurs du Massachusetts Institute of Technology (MIT) ont trouvé une meilleure solution. Baptisé PixelPlayer, ce système d’intelligence artificielle est en mesure d’isoler des instruments de musique du reste d’un orchestre en analysant l’audio et l’image.

En pratique, pour l’utilisateur, il suffit simplement de cliquer sur la partie de la vidéo où apparaît une guitare ou un violon, par exemple, pour écouter uniquement l’un des instruments, comme le montre une démonstration publiée sur YouTube.

Formé avec seulement 60 heures de performances musicales, PixelPlayer ne reconnaît qu’une vingtaine d’instruments. «Nous avons été surpris de pouvoir localiser dans l’espace les instruments au niveau du pixel. Etre capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l’audio d’instruments individuels en un seul clic sur la vidéo», explique l’un des chercheurs.

Ceux-ci entendent aussi améliorer la qualité sonore du système. Il rappelle une intelligence artificielle de Google qui avait réussi à isoler la voix d’une personne dans une foule.

(man)