반응형
매사추세츠 공과 대학(MIT)의 컴퓨터 과학 인공 지능 연구소 (Computer Science and Artificial Intelligence Laboratory, CSAIL)는 음악을 연주하는 동영상에서 특정 악기의 소리를 분리하는 인공 지능 (AI) 시스템 'PixelPlayer'를 개발 했습니다.
이 시스템을 사용하여 동영상의 특정 악기의 연주자를 클릭하면 그 악기의 소리만을 뽑아서 들려주게 됩니다.
'PixelPlayer'는 영화에 비쳐있는 악기를 픽셀 수준으로 식별하고 그 악기에 연결된 소리를 추출 할 수 있습니다. 인간이 추가로 조작하지 않고도 영상과 음악을 동시에 분석,동기화 하고 연주하고있는 사람과 음성을 연계시켜 동영상을 클릭하는 것만으로 특정 악기의 소리만을 흘리거나 악기 마다 음량을 조절할 수있게되었습니다.
실제로 PixelPlayer을 사용 모습은 다음의 동영상에서 볼 수 있습니다.
해당 홈페이지에서는 PixelPlayer 의 Interactive Demo 를 보여줍니다.
Interactive Demo의 왼쪽에서는 실제 연주음악을 오른쪽에서는 동영상에서 마우스로 선택된 악기의 사운드만을 들려줍니다만 아직 모바일에서는 제대로 구현은 되지 않는거 같습니다.
관련 홈페이지
The Sound of Pixels