동영상에서 특정 악기의 소리만을 뽑아내는 기술 - PixelPlayer
NEWS/IT 뉴스2018. 7. 10. 07:56
매사추세츠 공과 대학(MIT)의 컴퓨터 과학 인공 지능 연구소 (Computer Science and Artificial Intelligence Laboratory, CSAIL)는 음악을 연주하는 동영상에서 특정 악기의 소리를 분리하는 인공 지능 (AI) 시스템 'PixelPlayer'를 개발 했습니다.
이 시스템을 사용하여 동영상의 특정 악기의 연주자를 클릭하면 그 악기의 소리만을 뽑아서 들려주게 됩니다.
'PixelPlayer'는 영화에 비쳐있는 악기를 픽셀 수준으로 식별하고 그 악기에 연결된 소리를 추출 할 수 있습니다. 인간이 추가로 조작하지 않고도 영상과 음악을 동시에 분석,동기화 하고 연주하고있는 사람과 음성을 연계시켜 동영상을 클릭하는 것만으로 특정 악기의 소리만을 흘리거나 악기 마다 음량을 조절할 수있게되었습니다.
실제로 PixelPlayer을 사용 모습은 다음의 동영상에서 볼 수 있습니다.
해당 홈페이지에서는 PixelPlayer 의 Interactive Demo 를 보여줍니다.
Interactive Demo의 왼쪽에서는 실제 연주음악을 오른쪽에서는 동영상에서 마우스로 선택된 악기의 사운드만을 들려줍니다만 아직 모바일에서는 제대로 구현은 되지 않는거 같습니다.
관련 홈페이지
The Sound of Pixels
http://sound-of-pixels.csail.mit.edu/
'NEWS > IT 뉴스' 카테고리의 다른 글
| 윈도우 10, 1903 빌드에서 기본앱 제거 가능 (1) | 2018.10.20 |
|---|---|
| 윈도우 10, 델타 업데이트 종료 (0) | 2018.07.19 |
| 스카이프 8.0 공개 (1) | 2018.07.17 |
| 동영상에서 특정 악기의 소리만을 뽑아내는 기술 - PixelPlayer (0) | 2018.07.10 |
| 네오지오(NEO·GEO) mini 게임기 출시 발표 (2) | 2018.05.11 |
| 2018 스팀 여름세일 6월에 실시 (0) | 2018.05.11 |
| 윈도우10 업데이트 (RS4 1803) 뭐가 달라졌나? (0) | 2018.05.03 |
| 이륙하는 비행기들의 합성사진 (0) | 2018.04.28 |
댓글()
