音樂指揮軌跡之機器學習─以Kinect為例

Machine Learning of Music Conducting Track - implement in KINECT

林羽靖(Yu-Ching Lin)

指導教授 ： 侯永昌

淡江大學/商管學院/資訊管理學系碩士班/碩士(2014年)

https://doi.org/10.6846/TKU.2014.00866

摘要

樂器的演奏形式，是從一開始的一人獨奏，漸漸地演變成多人合奏的龐大規模，使得樂隊成員們在合奏出一首音樂曲目時，因而變得困難，此時，開始有一種專業的音樂藝術家出現，我們稱作音樂指揮家。透過樂隊成員們的服從，音樂指揮家將樂隊成員們的獨奏紛紛連結起來，形成一個具有整體性的音樂作品來呈現給台下的聽眾。
音樂指揮家必須對演奏的音樂曲目有一定的認識與了解，才有可能演奏出一部完整的音樂作品。指揮家的職責主要是給定演奏音樂曲目的節奏，並且協調樂隊中的多個聲部來達到一個整體。聽眾也能藉由演奏的成果來感受到樂隊與音樂指揮家對於其演奏的音樂曲目的詮釋。有鑑於此，本文的研究正是希望能給予一般人一個機會，來體驗與享受身為一個音樂指揮家的經驗與樂趣。
本研究擬建構一個音樂指揮軌跡之機器學習的系統，讓一般人有一個機會，來體驗與享受身為一個音樂指揮家的經驗與樂趣。藉由Kinect來抓取音樂指揮家的動作資訊，系統會透過機器學習的方式來學習與預測音樂指揮家的指揮手勢，並且使用midi-dot-net 這套開放原始碼來編寫音樂曲目，並且進行音樂播放的控制。

關鍵字

人機介面 ； Kinect ； 機器學習 ； 模板辨識

並列摘要

Playing in the form of musical instruments, from the beginning of one solo, gradually evolved into more than the sheer size of the ensemble, thus, making the ensemble of a music track becomes difficult, at this time, a role of the professional music artist began to appeared, we called music conductor. Through obedience of band members, music conductor links their solos together to form a integral music to be presented to the audiences.
Music conductor must have a lot of knowledge and understanding of the music tracks which the band will play , and then they would be possible to play out a complete piece of music. The main responsibilities of the conductor is given rhythm playing music tracks, and coordination of multiple parts orchestra to reach a whole. Listeners also can know the interpretation of music tracks of them. For this reason, we hope to give ordinary people a chance to experience and enjoy being a music conductor and fun experience.
This study intends to build a music conductor track of machine learning system that allows the average person to have a chance to experience and enjoy as a music conductor and fun experience. With Kinect to capture music conductor action, information system can through machine learning approach to learning and prediction commanding of gesture of music conductor, and we write music tracks to control music playback with midi-dot-net which is a set of open source.

並列關鍵字

Human Computer Interface ； Kinect ； Machine Learning ； Template Recognition

參考文獻

張哲瑋. (2013). 運用色塊追蹤與分析辨識人體動作. 淡江大學資訊工程學系碩士班學位論文,

劉品如, 裴駿, & 孫天龍. (2013). 以 kinect 為基礎之遠距虛擬替身互動技術開發高齡者關懷平台. 福祉科技與服務管理學刊, 1(2), 57-71.

蘇木春, & 林紘毅. (2013). 一種簡易之動作辨識系統及其於 [全肢體反應] 英語教學互動系統之應用. 前瞻科技與管理, 3(2), 15-27.

黃識夫. (2011). 應用 kinect 之人體多姿態辨識. 中央大學電機工程學系學位論文, , 1-90.

Body, Human Action Recognition Using Human. (2011). 結合馬可夫模型以人體簽章辨識人體動作.