情感まで写し取る楽譜転写エンジンの開発とゲームへの応用法
受講スキル
・デジタル信号処理に興味のあるプログラマー ・既存の音楽ゲームに、「何か魅力的な一手」を加えたいと思っているプランナー ・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々
受講者が得られるであろう知見
・音程認識を歌声に適用したときの注意点や、音声抽出のやり方。 ・単純な楽譜生成だけではなく、強弱記号・装飾記号・発想記号などを、いかにして生成するのかという、実践的な実装方法。 ・生成された楽譜および付帯の情感情報を、ゲームに適用するための実装方法。
セッションの内容
・CEDEC2018で提案した「音程認識」を歌声に適用し、既存の歌声分離機能と結びつけ、「歌唱楽譜のリアルタイムに出力」を目指したが、結果は、無秩序な信号の並びだった。
・この信号に、人間の歌声の特性を利用した、強力な補正を行うことにより、秩序ある歌唱楽譜が出力されるようになった。
・これを情感楽譜転写エンジン(eMUTE)(Emotional MUsic Transcription Engine)と呼ぶ。
・このエンジンに搭載された数々の波形解析プロセッサーを利用すれば、単なる音符情報に加え、強弱・装飾・表現記号も生成することが可能である。
・またファイル単位に加え、ストリーム音楽の解析も可能である。
・今回は歌声に特化した歌唱音程抽出の技法の詳細と、情感転写に関する理論的な説明を行う。
・さらに出力された譜面と情感情報を、ゲームへ適用する方法に関し、ソースコードとデモを交えて解説する。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・過去のBPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。
FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、54歳のオヤジ開発者。
《講演者からのメッセージ》
今年は、CEDEC 2018で講演した高速な「音程認識技術」を歌入りの楽曲に応用し、「歌入りの曲からメロディ部分の譜面が出力される」という技術に関して解説します。人の歌声に特化したフィルタリング手法や、強弱,装飾,表現記号を生成するための各種プロセッサーの理論説明のほか、出力された譜面と情感情報を、ゲームへどう適用するのか、ということに関して、ソースとデモを交えて解説します。ぜひご期待ください。