情感まで写し取る楽譜転写エンジンの開発とゲームへの応用法

タグ：

日時：

2019年09月04日(水)11時20分〜12時20分

形式： レギュラーセッション(60分)

受講スキル：

・デジタル信号処理に興味のあるプログラマー・既存の音楽ゲームに、「何か魅力的な一手」を加えたいと思っているプランナー・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々

受講者が得られるであろう知見:

・音程認識を歌声に適用したときの注意点や、音声抽出のやり方。・単純な楽譜生成だけではなく、強弱記号・装飾記号・発想記号などを、いかにして生成するのかという、実践的な実装方法。・生成された楽譜および付帯の情感情報を、ゲームに適用するための実装方法。

セッションの内容

・CEDEC2018で提案した「音程認識」を歌声に適用し、既存の歌声分離機能と結びつけ、「歌唱楽譜のリアルタイムに出力」を目指したが、結果は、無秩序な信号の並びだった。
・この信号に、人間の歌声の特性を利用した、強力な補正を行うことにより、秩序ある歌唱楽譜が出力されるようになった。
・これを情感楽譜転写エンジン(eMUTE)(Emotional MUsic Transcription Engine)と呼ぶ。
・このエンジンに搭載された数々の波形解析プロセッサーを利用すれば、単なる音符情報に加え、強弱・装飾・表現記号も生成することが可能である。
・またファイル単位に加え、ストリーム音楽の解析も可能である。
・今回は歌声に特化した歌唱音程抽出の技法の詳細と、情感転写に関する理論的な説明を行う。
・さらに出力された譜面と情感情報を、ゲームへ適用する方法に関し、ソースコードとデモを交えて解説する。

CEDEC2019-Presentation.zip

※資料のダウンロードにはログインが必要です。

増野宏之

所属： 株式会社 CRI・ミドルウェア

部署： 事業開発室

役職： 室長

・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・過去のBPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。

FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、54歳のオヤジ開発者。

《講演者からのメッセージ》
今年は、CEDEC 2018で講演した高速な「音程認識技術」を歌入りの楽曲に応用し、「歌入りの曲からメロディ部分の譜面が出力される」という技術に関して解説します。人の歌声に特化したフィルタリング手法や、強弱,装飾,表現記号を生成するための各種プロセッサーの理論説明のほか、出力された譜面と情感情報を、ゲームへどう適用するのか、ということに関して、ソースとデモを交えて解説します。ぜひご期待ください。