俺の、俺の、俺の歌を聴け。5フレームだけでいい。 -BPM解析システムを援用した高速ボーカル抽出プラグイン作成への挑戦-

タグ：

日時：

2013年08月21日(水)13時30分〜14時30分

形式： セッション（60分）

受講スキル：

・デジタル波形処理(オーディオパイプライン)に、深い知見のあるオーディオプログラマー<br />・外部音楽に合わせたプロシージャルなゲームを、作りたいと思っているデザイナー

受講者が得られるであろう知見:

・任意の曲から、BPMの推定・音ゲー基本要素の自動生成・ボーカル成分の抽出などを行う手法。<br />・ボーカル抽出における、高次波形解析に関する実装手法・応用例。

セッションの内容

・任意の歌入りの曲から、リアルタイムでボーカル成分を、効率よくきれいに抽出し、
採点機能付きカラオケを作るための基本要素を自動生成するプラグインを制作することを試みた。
・L-R法は除去はできるが抽出はできない。カラオケトラック援用法は素材がない場合は不可能等、現行の方法には問題がある。
・騒がしい曲でも、歌声だけは、はっきり聞こえてくるが、これは歌声が、「耳に心地よい=識別しやすい」音であると考えられる。
・この感覚的な概念を、定量化するため、複素空間調和振動解析(CVS-HA)という方法を考案した。
・具体的には、左右のチャンネルの波形をdftしたときに出力され、通常は捨てられる位相情報に着目した。
・ただ位相情報だけでは、分離性能が十分ではないので、BPM解析で得られたシンクロ情報を援用した。
・その結果、楽曲によって程度の差こそあれ、比較的きれいにボーカルと非ボーカル成分を分離抽出することができた。
・ただ残念ながら採点機能付きカラオケの教師データとして使用するためには、まだ精度が足りない状況である。
・2つに分離されたデータに、さらに効果的なフィルター処理を追加して、カラオケ教師データの自動生成や、
音楽を演奏しただけで、ゲーム中のキャラクターが口パクするなど、全く新しい演出ができるよう研究を続ける。

C13_52.pdf

※資料のダウンロードにはログインが必要です。

増野宏之

所属： 株式会社CRI・ミドルウェア

役職： エンターテインメント事業推進室<br>室長

・広島大学理学研究科化学専攻修了
・大学在学中の1986年より、コトブキシステム→コンパイル→ズーム→サイクロンゼロ→アークシステムワークスを経て、2013年4月よりCRI・ミドルウェアに勤務。
・CEDEC2011,2012にて、リアルタイムBPM解析法/ダンスシーケンス自動生成法に関して講演。
・CEDEC AWARDS 2012にてリアルタイムBPM解析法が優秀賞を受賞。

25年にわたり、ゲーム制作現場側で仕事をしておりましたが、
このたび、音と映像のミドルウェア提供という、新しいお仕事をさせていただくことになりました！
音楽と英語がわかるプログラマーとして、日々勉強の毎日です。

《講師からのメッセージ》

一昨年・昨年に続き、外部音楽を利用した音楽ゲームの基本要素の自動生成/分析手法に関して、講演させていただけることを、大変光栄に思っております。
もともと非常にニッチな分野だった、「ユーザーの任意の音楽を利用した音楽ゲーム」ですが、
最近はこの手法が国内外で、だんだんと注目されるようになってきており、個人的に非常に嬉しく思っております。
私の研究は、上記の仕組みを利用した大変魅力的なコンテンツを制作する上での、「イロハのイ」になることだと思っております。

私のような業界歴四半世紀を超えた40代後半の業界人は、自分のもつゲームならではの技術を、
可能な限り分かりやすく皆さんにお伝えし、後進への礎となることこそが、これからの使命だと思っております。
大変つたない講演とはなりますが、精一杯がんばりますので、是非一度ご聴講いただければ幸いです。