フーリエ変換は2のべき乗が速いといったな、あれは嘘だ。 -Constant-Q変換を用いた楽譜情報の抽出とゲームへの応用法について-
受講スキル
・デジタル信号処理に興味のあるプログラマー ・高速フーリエ変換(FFT)を用いた楽曲解析に、限界を感じている方々 ・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々
受講者が得られるであろう知見
・楽曲と音程および調波構造の解析に特化した、フーリエ変換ではない、新しい波形解析方法(Constant-Q変換)に関する基礎知識 ・Constant-Q変換をゲームに実装するための、具体的な実装方法と、特にマルチコア時代に向けた高速化手法。 ・解析された和音および付帯の楽譜情報を、ゲームに適用するための実装方法。
セッションの内容
・楽曲から主旋律を取り出す方法として、多数のフィルターを適用したAMDF法を、過去のCEDECで提案した。
・しかし単音しか解析できないAMDF法の欠点が災いして、解析できない曲が多い。
・FFT法は計算負荷が高く、必要のない無駄なデータが多く、大きな遅延も発生する。
・そこでフーリエ変換(DFT)の原点に立ち返り、無駄の少ない、効率的な変換方法がないかを模索した。
・Constant-Q変換(CQT)という方法で解析を試みたところ、従来の方法に比べ、非常に明瞭な解析結果を得た。
・高速化、レイテンシーの一定化、高域での解像度不足の解消、といった手法も確立した。
・さらにクロマベクトル解析の導入を行うことで、和音解析も明瞭に行えるようになった。
・今回開発したCQTは、各周波数ビンの計算が完全に独立であるため、コア数だけ高速化が可能である。
・実際のゲームへの実装例を含め、解説を行う。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・BPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。
FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、55歳のオヤジ開発者。
《講演者からのメッセージ》
今回は、Constant-Q変換(CQT)という新しい楽曲解析の手法をご紹介します。
動作原理・実装方法・高速化・ゲームへの応用方法など、細かいアルゴリズムも含めて解説します。
既存のFFT解析に限界を感じている方、効率の良い耳コピツールを探しておられる方、
和音解析に関するアルゴリズムを研究されている方、
さらには、リアルタイムの楽曲解析結果を使ってゲームを制作したい方々など、お役に立てればと思います。
今年のCEDECはオンライン開催ですので、是非お気軽にご参加いただければ。