フーリエ変換は2のべき乗が速いといったな、あれは嘘だ。 -Constant-Q変換を用いた楽譜情報の抽出とゲームへの応用法について-

タグ：

日時：

2020年09月02日(水)11時00分〜12時00分

形式： レギュラーセッション(60分)

受講スキル：

・デジタル信号処理に興味のあるプログラマー・高速フーリエ変換(FFT)を用いた楽曲解析に、限界を感じている方々・「楽曲解析」や「自動楽譜生成」などの興味のある、すべての方々

受講者が得られるであろう知見:

・楽曲と音程および調波構造の解析に特化した、フーリエ変換ではない、新しい波形解析方法(Constant-Q変換)に関する基礎知識・Constant-Q変換をゲームに実装するための、具体的な実装方法と、特にマルチコア時代に向けた高速化手法。・解析された和音および付帯の楽譜情報を、ゲームに適用するための実装方法。

セッションの内容

・楽曲から主旋律を取り出す方法として、多数のフィルターを適用したAMDF法を、過去のCEDECで提案した。
・しかし単音しか解析できないAMDF法の欠点が災いして、解析できない曲が多い。
・FFT法は計算負荷が高く、必要のない無駄なデータが多く、大きな遅延も発生する。
・そこでフーリエ変換(DFT)の原点に立ち返り、無駄の少ない、効率的な変換方法がないかを模索した。
・Constant-Q変換(CQT)という方法で解析を試みたところ、従来の方法に比べ、非常に明瞭な解析結果を得た。
・高速化、レイテンシーの一定化、高域での解像度不足の解消、といった手法も確立した。
・さらにクロマベクトル解析の導入を行うことで、和音解析も明瞭に行えるようになった。
・今回開発したCQTは、各周波数ビンの計算が完全に独立であるため、コア数だけ高速化が可能である。
・実際のゲームへの実装例を含め、解説を行う。

CEDEC2020-Presentation-C.pdf

※資料のダウンロードにはログインが必要です。

増野宏之

所属： 株式会社CRI・ミドルウェア

部署： 事業開発室

役職： 室長

・大学在学中の1986年から複数のゲーム制作会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・過去の会社を含め、作曲、プログラム、マネージャー、ディレクター、技術営業、海外渉外、契約実務、販社業務など、あらゆる業務を経験。
・CEDEC AWARDS 2012で、自身のリアルタイムBPM解析手法が優秀賞を受賞。
・BPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表。
・現在も、毎月新しい機能を実装し、アプリを更新中。

FORTRAN77とグローバル変数と、なにより楽曲解析とお酒をこよなく愛する、55歳のオヤジ開発者。

《講演者からのメッセージ》
今回は、Constant-Q変換(CQT)という新しい楽曲解析の手法をご紹介します。
動作原理・実装方法・高速化・ゲームへの応用方法など、細かいアルゴリズムも含めて解説します。
既存のFFT解析に限界を感じている方、効率の良い耳コピツールを探しておられる方、
和音解析に関するアルゴリズムを研究されている方、
さらには、リアルタイムの楽曲解析結果を使ってゲームを制作したい方々など、お役に立てればと思います。
今年のCEDECはオンライン開催ですので、是非お気軽にご参加いただければ。