イカすビジュアライザー天国 -音楽と同期したイケてる映像表現とその設計手法-
受講スキル
・デジタル波形処理に、興味のあるオーディオプログラマー。 ・ゲーム中のBGMや音声に同期した効果的な演出を、作りたいと思っているデザイナー。 ・従来とは一味違った、音楽とのインタラクティブなゲーム性を模索しているプランナー。
受講者が得られるであろう知見
・主要プラットフォームやゲームエンジンにおける、ゲーム中の音声波形の取得方法とゲームへの実装手法。 ・レベルメーターやスペクトラムアナライザーのような、基本的な波形解析情報の具体的な計算方法。 ・上記で得られた情報を、「より人間の感覚に合うように」加工する、具体的なアルゴリズムの詳細。 ・音楽プレイヤーで用いられる、音楽に合わせた幾何学模様「ビジュアライザー」の具体的な演出手法の詳細。 ・より高度な波形解析をもとにした、新しい画面演出とその設計手法の詳細。
セッションの内容
ギガバイト単位の記憶領域を搭載するようになった次世代機やPC、残念ながらその膨大な資源は、もっぱら映像表現にのみ使われている。
サウンド由来の演出の進化は、1～2世代前のXbox360やPS3などから歩みを止めたままである。
例えば、ゲーム中の「味方からの映像音声入電」の演出でも、レベルメーターを模した装飾が音声に合わせて動くことはなく、ほとんどは無関係な光の明滅にすぎない。
そこで、今一度レベルメーターやスペクトラムアナライザーのような波形解析の基礎と「人間の見た目で本物っぽく見せる」手法について解説しようと考えた。
「人間の聴感」と「機器の特性」を考慮した「測定値の適切な加工とそれを映像として表現する方法」、に関する体系的な資料はほとんどない。
今回は「ビジュアライザー」を例に、いままで「秘伝のタレ」でもある、効果的な「それっぽい音楽演出のやり方」を、ソースコード例も含め余すところなく解説する。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
・広島大学理学研究科化学専攻修了
・大学在学中の1986年より、コトブキシステム→コンパイル→ズーム→サイクロンゼロ→アークシステムワークスを経て、2013年4月よりCRI・ミドルウェアに勤務。
・CEDEC2011,2012,2013,2014にて、リアルタイムBPM解析手法/ダンスシーケンス自動生成手法/新しいボーカル抽出削除手法に関して講演。
・CEDEC AWARDS 2012にて自身のリアルタイムBPM解析手法が優秀賞を受賞。
天命を知ったはずの50歳のオヤジですが、音楽と英語がわかるプログラマーとして、まだまだ現場一直線で毎日バリバリプログラムを組んでいます。
《講演者からのメッセージ》
過去4年、自身のBPM解析に関する講演をさせていただいておりましたが、今年は少し志向を変えて、音楽と映像を適切に同期させる技法に関して、PC等のメディアプレイヤーに搭載されている「ビジュアライザー」を題材に講演させていただきます。
レベルメーターやスペクトラムアナライザーを画面上に表示する場合、その元になる波形解析情報を何も加工せずに表示に反映すると、人間の目には、非常に不自然な動きになってしまいます。
この、「人間の目に、いかにもそれっぽく見える数値の加工方法」は、長らく、個々のオーディオプログラマーの「秘伝のタレ」として、公開されてきませんでした。
この「秘伝のタレ」を、具体的なデモを多用しながら、余すところなく解説していきます。
さらに今回は、通常のセッションに加え、インタラクティブ展示も行いますので、セッションで用いたデモを、実際に触っていただき、楽曲に同期した演出を、体験していただくことも可能です。
大変つたない講演と実演になりますが、精一杯がんばりますので、是非一度ご聴講いただければ幸いです。