今夏リリースのリアルタイムリップシンクミドルウェアをデモを交えながらご紹介します。
2D、3D問わず地道な作業が必要となるリップシンク対応。
キャラクターをより魅力的に見せる口パク対応を
音声からの解析で効率化しませんか？
前身の口パク生成ミドルウェア「CRI Clipper」ではオフラインでの解析のみでしたが、
新しいリップシンクミドルウェアでは言語に依存せず、
2D3D双方に対応したリアルタイムでの音声解析技術を実現しています。
オーディオミドルウェア「CRI ADX2」を利用したことがない方には勿論のこと、
プログラマやサウンドの方だけでなく、プランナー、グラフィックデザイナーの方にも
お役立ていただける技術となっています。
講演者プロフィール
上田 賢次郎
2013 年 早稲田大学 基幹理工学部 情報理工学科卒業
2015 年 早稲田大学大学院 基幹理工学研究科 情報理工学専攻卒業
同年 株式会社CRI・ミドルウェアに入社
大学・大学院在学中、統計的音声認識の研究を行う。入社後は「CRI 機械学習部」を立ち上げ勉強会を開催するなど、機械学習の布教に努める。近年では、口パク解析ミドルウェア「Clipper」の次世代版となる新製品の研究開発を行っている。
《講演者からのメッセージ》
近年目覚ましい成果を上げているニューラルネットワークですが、音声認識分野への適用については未だ様々な課題が残されています。中でも、口パクを解析するというタスクは前例が少なく、世の中にもノウハウがありません。私たちが数年間の研究で培ったノウハウを共有することで、音声認識分野の技術の発展の一助になれば幸いです。
柴田 修作
CRI・ミドルウェア入社後、ゲーム機/スマートフォン向けミドルウェアの開発・サポートに従事。
Android端末向けの「サウンド再生遅延推測機能」の開発に携わる。
現在は主にUE4プラグインの開発サポートを担当。
《講演者からのメッセージ》
キャラクターに命を吹き込んで魅力的に見せるためには、様々な工夫が必要です。そのひとつが、ボイスに合わせてキャラクターの口を自然に変形させる「リップシンク」でしょう。これをびっくりするほど簡単に実現するのが、今回紹介するゲーム向けリップシンクミドルウェアです。ゲーム開発をただ効率化するだけではない、この新たな CRIWARE が生む驚きと楽しさを皆さんに紹介できれば嬉しいです。
