続！ニューラルネットワークを用いた音声信号によるリップシンク（口パク生成）技術
受講スキル
・AI技術を用いたデジタル信号処理に興味のあるサウンドプログラマー ・より自然なキーフレームアニメーションデータを作成したいテクニカルアーティスト、アニメーター
受講者が得られるであろう知見
・時系列的な音響イベントの効果的な検出方法 ・解析的なアプローチによる自然なアニメーションデータの生成方法
セッションの内容
CEDEC2019ではニューラルネットワークを用いた口の動きを推定する手法をご紹介しました。
本セッションではその後の研究において得られた2つの成果について紹介します。
・子音など短いフレームで発生する音響イベントの検出
・音韻情報をリップシンクアニメーションへ変換するための解析的なアプローチ
これらのリップシンクのための手法について、デモンストレーションを交えながら解説します。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2018年 株式会社CRI･ミドルウェアへ入社。
入社後は汎用ゲームエンジン向けのプラグイン開発に携わる。近年は、音響モデルの研究や有機的なアニメーションのモデル化等の業務に従事。
CEDECの登壇は3回目。趣味はギターと推し活(担当が卒業)。
《講演者からのメッセージ》
LLMを代表としたAI技術が時代の流れを作っている一方で、ヴァーチャルキャラクターを可愛く、美しく見せるためのリップシンク技術はまだまだ前例が少ないです。
本セッションで得られる知見が、信号処理とニューラルネットワークと可愛さの橋渡しとなれればさいわいです。
プロフィール
2021年 株式会社CRI･ミドルウェアへ入社。
汎用ゲームエンジン向けのプラグイン開発や音声信号処理関連の業務に従事。
並行して音響モデル出力を利用したアニメーション生成手法の研究に携わる。
趣味は作曲と沼津旅行。
《講演者からのメッセージ》
キーフレームアニメーションの編集では、補間カーブを細かく調整して動きを作る方法が一般的ですが、意図した動きを直感的に与えることは必ずしも容易ではありません。
そこで本講演では、音声信号処理の考え方をアニメーション補間に応用し、動きの速さや細かさをより直感的に表現する手法を紹介します。
本セッションの内容が、ゲーム、映像作品、生配信などでキャラクターをより生き生きと動かすためのヒントになれば幸いです。