機械学習によるリップシンクアニメーション自動生成技術とFINAL FANTASY VII REMAKEのアセットを訓練データとした実装実例
受講スキル
・音声やアニメーションに関する機械学習に携わる開発者、研究者 （畳み込みネットワークやResNetといったニューラルネットワークの基礎知識があるとより理解が深まります。） ・機械学習技術をMayaなどのDCCツールに組み込むことを考えている開発者 ・機械学習技術をプロジェクト内でどう運用・実装するか悩んでいる開発者
受講者が得られるであろう知見
・音声のみの入力からリップシンクアニメーションを自動で生成するために必要な機械学習技術についての知見 ・機械学習技術とMayaツールとの連携についての知見 ・機械学習を含む技術をプロジェクトに導入できるように実装した際の知見
セッションの内容
本セッションでは、音声データの入力のみから機械学習を用いて、音声に合わせたキャラクタのリップシンクアニメーションを自動生成する技術Lip-Sync MLについて説明します。本技術では音声学習モデルとリグ学習モデルという2つの学習モデルを組み合わせた機械学習により、リップシンクアニメーションの自動生成を実現しております。
本技術で自動生成されるリップシンクアニメーションや、システムの構成、用いられている機械学習技術を具体的に説明します。また、FINAL FANTASY VII REMAKEのアセットを訓練データに使用し、プロジェクトに導入できる形にするために必要だった準備や実装についても説明します。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2019年に新卒で株式会社スクウェア・エニックスに入社。自動リップシンクアニメーション生成ツールを中心に、コンテンツ作成を効率化するためのMaya用内製ツールやUnreal Engine, Unity用プラグインの開発、サポートに従事。
今回の機械学習によるリップシンクアニメーション自動生成技術では、学習データの抽出やクリーンアップ、アニメーション生成に使用するMaya用ツールとUnreal Engine用プラグインの開発を担当。
《講演者からのメッセージ》
機械学習技術を用いて、音声のみからリップシンクアニメーションを生成することで、音声とセリフテキストの両方が必要だった従来のシステムでは難しかったアドリブボイスや呼吸音への対応もできるようになり、作業効率や品質が向上されました。改善された自動生成結果を動画でお見せできればと思います。
また、自分からはMaya用ツールと機械学習技術を組み合わせるために、どのようなシステム、データの流れを採用したかを中心にお話ししようと思います。Mayaを含めたDCCツールと機械学習技術を連携させる際のヒントになれば幸いです。
プロフィール
スペインでコンピューターサイエンスを勉強、専攻は人工知能。
並列および分散コンピューティングの修士号と、AI, パターン認識, デジタル画像の修士号を取得しました。
2010年にGoogleに入社して、Chrome, Android, Google Research, Google Xで働きました。
Google Cardboardのテクニカルリード、 Google VRの創設者。
2017年にスクウェア・エニックスに入社して、ゲーム開発向けの機械学習適用を研究しています。
FINAL FANTASY VII REMAKE 自動QAシステムのアーキテクト。
《講演者からのメッセージ》
私のパートでは機械学習モデルの詳細を説明します。
畳み込みネットワークやResNetといったニューラルネットワークの基礎知識があるとより理解が深まります。
私のパートでは英語で話し、日本語字幕が入ります。ご了承いただけますようお願いいたします。
プロフィール
2017年に株式会社スクウェア・エニックスに入社。 FINAL FANTASY VII REMAKE ではランタイムアニメーション制御を中心に、各種ツール開発、アーティスト作業環境整備、テクノロジー推進部が提供する技術の導入等を担当。
【CEDEC2020】『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術
《講演者からのメッセージ》
CEDEC2020 にてフェイシャルのプロシージャル技術に関して講演しましたが、今回はそこから発展した最新の取り組みについてお話させて頂きます。また、フェイシャルに関係しない方でも「新しい技術を大規模プロジェクトに組み込むにあたってどのようなパイプラインを組めば移行しやすいのか」という点については一例として参考になるところもあると思います。
プロフィール
2000年にスクウェアに入社。キングダムハーツシリーズ、FFⅦ アドベントチルドレン、クライシス コア -FFⅦ-、The 3rd Birthday、FF零式、ライトニング リターンズ FFXⅢ 、ドラッグ オン ドラグーン3、FFXVの開発に参加し FINAL FANTASY VII REMAKE のフェイシャルディレクターとしてキャラクターの表情全般を担当。
FFXVのキャラクターセットアップに関するセミナーにてフェイシャルパートを担当。
https://spark.adobe.com/page/qT5lDllZ9BwdL/
CEDEC2020の『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術にてフェイシャルパートを担当。
https://cedec.cesa.or.jp/2020/session/detail/s5e58c8811bc98.html
《講演者からのメッセージ》
FINAL FANTASY VII REMAKE で使用した音声解析による自動リップシンクの問題点をどのように機械学習によって改善されたのかを共有できたらと思います。
共同研究・開発者
今村 紀之（株式会社スクウェア・エニックス）
岩渕 栄太郎（株式会社スクウェア・エニックス）