2019年に新卒で株式会社スクウェア・エニックスに入社。自動リップシンクアニメーション生成ツールを中心に、コンテンツ作成を効率化するためのMaya用内製ツールやUnreal Engine, Unity用プラグインの開発、サポートに従事。
今回の機械学習によるリップシンクアニメーション自動生成技術では、学習データの抽出やクリーンアップ、アニメーション生成に使用するMaya用ツールとUnreal Engine用プラグインの開発を担当。

《講演者からのメッセージ》
機械学習技術を用いて、音声のみからリップシンクアニメーションを生成することで、音声とセリフテキストの両方が必要だった従来のシステムでは難しかったアドリブボイスや呼吸音への対応もできるようになり、作業効率や品質が向上されました。改善された自動生成結果を動画でお見せできればと思います。

また、自分からはMaya用ツールと機械学習技術を組み合わせるために、どのようなシステム、データの流れを採用したかを中心にお話ししようと思います。Mayaを含めたDCCツールと機械学習技術を連携させる際のヒントになれば幸いです。

スペインでコンピューターサイエンスを勉強、専攻は人工知能。
並列および分散コンピューティングの修士号と、AI, パターン認識, デジタル画像の修士号を取得しました。
2010年にGoogleに入社して、Chrome, Android, Google Research, Google Xで働きました。
Google Cardboardのテクニカルリード、 Google VRの創設者。
2017年にスクウェア・エニックスに入社して、ゲーム開発向けの機械学習適用を研究しています。
FINAL FANTASY VII REMAKE 自動QAシステムのアーキテクト。

《講演者からのメッセージ》
私のパートでは機械学習モデルの詳細を説明します。
畳み込みネットワークやResNetといったニューラルネットワークの基礎知識があるとより理解が深まります。

私のパートでは英語で話し、日本語字幕が入ります。ご了承いただけますようお願いいたします。

2017年に株式会社スクウェア・エニックスに入社。 FINAL FANTASY VII REMAKE ではランタイムアニメーション制御を中心に、各種ツール開発、アーティスト作業環境整備、テクノロジー推進部が提供する技術の導入等を担当。

【CEDEC2020】『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術

《講演者からのメッセージ》
CEDEC2020 にてフェイシャルのプロシージャル技術に関して講演しましたが、今回はそこから発展した最新の取り組みについてお話させて頂きます。また、フェイシャルに関係しない方でも「新しい技術を大規模プロジェクトに組み込むにあたってどのようなパイプラインを組めば移行しやすいのか」という点については一例として参考になるところもあると思います。

2000年にスクウェアに入社。キングダムハーツシリーズ、FFⅦ アドベントチルドレン、クライシス コア -FFⅦ-、The 3rd Birthday、FF零式、ライトニング リターンズ FFXⅢ 、ドラッグ オン ドラグーン3、FFXVの開発に参加し FINAL FANTASY VII REMAKE のフェイシャルディレクターとしてキャラクターの表情全般を担当。
FFXVのキャラクターセットアップに関するセミナーにてフェイシャルパートを担当。
https://spark.adobe.com/page/qT5lDllZ9BwdL/
CEDEC2020の『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術にてフェイシャルパートを担当。
https://cedec.cesa.or.jp/2020/session/detail/s5e58c8811bc98.html

《講演者からのメッセージ》
FINAL FANTASY VII REMAKE　で使用した音声解析による自動リップシンクの問題点をどのように機械学習によって改善されたのかを共有できたらと思います。