近年、機械学習や深層学習などのAI研究領域の発展で、ゲームの製作においても大きく効率化や高品質化できる領域が増えてきました。
ゲーム制作では、アセット制作に関していうとテクスチャやレンダリング結果の超解像、オーディオに対する処理など様々な分野でプロダクションに活用されるものが出てきました。
株式会社バンダイナムコ研究所では、株式会社ACESと2021年度モーションキャプチャで収録したデータを対象にAIによるモーションのスタイル変換の研究開発を行いました。
モーションのスタイル変換とは、収録したモーションデータに対してAIによって、スタイル（感情やスタイル、性別や年齢などの属性）を適用し新たなバリエーションを生み出す手法です。AIによるモーションデータのバリエーション生成はゲーム開発の効率化の他にたくさんのキャラクターやアバターが登場するメタバースなどに向けたアニメーション生成にも寄与すると考えます。
AIによるゲーム開発のアセット生成というのは、単純労働を置き換えるタイプのAI開発と違い、出来上がるものの品質が高くないといけない、自社のプロダクションのパイプラインに組み込めるか？など困難が多いタスクです。さらにデータセットの構築についてもどのようにおこなったか紹介していきます。
本セッションではモーションキャプチャデータを活用した機械学習R&Dプロジェクト行う際のプロジェクト立案、開発、ゲームの開発会社が、モーションキャプチャのデータをデータセットとして整備し、機械学習プロジェクトを行う一通りの流れの話をしていきます。ゲーム開発における、AI R&DはエンジニアだけのR&Dプロジェクトではなく、複数の職種にまたがった横断的な技術研究であるということもお話したいと思います。
本セッションで紹介するモーションキャプチャのデータセットに関してはGitHubにて公開を行います。モーションキャプチャの実施には設備や予算がかかり、モーションデータに対する機械学習研究への活用は敷居が高いですが、公開するデータセットは研究用途であれば利用できますのでセッション後のチャレンジができます。
講演者プロフィール
髙橋 誠史
2009年、北陸先端科学技術大学院大学博士後期課程単位取得退学後、株式会社バンダイナムコゲームス入社。株式会社バンダイナムコスタジオより分社化した株式会社バンダイナムコ研究所所属。
バンダイナムコ研究所では、グラフィックス、AIといった先端技術研究を行う先端技術部のマネージャーを務める。
R&Dチームのマネジメントやバンダイナムコ研究所のR&Dプロジェクトのディレクションや「ミライ小町」プロジェクトの3Dデータなどのテクニカルディレクションを担当。
本プロジェクトでは、研究開発のプロデューサーとしてゲームの開発会社にあるモーションデータを研究対象としたAIプロジェクトを株式会社ACES様と取り組んでいます。
《講演者からのメッセージ》
モーションキャプチャのデータはキャラクターアニメーションを実現するためのもっとも基本となる
データでゲーム会社では多くの収録を行っているかと思います。
今回はそのアセットを題材にAI研究を行ったポストモーテムや研究のために収録したデータセットの公開の話
など日本のゲーム業界のキャラクターアニメーション研究の発展に参考になればと思い色々と事例をお話し
できればと思っております。
今回のセッションは下記のバンダイナムコ研究所モーションデータセットの話題などもします。
https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset
小林 真輝人
東京大学大学院新領域創成科学研究科卒(環境学博士)。アルゴリズムで社会をシンプルにするというvisionに感銘を受け、博士課程在籍中にAlgorithm EngineerとしてACESに入社、社会人博士を修了し現在に至る。行動認識を中心としたアルゴリズム開発や共同プロジェクトのマネジメント・エンジニアリングを担当。
本講演で発表するバンダイナムコ研究所との共同プロジェクトでは、プロジェクトのマネジメントとエンジニアリングを監修。
《講演者からのメッセージ》
株式会社ACES(エーシーズ)は東大松尾研初のスタートアップで、画像・映像解析のAIアルゴリズムを用いて「ヒトの知見を数式化」し、リアル産業のDXを推進しています。
バンダイナムコ研究所との共同プロジェクトでは、モーションをAIで生成するモーションスタイル変換と呼ばれる技術を用いて、より多様なキャラクターモーションの生成を手軽に行うための研究開発を行っています。
モーションスタイル変換は、バーチャルキャラクター市場の拡大、キャラクターの属性や場面に応じた自然で多様なキャラクターモーションの作成需要の高まりを背景に活用が期待されています。
本講演では、モーションスタイル変換のタスクの難しさや、実用化に向けた工夫など、アカデミアの知見を社会実装する取り組みに関して、技術者の立場からお話します。バーチャルキャラクターやメタバースに興味がある方は特に楽しめるかと思いますので、ぜひご参加ください！
森本 直彦
2000年株式会社ナムコに入社。家庭用ゲームソフト、アーケードゲームなどの開発に3Dアニメーターとして従事。これまでにアニメーションリード、アニメーションディレクター、テクニカルアニメーターなどを経験。
ゲーム開発主体のバンダイナムコスタジオから先端技術研究主体のバンダイナムコ研究所へ2021年に異動し、XRやAIなどの先端技術研究に従事。
[過去の登壇]
CEDEC 2007 「バンダイナムコゲームスにおける3Dアニメーションへの取り組み」
CEDEC 2015 「サマーレッスン」が誘う非現実のリアル（２） テクニカル編
CEDEC 2018 「バンダイナムコスタジオによるキャラクターライブへの挑戦」
SiggraphAsia 2018 Real-time character animation of BanaCAST
など。
《講演者からのメッセージ》
ゲームを中心としたデジタルエンタメの未来はAI技術の発展が握っているもの確信しています。
今回の取り組みには、現場経験を踏まえたクリエーター目線での知見や考えなどをアドバイスしたり、学習用のMocapデータセットの収録サポート等を行っております。私自身はAIエンジニアではないので難しい話しは出来ないのですが、クリエーターとしての目線から少しでもお役に立つ話しが出来ればと思っております。
