生成AIを用いたPBRマテリアル付きの3Dメッシュ生成手法
受講スキル
特に必要ありません。生成AIについての前提知識がほとんどない方でも理解できる発表を心がけます。
受講者が得られるであろう知見
生成AIの現状と、それらが抱える課題。その解決策と活用方法。
セッションの内容
近年の生成AIの進歩により、通常の2次元画像だけでなく、3Dメッシュとそのテクスチャまで生成できるようになっています。しかし、実際にゲームなどの3Dシーンの製作現場に導入するには、まだ多くの課題が残っています。
例えば、1つの物体が1つのメッシュとして生成され、パーツごとに分かれていないため編集しづらかったり、単なるカラーテクスチャでPBRマテリアルになっていなかったり、テキストプロンプトによる制御が困難で望むような結果がなかなか得られないといった問題があります。
そこで、生成された3Dメッシュをパーツごとに分割し、パーツごとに大規模言語モデルに問い合わせ、適切なPBRマテリアルを割り当て、それらを統合することでPBRマテリアルを生成する手法を提案します。
現状の生成AIの使いづらい問題を解決することで、積極的に活用できるようになり、3Dシーン製作の効率化につながればと願っています。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2012年シリコンスタジオに入社。GPGPU、画像処理、リアルタイムレンダリング、AI技術などの研究開発に従事。レンダリングエンジン「Mizuchi」においても開発初期からレンダリング技術の開発・実装を担当。
《講演者からのメッセージ》
生成AIを用いたCG制作工程の効率化に取り組んでいます。近年の生成AIは2D画像だけでなく、3Dメッシュも生成できるようになっています。しかし、実際に生成されたものはそのままでは扱いづらく、活用が難しい場合が少なくありません。そんな問題を解決するための方法を確立したいと考えています。いったん活用法が確立できれば、後は生成モデルの進歩に応じて品質が高くなっていくはずだからです。皆さんも一緒に考えてみませんか？