【インタラクティブセッション】
生成AIによるファッションデザインと、モーションによるユーザー生成コンテンツ（UGC）を使って、メタバース内のファッションショーを実現しました。
オンラインでもオフラインでも、生成AIメタバース体験ならではのオリジナルUGCをライブ体験することができます。
メタバース・モードメーカー「mmm」は、スマートフォン向けメタバース「REALITY」における新しいUGC-UXの概念実証プロジェクトです。
モード（ファッションコーディネート）におけるユーザー生成コンテンツ（UGC）に着目し、ジェネレーティブAIによってユーザーのインスピレーションやモーション表現をサポートします。
体験者はHMDを装着し、そのアバターのオリジナルの服とモーションをVRでデザインします。
でもテクスチャを描くのは大変ですね！しかもHMDを装着して…となるとけっこう大変です。
このデモではAI画像生成技術「Stable Diffusion」を活用した「WordToTextile」を使い、簡単にオリジナリティがある新しいファッションコーディネートシステムが体験できます。
1. 体験者は同意書を入力しMeta Quest2を装着します
2. テンプレートとなるアバターを選択し、キーワードを入力することでオリジナルの服デザインを生成できます
3. リズムに合わせて体を動かすと、オリジナルの歩行モーションを演じて録画することができます
4. 生成されたアバター、ファッションと歩行モーションは、クラウドに瞬時に送信され、メタバース内ランウェイで分析・評価されます
5. 姿勢評価とともにYouTubeLiveを使ってリアルタイム上映がはじまります。コメントで応援してください！
【見どころ】
・VRの中で画像AIや姿勢評価技術を使った新しいUGC-UXデザインワークフローを体験できます。
・服の生成はStable Diffusionをベースとした「WordToTextile」という新開発の技術によって生成されています。テクスチャだけでなく、服の型紙に沿わせた生成をキーワードだけで行い、多様な色彩を得ることができます。
・公開されたデザインはアバターごとにVRMファイルとして保存され、またデータベースで共有されるので、オリジナリティを保護することができます。
・独自に開発したモーションキャプチャーツール「QueTra」とモーション圧縮技術「MuscleCompressor」を使い、歩行アニメーションを狭い空間で生成することができます。
・この技術は「AIFusion」という自動生成とユーザーによるモーションの自然な融合技術を応用しています。
・アルゴリズムによる姿勢評価とYouTubeLiveによるオンライン投票により、オンライン・オフライン同時に世界中から応援を受けることができます。
このプロジェクトは、アバター主導のUGCを実現し、メタバースの未来価値を高めるとともに、人々の創造性を高め、パーソナルブランドや非言語・異文化コミュニケーションを発展させることを目的としています。
プロジェクトWebサイト https://vr.gree.net/lab/uxdev/mmm/
フランス Laval Virtual 2023 ReVolution Research採択
https://www.youtube.com/watch?v=x8gqQ2UFx78 (2023年3月公開版ティザー動画)
https://laval-virtual.com/en/exhibitors/
講演者プロフィール
白井暁彦
東京工業大学 知能システム科学 博士(工学) 。専門はVRエンターテインメントシステム、触覚技術、GPU応用、多重化ディスプレイ、体験の物理評価、国際連携。日本バーチャルリアリティ学会 IVRC実行委員、フランスLaval Virtual評議員。著書「AIとコラボして神絵師になる 論文から読み解くStable Diffusion」、「白井博士の未来のゲームデザイン〜エンターテインメントシステムの科学」、「WiiRemoteプログラミング」他。 デジタルハリウッド大学大学院 客員教授。2018年よりGREE VR Studio Laboratory, Directorとして、メタバースと生成AI関連技術をはじめとするXRエンターテインメントにおける未来開発，B2B/B2B2Cソリューション開発コンサルティング，業界振興・イノベーション型人材の支援発掘や育成中心に、世界に向けた発信活動を行っている。 https://akihiko.shirai.as/
《講演者からのメッセージ》
世界63か国12言語で利用されているスマートフォンメタバース「REALITY」の未来開発の一端として、没入型デバイスにおける魅力的な体験設計と生成AIによるUGC体験を短い時間で体験できるデモとして完成させました。
フランスでの一般向け展示に加え、森ビルでの大規模な展示が行われる予定です。
（※原稿提出と森ビルとの実施意思確認のタイミングで調整します）
CEDEC2023でのデモではHMDを装着する人も、オンラインやスマートフォンでの体験でも参加できるような体験を準備しています。
研究開発ならではオープンな交流を目的としております。
会場ではオープンソースの画像生成AI「Stable Diffusion」の活用や、子供でも扱えるモーションUGCの技術、B2B2CメタバースR&Dの取り組みについて共有します。エンジニア、アーティスト、ビジネスプランナーなど、どなたでもお気軽にお立ち寄りください。
ベルト アレクサンドル
フランスのビデオゲーム専門学校 ISART Digital を卒業。ゲーム開発、特にUnity（C#）とゲームデザインを専門としています。Laval Virtual 2022「Cerestrail」で最優秀学生デモ賞を受賞。現在、東京工科大学でゲームデザインに関する研究を行う傍ら、REALITY Metaverse Labでインターンとして働いています。このプロジェクトでは、Word2TextileのシェーダーシステムをはじめとするUXシステムを主に担当しています。
《講演者からのメッセージ》
ユーザー生成コンテンツ(UGC)は、メタバース的な文脈であれビデオゲーム的な文脈であれ、今後のソフトウェア開発において、ますます重要性を増していくに間違いないと思います。またジェネレーティブAIの技術もハイペースで進化しており、これらの技術を使って、UGCの世界をこれまでよりもはるかに多くの方々に解放することができると期待しています。皆さんが今回のプルーフ・オブ・コンセプト展示を見て、素晴らしいものを開発する刺激になることを期待します。
香山 楷
慶應義塾大学理工学部電気情報工学科4年。IVRC2022にて「適法！日本酒醸造シミュレータ」を制作、優勝。2023年2月より、REALITY Metaverse Labでインターン。本プロジェクトではユーザーモーションの分析とUGC化技術を担当。
《講演者からのメッセージ》
本プロジェクトでは狭い空間での動作をモーション解析して、ファッションモデルのような美しい歩行にするためのアルゴリズムを実装しています。Unity上でのモーションデータの圧縮・解析・メタバース的な取り扱いについてのノウハウを共有できたらと思っております。
