ソニーの先端技術紹介 ① Volumetric Production System ② 高精度・リアルタイムなトラッキング技術とCGによる可視化技術
受講スキル
VR、Volumetric 制作、スポーツセンシング、CG制限技術の用語を理解出来る方、興味を持っている方
受講者が得られるであろう知見
① Volumetric Production System ・Volumetric技術を使ったコンテンツ制作の概要 ・ゲームエンジンを使ったVolumetricコンテンツ制作の今後について ② 高精度・リアルタイムなトラッキング技術とCGによる可視化技術 ・ ソニーがグループ会社のホークアイを通してスポーツ界に起こしてきた変革 ・ 選手やボールの動きを高精度・リアルタイムにトラッキングする技術(SkeleTRACK) ・ トラッキングデータを活用してプレーをCGにより可視化する技術(HawkVISION) ・これらの技術(SkeleTRACK, HawkVISION)が、ゲームなどのエンタテインメントに応用できる可能性
セッションの内容
講演①: リアルとバーチャルを繋ぐ Volumetric Production Systemについて
ソニーグループとして取り組んでいるVirtual Production の取り組みの中で，特にゲームや3D CGとの親和性の高い Volumetric 制作についての事例を紹介する。VRとVolumetric技術を連動させ，2020年度ルミエール賞グランプリ・メディア芸術祭新人賞作品となった「ミヅキ討魔伝」の制作，ゲームエンジンと Volumetric 技術を連携させたバーチャルライブ音楽シリーズ「 ReVers3:x」 の制作について，主に技術面から解説する。
講演②: 高精度・リアルタイムなトラッキング技術とCGによる可視化技術 ～ソニーがスポーツ界に起こしてきた変革とこれからの挑戦～
ソニーがグループ会社のHawk-Eye Innovations(ホークアイ)を通してスポーツ界に起こしてきた変革に関して、これまでの実績と、これから新しく挑戦しようとしている取り組みを紹介します。今回は特に、選手やボールの動きを高精度・リアルタイムにトラッキングする技術(SkeleTRACK)と、そのトラッキングデータを活用してプレーをCGにより可視化する技術(HawkVISION)にフォーカスします。
技術キーワード：Computer Vision、Computer Graphics (3D CG)、画像認識 (AI)
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
ソニー株式会社に入社後、ソフトウェアエンジニアとしてWalkmanをはじめ、Handycam, Cybershot, 業務用カメラ等の開発に従事。その後R&DでVRカメラ及びアルゴリズム開発を行いながら現場での撮影もこなし、数多くの実写VRコンテンツを制作。2020年にソニー本社内にVolumetric Capture Studio Tokyoを立ち上げ、「ミズキ討魔伝」「ReVers3:X」をはじめ、数多くのMVやTVCM, TVドラマ, 映画, イベント向けにVolumetricコンテンツの撮影および制作を行ってきた。現在もVolumetric技術をコアに、R&Dの最新技術を活用した新たな表現の可能性を探求している。
《講演者からのメッセージ》
ヒトやモノをリアルなままバーチャルの世界に取り込むことができるVolumetric技術とエンタテインメントを掛け合わせた、新たなワクワクの可能性を皆様にお伝えできればと思っています。
プロフィール
(株)ソニー・インタラクティブエンタテインメントに入社後は、ワールドワイド・スタジオJAPAN StudioのプロデューサーとしてPlayStationのゲーム開発に従事。新しいVR体験の創造を行なうソニーグループ内横断型プロジェクト「Project Lindbergh」に参加後は、『ミヅキ討魔伝』のプロデューサーとして2020年度ルミエール賞グランプリ、2021年度文化庁メディア芸術祭新人賞を受賞。仮想空間上での新しい体験型オンラインイベントとなった『VRデビルマン展』、『ソードアート・オンライン -エクスクロニクル- Online Edition』ではテクニカルプロデューサーを担当。現在も新しいxR体験を日々探求中。
《講演者からのメッセージ》
Volumetric技術を使った映像表現の可能性を感じていただき、皆さまの今後のクリエイティブ活動のお役に立てば幸いです。
プロフィール
XR LIVE Project “ReVers3:x”(リバースクロス)のプロジェクト全体のプロデュースと企画を担当。#1に登場したKEIJUのA&R/マネジメントのほか、凛として時雨、Cö shu NieなどのA&Rにも従事。現在はキューンミュージックに異動し新たなプロジェクトや新人発掘も行う傍ら、プライベートではゲーム好きが高じてゲームコミュニティのサポートも行っている。
《講演者からのメッセージ》
コロナ禍以降で、音楽業界では配信ライブという発信の仕方が急激に増えましたが、実際にライブハウスやコンサートホールで体験するものの代替にはなり得ないと個人的には思っています。
その上で、現状は2Dでの配信かつブラウザで視聴する前提で行ったのがReVers3:xプロジェクトですが、Volumetric技術とゲームエンジンを使ってのヴァーチャルでの音楽体験の未来などに興味を持っていただけたらと思います。
プロフィール
2010年にソニー株式会社に入社。主に放送局向けや監視カメラ向けの画像認識技術開発に従事。
2013年～2014年には会社の海外留学制度を利用して、米国カーネギーメロン大学のロボティクス研究所に客員研究員として所属し、Computer VisionとMachine Learningの研究に没頭。
現在は、これらの技術を活用してスポーツに対するソリューション開発を担当。特に近年は、ソニーのグループ会社であるHawk-Eye Innovations(ホークアイ)と連携した技術開発で、スポーツ界にイノベーションをもたらすことに挑戦している。
《講演者からのメッセージ》
ソニーはグループ会社のホークアイを通して、サッカーのVARやテニスのイン・アウト判定に代表される各種審判判定補助サービスなどを提供し、スポーツのルールのみならず、観客や視聴者などの楽しみ方にも変革を起こしてきました。本講演では、ホークアイのこれまでの実績と、これから新しく挑戦しようとしている取り組みを紹介します。特に最近では、ゲームや3D CGといった領域にも親和性がある取り組みを進めていますので、受講者の皆さんの参考になればと思います。