Twinkle: プロジェクタを用いた実世界ゲームインタフェース
受講スキル
新しいゲームインタフェース，拡張現実感（AR）に興味のある方
受講者が得られるであろう知見
実世界とリアルタイムにインタラクション可能なゲームインタフェースを実際に体験できます。 プロジェクタとカメラによる画像処理技術について解説します。
セッションの内容
Twinkleとは
近年、プロジェクタの小型化が急速に進んでおり、携帯電話などの携帯機器へプロジェクタを搭載し、情報を表示しようとする試みが多くなされている。また、タッチスクリーンやゲームコントローラに代表される、ユーザの動きを用いた直感的なインタフェースが普及しつつある。こうした背景のもと、プロジェクタを利用した拡張現実感（AR）インタフェースが盛んに研究されている。これまでの研究においては、プロジェクタを持ったユーザの動きを取得するためにAR マーカやモーションキャプチャ装置を使用する方法が一般的であり、特定の環境でしか使用できないという制約があった。そこで我々は、実環境の任意の場所において使用できるインタフェース「Twinkle」を提案する。Twinkleは小型のプロジェクタを使用したARインタフェースである。プロジェクタで照らした物体をカメラによって認識し、物体の形や色、及びプレイヤーの動きに応じた音や映像をリアルタイムに生成する。プレイヤーは手に持ったプロジェクタで投影されたキャラクタを操作し、ホワイトボードに描かれた絵やの上を歩かせたり、手で行く手を遮ったりといった様々なインタラクションを楽しむことができる。ARマーカやモーションキャプチャ装置は必要なく、机や壁や天井といった、日常空間の様々な場所に投影することができる。
Twinkleの原理
デバイスは小型プロジェクタ、カメラ、加速度センサからなる。カメラで取得した画像をリアルタイムに解析することによって、ユーザの動き、投影面とデバイスの距離、投影画像と実物体との衝突、物体の色や形などを認識する。また、カメラで検知できない急速な動きや、重力方向を加速度センサで検出し、画像処理による情報を補っている。
アプリケーション
Twinkleを利用したアプリケーションの一例として、キャラクタを操作するゲームの実装を行った。プレイヤーは投影領域の中心に浮遊する妖精を操作する。妖精は基本的にユーザの動きに追従するが、障害物があると進むことができない。足元に地面がある場合は地面に立ち、プレイヤーの動かす方向に従って歩行する。また、接触した物体の色が赤い場合には炎に包まれ、青い場合には水に濡れるといった、色の違いによるインタラクションも実現している。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2006年，東京大学工学部計数工学科卒業．2008年，同大学大学院情報理工学系研究科システム情報学専攻修士課程修了．同年，同専攻博士課程進学，日本学術振興会特別研究員(DC1)．慶応義塾大学大学院メディアデザイン研究科訪問研究員兼任．拡張現実感・立体ディスプレイの研究に従事．
プロフィール
昭43東大・工・計数卒．昭48同大大学院博士課程修了．工学博士．同年同大助手．昭50通産省工技院機械技研研究員，マサチューセッツ工科大学客員研究員を経て，平1東大先端科学技術センター助教授，平4同センター教授，平6同大・工・計数工教授，平13同大大学院・情報理工・システム情報学専攻教授，平21慶應大大学院メディアデザイン研究科教授．テレイグジスタンス，人工現実感の研究に従事．IEEE/EMBS学会賞，通産大臣表彰，国際計測連合 (IMEKO)特別功労賞，IEEE-VR Career Awardなど受賞．IMEKOロボティクス会議議長，計測自動制御学会会長，日本バーチャルリアリティ学会初代会長.