Twinkleとは
近年、プロジェクタの小型化が急速に進んでおり、携帯電話などの携帯機器へプロジェクタを搭載し、情報を表示しようとする試みが多くなされている。また、タッチスクリーンやゲームコントローラに代表される、ユーザの動きを用いた直感的なインタフェースが普及しつつある。こうした背景のもと、プロジェクタを利用した拡張現実感（AR）インタフェースが盛んに研究されている。これまでの研究においては、プロジェクタを持ったユーザの動きを取得するためにAR マーカやモーションキャプチャ装置を使用する方法が一般的であり、特定の環境でしか使用できないという制約があった。そこで我々は、実環境の任意の場所において使用できるインタフェース「Twinkle」を提案する。Twinkleは小型のプロジェクタを使用したARインタフェースである。プロジェクタで照らした物体をカメラによって認識し、物体の形や色、及びプレイヤーの動きに応じた音や映像をリアルタイムに生成する。プレイヤーは手に持ったプロジェクタで投影されたキャラクタを操作し、ホワイトボードに描かれた絵やの上を歩かせたり、手で行く手を遮ったりといった様々なインタラクションを楽しむことができる。ARマーカやモーションキャプチャ装置は必要なく、机や壁や天井といった、日常空間の様々な場所に投影することができる。
Twinkleの原理
デバイスは小型プロジェクタ、カメラ、加速度センサからなる。カメラで取得した画像をリアルタイムに解析することによって、ユーザの動き、投影面とデバイスの距離、投影画像と実物体との衝突、物体の色や形などを認識する。また、カメラで検知できない急速な動きや、重力方向を加速度センサで検出し、画像処理による情報を補っている。
アプリケーション
Twinkleを利用したアプリケーションの一例として、キャラクタを操作するゲームの実装を行った。プレイヤーは投影領域の中心に浮遊する妖精を操作する。妖精は基本的にユーザの動きに追従するが、障害物があると進むことができない。足元に地面がある場合は地面に立ち、プレイヤーの動かす方向に従って歩行する。また、接触した物体の色が赤い場合には炎に包まれ、青い場合には水に濡れるといった、色の違いによるインタラクションも実現している。