近年，他言語の映像コンテンツが著しく増加しています．それに伴い，言葉の壁を取り除いて映像を楽しむ手段として「吹替え処理」の需要が高まっています．しかし，吹替え処理が施された映像は「口の動きと音声が一致しない」問題があり，これは視聴者に違和感を与える原因となります．そこで，映像中の口の動きが吹替え者(声優)と同じ口の動きになるよう，映像を直接編集することで口の動きと音声が一致した映像を自動で生成する手法を紹介します．本手法は実写映像やアニメ映像など幅広い映像に適用することが可能であり，新しい映像編集手段として提案いたします．
講演者プロフィール
古川 翔一
早稲田大学 先進理工学研究科 物理学及応用物理学専攻 森島研究室所属
2015年 第161回グラフィックスとCAD研究会 発表 GCAD賞受賞
2016年 第78回情報処理学会全国大会 発表 学生奨励賞受賞
2016年 Visual Computing/グラフィックスとCAD合同シンポジウム 口頭発表
2016年 SIGGRAPH 2016 Poster 発表
《講演者からのメッセージ》
ゲーム業界、映像業界の皆様から知恵をお借りし、「映像解析・合成」の研究分野に携わる一員として業界に貢献できればと思います。ぜひご意見をお寄せください。どうぞよろしくお願いいたします。
森島 繁生
東京大学大学院工学系研究科博士課程修了。工学博士。成蹊大学工学部教授を経て、早稲田大学先進理工学部応用物理学科教授、現在に至る。これまでトロント大学客員教授、ＡＴＲ客員研究員、ＮＩＣＴ客員研究員等を歴任。SIGGRAPH ASIA 2015 Workshop/Partner Event Chair, 画像電子学会2016年次大会長。研究室では、学生約30名がモデリング、レンダリング、シミュレーション、アニメーション、モーション制御、ノンフォトリアリスティックモデリング・レンダリング、画像処理、音楽情報処理、コンテンツ分析・合成等の研究に従事している。CEDECではここ数年連続してショートプレゼンおよびインタラクティブ発表を行っている。画像電子学会副会長、芸術科学会理事、日本顔学会理事。
《講演者からのメッセージ》
今回、早稲田大学先進理工学部森島研究室から3件の発表がございます。１つは口と音声の同期を3次元モデルや言語モデルを一切介さずに画像処理的に行う手法であり、オリジナルの映像ソースのみから、声優の喋る任意の言語への吹き替えが自動的に実現可能です。2つ目は、半透明物体の高速レンダリングで、動的計画法を導入することによって形状変形を伴う物体のアニメーションをリアルタイムで描画することが可能となりました。3つ目は、トランスルーセントシャドーマップの改良で、ボトルに入ったワインなど複数のマテリアルを含む半透明なオブジェクトをリアルタイムで描画できるようになりました。是非、ご興味のある方は会場にお越しください。
