音声や動画像の低遅延AI処理を可能にする、機械学習モデル設計と実機向け最適化技術
受講スキル
深層学習を裏側で支える行列演算をはじめとした数学的理解 C++やShaderといった低レイヤプログラミングに関する周辺知識
受講者が得られるであろう知見
ストリームデータ処理に有用な、機械学習モデル設計とC++によるカスタムオペレータの実装技法 iOS/Androidへの移植や、Unityとの繋ぎ込みを想定した計測や最適化のアプローチ これら研究開発から生まれる、具体的なアプリケーションの開発事例
セッションの内容
リアルタイムグラフィックスやオンラインマルチプレイなど、低遅延処理が随所で求められるゲームにおいて「前フレーム計算結果の再利用」と「差分への着目」は今なお根幹をなす最適化アプローチです。例えばちらつき軽減を目的としたTemporal Filter、物理シミュレーションにおける後退Euler 法、クライアントサーバー通信におけるデルタ圧縮はその一例と言えるでしょう。またCPU-GPU間のデータコピーに伴うボトルネック解消のため、ゲーム機はUMAやX Velocity Architectureといったハードウェアレベルの進化を遂げました。
こうした計算結果の再利用やゼロコピーといった文脈で、新たに機械学習モデルを書き起こしたり、カスタムオペレータをC++で組んだり、あるいは実機に特化した低レイヤチューニングを施して低遅延の限界を追求したAIの開発事例は、皆さんにとって初耳の内容ではないでしょうか？
本セッションはこうした取り組みの中で培った技術を共有すると共に、音声と動画像という２つのドメインにおいて既存ミドルウェアでは得られないであろうAIの成果を、目や耳でわかりやすく体感できる形でお伝えします。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
奈良先端科学技術大学院大学（NAIST）卒。 大手ゲーム会社などを経て、2020年DeNA中途入社。 2児の父。CEDECは 2011/2015/2017/2019/2021に続き 6回目の登壇。
現職では、過去には「七声ニーナ」のような一般向けWebサービスの開発・運用から、事業ごとにプラットフォームが異なるネイティブアプリへの組み込みまで、AIの実用化を幅広い技術領域で担当しております。お気軽にご相談ください。
《講演者からのメッセージ》
本セッションは、音声や動画像といったストリームデータに対し、独自の機械学習モデルを用いて低遅延で推論するというという、ありきたりの内容では満足できない深層学習および低レイヤプログラミングの中上級者向けの内容となります。技術に明るくない方でも、ゲーム業界歴の長いシニアエンジニアと、アカデミアの最先端で活躍してきた若手研究者らが、どのようにタッグを組んで成果にコミットしたかという観点で、新たな知見を持ち帰れるような講演を目指しますので、どうぞお気軽にご参加・ご視聴ください。
プロフィール
2022年新卒でDeNA入社。主に音声変換研究に従事。
音声分野では、JSUTコーパスの作成や音声による認知症識別、日本語TTSに関する研究をおこなった。
《講演者からのメッセージ》
リアルタイム音声変換の実現に向けた機械学習モデルの設計・実装に関する工夫をお話しいたします。
特に事前知識を必要としませんが、ニューラルネットワークの基礎知識があるとより理解が深まるかと思います。
限られた計算リソースで速度と品質が求められるような機械学習モデルの応用場面を切り抜けるヒントとなれば幸いです。
共同研究・開発者
森 紘一郎 （株式会社 ディー・エヌ・エー）
長沢 一生（株式会社 ディー・エヌ・エー）