DirectX12 を使用したシェーダー上への独自ニューラルネットワーク構築と描画品質向上のためのリアルタイムレンダリングへの応用
受講スキル
DirectX や Vulkan などグラフィックス API への知識があり Compute Shader を触ったことがある方 Tensorflow や Chainer などのニューラルネットワークフレームワークの基礎的な知識がある方
受講者が得られるであろう知見
今後のグラフィックスエンジンのトレンドの一つとなる知識 DirectML などの機械学習フレームワークのリアルタイムレンダリングでの使用方法
セッションの内容
レンダリングパイプライン上に構築された Skip Connection を含む Encoder-Decoder モデルは描画品質を向上させる万能フィルターとなり得るかがテーマにあり、このセッションでは機械学習のリアルタイムレンダリングへの応用について扱います。Compute Shader での MNIST による多値分類や CNN のサンプル実装から始まり、ポスト処理的に出力となるピクセル値を推定し、ニューラルネットワークでの Denoising や AA や SS を実現する画像処理モデルを提示します。リアルタイム性が重要な環境において、低レイテンシーでの推論を実現するための Compute Shader の最適化と時間的に安定したピクセル値の出力方法なども解説します。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
1990年生まれ。過去に CEDEC 2016 で登壇。新卒でゲーム会社に入社し、複数タイトルのグラフィックスエンジンやシェーダー開発に携わる。その後に IT 企業を経て、2018年にスクウェア・エニックスから発足した Luminous Productions に入社。グラフィックスプログラマとして Luminous Engine の開発に従事。
《講演者からのメッセージ》
MPS (Metal) や DirectML 、それに GPU ベンダー独自の ML 実装などが登場し、リアルタイムレンダリングにも機械学習の応用が始まってきています。今後のグラフィックス分野を支える AI 技術について、この講演の内容が少しでも参考になれれば幸いです。