Gran Turismo Sophy: 深層強化学習によるトッププレイヤーレベルのAI
受講スキル
クルマや eモータースポーツに興味のある方 ゲームAI開発における強化学習の活用に興味のある方 人を楽しませるためのAI技術に興味のある方
受講者が得られるであろう知見
PC と PlayStation 間で協調して先進的な研究開発を行うためのインターフェース事例 リアルなダイナミクスシミュレーション環境下での非線形運動制御課題に機械学習でアプローチする事例 勝ち負けのような明確な目標だけでなく、レースマナーのような暗黙の規範を尊重するようにAIを学習させた事例
セッションの内容
自動車レースでは、高速で走行する車両を安定させながら他の車両を追い越したりブロックしたりするなど、複雑で戦術的ドライビングを行わなければならない。PlayStation のゲームシリーズである「グランツーリスモ」では実際のレース車両にみられる非線形制御の難しさを忠実に再現しており、FIA公認の世界大会では現実のモータースポーツと同じレギュレーションでレースが行われている。本講演では、リアルドライビングシミュレーター 『グランツーリスモSPORT』において、世界最高レベルのeスポーツプレイヤーたちに勝利したAIレーサー Gran Turismo Sophy を紹介し、このチャレンジに含まれる技術課題とそれを解決した手法、そして今後の展望について述べる。
この開発では、モデルフリー深層強化学習アルゴリズムと混合シナリオによる学習の組み合わせ、さらにクラウドゲーミングインフラストラクチャー上の多数のPlayStation 4を利用した大規模な分散学習によって、並外れたラップタイムと優れた戦術を兼ね備えたレーシングAIを学習させた。このAIは様々なドライビングスキルをその時々の状況に応じて自在に使いこなすだけでなく、世界トップレベルのプレイヤーたちを相手に、レースのマナーを尊重しながらも互いに安全限界のぎりぎりでしのぎを削るエキサイティングなレースを行うことができた。この結果をもとに、ゲーム内の複雑で動的なシステムの実時間制御に対して深層強化学習手法を用いることの可能性と課題についても議論する。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
1998年、ソニー（株）入社。エンターテインメントロボットAIBO, 小型ヒューマノイドロボットQRIOなどの家庭向けロボットの研究開発に従事。人のように柔軟な機械知能の実現を目指し、行動学習・自律発達学習の研究開発を行う。ソニーAIでは主にゲームAIプロジェクトに携わる。
《講演者からのメッセージ》
この講演では、極めてリアルなレーシングシミュレーター 『グランツーリスモ』の紹介から始め、Gran Turismo Sophy の取り組んだ3つの課題「制御」「スキル」「マナー」と、その背後の学習技術について解説を行います。機械学習ベースのゲームAIやロボット等の運動制御に興味のある方はぜひご参加ください。
プロフィール
2000年、ポリフォニー・デジタル入社。『グランツーリスモ3』以降、シリーズのグラフィックスシステムを中心に物理、システムプログラミングなどを幅広く担当。
《講演者からのメッセージ》
『グランツーリスモ』シリーズも今年で25周年。フォトリアリスティックな映像を実現することはもちろん、HDグラフィックス、3D、HDR、VR等、先進的なフィーチャーを取り入れることを常に心がけてきました。
最新作『グランツーリスモ7』でもハードウェアレイトレーシングを使ったレンダリングを導入し、今後もソニーAIとの共同研究による最先端のAIの導入が予定されています。今回はこれらの取り組みについてお話しする機会を頂きました。
CEDECでの公演は初めてとなりますが、受講者の皆様に何かしら参考になったと思って頂けるようなお話ができればと思います。