現代ゲームでの最強対戦 AI の作り方！『逆転オセロニア』AI がトップレベルの強さに到達した理由
受講スキル
・ゲーム開発、対戦AI開発に関わっている、もしくは興味のある方（エンジニア・プランナーどなたでも） 特別なスキルは不要ですが、強化学習や機械学習を単語レベルでも知っていると理解しやすいかもしれません。
受講者が得られるであろう知見
・現代的なゲーム AI を作る際の技術選択指標 ・強化学習で作れる対戦AIとそのユースケース ・大規模な強化学習の実施に必要なテクニック・ノウハウ・情報
セッションの内容
現代の複雑なゲームにおいて対人戦で勝利できる AI は開発に携わって来た人間の夢でした。それを DeNA のモバイルゲーム『逆転オセロニア』で実現しました！
かつて対人戦が可能なゲームにおける対戦 AI は限られた組織でのみ研究される題材でした。需要はあっても、技術難易度や開発・学習・利用（推論）コストが莫大であるためです。そして研究である以上、古典的な囲碁や将棋の他、ベンチマーク的なゲームを対象に行われることが多く、近年の複雑な要素を持つゲームでの実用はうまく進んでいません。
現代のゲームは戦術が多様で難易度が非常に高いです。また、実用化後の運用を見越すのであれば取り得るアプローチが限られてきます。弊社 DeNA が提供する『逆転オセロニア』は、このような現代的なゲームの要素を多分に含んでおり、また運営期間も長期にわたるため戦術の複雑性も非常に高くなっています。私たちは『逆転オセロニア』を題材に強い対戦 AI 開発を続けてきました。そして本年、プレイヤーのトップ層と遜色のないレベルの強さに到達しました。ゲーム的性質の制約を考慮した上で、強化学習を極めていくアプローチを取りました。これは前述した運用面などでもメリットのある選択でありました。そのアプローチを切り離し、他ゲームに転用可能に開発したのが 強化学習ライブラリ『HandyRL』です（昨年の CEDEC2021 でも発表）。
本セッションではなぜ『逆転オセロニア』のようなゲームで強化学習アプローチが有効であったかの理由や、多様な戦術を扱うためのノウハウを解説し、また実際にどのような戦い方・強さを持つのかを紹介いたします。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
株式会社ディー・エヌ・エーにて強化学習の実用化について研究開発を行なっています。
東京電機大学講師も副業しており、認知的性質や神経生理に触発された適応力の高い人工知能技術について研究を行なっています。
《講演者からのメッセージ》
強化学習は自立的に志向錯誤して成長する「幼児の AI」技術です。
我々が夢見た AI に必要である一方で、技術の成熟状況もやっと小学生といったところです。
しかし遂に現代的なゲームにおいても成果をお見せできるところまで来ました。
AI 活用期が叫ばれる中、強化学習の実用・研究が加速する一助になればと思っております。
プロフィール
ゲームAIを初めとしたAIの研究開発を9年行なっています。
《講演者からのメッセージ》
強化学習はこの10年で、汎用AIのための「夢の技術」から「基礎技術の1つ」に立場を変えました。
人工知能を語る上で知っておいて損はありません。
数えきれないほどの多数の対戦を、気持ちを切らさず、諦めずに戦い続ける人工知能の姿から、我々は何を感じることができるでしょうか。
共同研究・開発者
田中一樹（株式会社ディー・エヌ・エー）