Evolution of Game Balancing with Reinforcement Learning in the VLM-LLM Agentic Era／VLM/LLM時代における強化学習によるゲームバランス調整の進歩
Reinforcement Learning (RL) has demonstrated significant potential as an effective tool for game balancing due to its robustness, adaptability, and applicability across various game genres. However, the complexity inherent to RL algorithms often limits direct interaction by game designers, who typically rely on extensive support from AI engineers. Furthermore, as games expand in scale and complexity, the volume and dimensionality of analytical data generated by RL agents increase substantially, exacerbating the challenge for designers in interpreting agent outputs. This complexity can be substantially reduced by integrating Visual Language Model (VLM) and Large Language Model (LLM)-based agents as intuitive interfaces. These LLM-driven agents can seamlessly interact with external tools, interpret human language commands into precise RL objectives (e.g. reward functions), and critically analyze vast, multidimensional analytical outputs from RL systems. Consequently, game designers receive comprehensive and easily interpretable insights, enabling more -effective, intuitive, and agile game balancing workflows.
強化学習（RL）は、その堅牢性、適応性、様々なゲームジャンルへの応用性から、ゲームバランス調整のための効果的なツールとして多大な可能性を示してきました。しかし、RLアルゴリズムは複雑であるため、ゲームデザイナーが直接操作することは難しく、AIエンジニアのサポートに頼るのが一般的です。さらに、ゲームの規模が拡大し、複雑性が増すにつれて、RLエージェントによって生成される分析データの量と次元は著しく増加し、エージェントの出力結果を解読するゲームデザイナーの負担は大きくなります。視覚言語モデル（VLM）と大規模言語モデル（LLM）ベースのエージェントを直感的なインターフェースとして統合することで、この複雑さを大幅に軽減することができます。これらのLLM駆動のAIエージェントは、外部ツールとシームレスに相互作用し、人間の言語のコマンドを正確なRL目標（報酬関数）に変換し、RLシステムからの膨大で多次元的な出力を解析することができます。その結果、ゲームデザイナーは、包括的で理解しやすい知見を得ることができ、より効果的で直感的かつアジャイルなゲームバランス構築のためのワークフローを実現することができます。
講演者プロフィール
エドガー ハンディ
Edgar Handy is an AI/ML Specialist that has been involved in a wide range of AI R&D from reinforcement learning, generative AI, and agents. In the past, he worked at Square Enix and NetEase Entertainment as an AI engineer. He is the main author of reinforcement learning algorithms for SaGa: Emerald Beyond, and he has experience giving talks at GDC, CEDEC, and NVIDIA GTC. Edgar is an AI nerd that was involved in cognitive developmental-based AI research and loves to spend his free time gaming, reading, experimenting with AI, and exploring places.
AI/MLのスペシャリストであり、RL、生成AI、AIエージェントなど幅広い分野におけるAIの研究開発に携わっています。Square EnixとNetEase Entertainmentにて、AIエンジニアを務め、SEGA社作品「サガ エメラルド ビヨンド」のRLアルゴリズムのメイン開発エンジニアを担当しました。また、GDC、CEDEC、NVIDIA GTCでの講演経験も有しています。エドガーは、人工知能の研究に携わっていたAI専門家で、休日はゲーム、読書、AIの研究、散策をして過ごしています。
《講演者からのメッセージ》
With the advances of LLM (Large Language Models) and VLM (Vision Language Model) recently, the application of AI agents has been spreading rapidly in multiple industries. In this session, we will take a deep dive into what LLM/VLM agents can do together with reinforcement learning to improve game development process, in particular in the context of game balancing. Reinforcement learning for game balancing is a complex system for game developers to use due to the necessity of deep machine learning knowledge. On top of that, as the game content gets bigger, the amount of data that needs to be analyzed also increases, which consequently becomes harder to analyze. We will take a look at how LLM/VLM agents could become a developer’s companion that assists controlling the reinforcement learning algorithm based on visual and text prompt, and digest large volumes of data and extract the meaningful insights for game developers.
近年、大規模言語モデル（LLM）や視覚言語モデル（VLM）の進歩に伴い、AIエージェントの応用が様々な業界で急速に広がっています。本セッションでは、LLM/VLMエージェントと強化学習を組み合わせることで、ゲーム開発プロセスの改善、特にゲームバランス調整にどのような効果が期待できるかを深堀りしていきます。ゲームバランス調整のための強化学習は、AIのディープラーニング（深層学習）の知識が必要とされるため、ゲーム開発者にとって複雑に思えるシステムでしょう。それに加えて、ゲームコンテンツが大きくなればなるほど、分析すべきデータ量も増え、分析が難しくなっていきます。私たちは、LLM/VLMエージェントによる、視覚的プロンプトやテキストプロンプトに基づいたRL（強化学習）アルゴリズムの制御や、大量にあるデータの解析、価値あるインサイトを抽出する手法など、ゲーム開発者の手助けとなる方法をお伝えします。
