「あのゲームの世界観かつこのシーンの雰囲気に合うBGMを準備してください」といった依頼をしたことはありますか?また,その依頼はどれくらい正確に伝わりましたか?ゲームやシーンの特徴を反映したBGMを準備することは重要ですが,それを正確に伝えることは簡単ではありません.そこで,このセッションではゲームとシーンの特徴を同時に考慮するBGM検索エンジン(EgGMAn: Engine of Game Music Analysis)を体験して頂きます.EgGMAnはVAE(変分オートエンコーダ)と呼ばれる深層学習と簡単なベクトル計算を駆使してBGMを検索します.作曲を依頼する際に参照するBGMはもちろんのこと,ゲームジャム・インディーゲーム・ゲームの試作版のBGMを検索する際に利用されることを想定しています.
講演者プロフィール
林 龍星
EgGMAnというゲームとシーンを同時に考慮するBGM検索エンジンを研究しています.小学生の時に遊んだソニック・ザ・ヘッジホッグ2のBGMがゲームとシーンの両方にマッチしていたことに感銘を受け,どのようなBGMがゲームとシーンにマッチするのか知りたいと考え,この研究を始めました.
過去の講演
- ゲームクリエイターのためのBGM検索システムの試作(日本デジタルゲーム学会2023年夏季研究発表大会)
- A System for Retrieving Video Game Music(AES 6th International Conference on Audio for Games)
《講演者からのメッセージ》
ゲームに収録されるBGMの多くはゲームとシーンの特徴を反映していると考えています.そこで,本セッションではゲームとシーンの特徴を考慮するBGM検索エンジンを紹介します.具体的には,開発中のゲームに収録するBGMが1つ以上決定済であることを前提に,決定済BGMが持つゲームと特徴を維持しつつ,シーンの特徴を変更した上で新しいBGMを検索します.受講者様が携わったゲームのBGMがYouTubeやSpotify上にある場合は,そのURLを決定済BGMとして新しいBGMを検索できます.よろしければ,入力したい決定済BGMのURLをご準備の上,本セッションにご参加ください.
北原鉄朗
京都大学で博士(情報学)を取得後、関西学院大学博士研究員を経て、2010年より日本大学文理学部に着任。「Technology Makes Music More Fun」を合言葉に、学生たちと2人3脚で音楽情報処理に関する研究開発を幅広く行っている。著書:『メディアテクノロジーシリーズ2 音楽情報処理』(コロナ社)、『音楽で身につけるディープラーニング』(オーム社)。
《講演者からのメッセージ》
音楽はコンピュータが創るのか、探すのか―。Web上に著作権フリーの音楽があふれ、さらに生成AIの発展も目覚ましいなか、どちらのアプローチをとるべきかは難しい問題だと思います。とはいえ、両者で使われる技術には共通点が多く存在します。本発表では、「創る」ではなく「探す」のアプローチによる研究事例を紹介します。