EgGMAn: Engine of Game Music Analysis / ゲームとシーンを考慮してBGMを検索しよう!

タグ:
日時:
2024年08月21日(水)09時45分〜2024年08月23日(金)19時00分
形式: インタラクティブセッション
受講スキル:
BGMの検索に興味がある方 深層学習を用いた検索技術に興味がある方 深層学習を用いたベクトル表現に興味がある方
受講者が得られるであろう知見:
ゲームとシーンの特徴を同時に考慮してBGMを検索する方法 深層学習で音楽検索技術を構築する方法 深層学習で音楽をベクトル表現する方法
セッションの内容

「あのゲームの世界観かつこのシーンの雰囲気に合うBGMを準備してください」といった依頼をしたことはありますか?また,その依頼はどれくらい正確に伝わりましたか?ゲームやシーンの特徴を反映したBGMを準備することは重要ですが,それを正確に伝えることは簡単ではありません.そこで,このセッションではゲームとシーンの特徴を同時に考慮するBGM検索エンジン(EgGMAn: Engine of Game Music Analysis)を体験して頂きます.EgGMAnはVAE(変分オートエンコーダ)と呼ばれる深層学習と簡単なベクトル計算を駆使してBGMを検索します.作曲を依頼する際に参照するBGMはもちろんのこと,ゲームジャム・インディーゲーム・ゲームの試作版のBGMを検索する際に利用されることを想定しています.


講演資料

  • eggman.zip

※資料のダウンロードにはログインが必要です。


講演者プロフィール

林 龍星

林 龍星
所属 : 日本大学大学院
部署 : 総合基礎科学研究科
役職 : 学生

EgGMAnというゲームとシーンを同時に考慮するBGM検索エンジンを研究しています.小学生の時に遊んだソニック・ザ・ヘッジホッグ2のBGMがゲームとシーンの両方にマッチしていたことに感銘を受け,どのようなBGMがゲームとシーンにマッチするのか知りたいと考え,この研究を始めました.

過去の講演
- ゲームクリエイターのためのBGM検索システムの試作(日本デジタルゲーム学会2023年夏季研究発表大会)
- A System for Retrieving Video Game Music(AES 6th International Conference on Audio for Games)

《講演者からのメッセージ》
ゲームに収録されるBGMの多くはゲームとシーンの特徴を反映していると考えています.そこで,本セッションではゲームとシーンの特徴を考慮するBGM検索エンジンを紹介します.具体的には,開発中のゲームに収録するBGMが1つ以上決定済であることを前提に,決定済BGMが持つゲームと特徴を維持しつつ,シーンの特徴を変更した上で新しいBGMを検索します.受講者様が携わったゲームのBGMがYouTubeやSpotify上にある場合は,そのURLを決定済BGMとして新しいBGMを検索できます.よろしければ,入力したい決定済BGMのURLをご準備の上,本セッションにご参加ください.

北原鉄朗

北原鉄朗
所属 : 日本大学
部署 : 文理学部
役職 : 教授

京都大学で博士(情報学)を取得後、関西学院大学博士研究員を経て、2010年より日本大学文理学部に着任。「Technology Makes Music More Fun」を合言葉に、学生たちと2人3脚で音楽情報処理に関する研究開発を幅広く行っている。著書:『メディアテクノロジーシリーズ2 音楽情報処理』(コロナ社)、『音楽で身につけるディープラーニング』(オーム社)。

《講演者からのメッセージ》
音楽はコンピュータが創るのか、探すのか―。Web上に著作権フリーの音楽があふれ、さらに生成AIの発展も目覚ましいなか、どちらのアプローチをとるべきかは難しい問題だと思います。とはいえ、両者で使われる技術には共通点が多く存在します。本発表では、「創る」ではなく「探す」のアプローチによる研究事例を紹介します。