捨てない分析──1TBをブラウザで扱う“超高解像度”アクセスログ可視化
受講スキル
ブラウザで大規模データやログの可視化を行いたい方、興味がある方 WebGPU、Duck DB wasm、OPFSなどが使用された事例に興味がある方
受講者が得られるであろう知見
生ログを保持する重要性 先端技術の組み合わせで大規模データを扱う実現性
セッションの内容
ゲーム事業成功にはユーザー行動の正確な把握が不可欠です。しかし、大規模ゲームの膨大なアクセスログ（1TB超も）は通常、事前集計され、その過程でBotやマクロといった不正アクセスや微細な行動トレンドなど、重要な情報が失われる課題がありました。
本セッションでは、この課題に対し、1アクセス単位の解像度を保ち、ログ情報を"捨てずに"ブラウザ上で直接可視化・分析するアプローチを紹介します。一度データをブラウザに取り込めば、生ログに近い粒度で、自由な絞り込み、並べ替え、複数日比較、ユーザー単位の行動追跡をネットワーク負荷ほぼゼロで即時に実行可能です。これにより、不正アクセスや微細なユーザー行動の変化を捉えることができます。
この"超高解像度"可視化基盤は、① Parquet+zstd+OPFSによる高圧縮データの効率的な永続化・利用、② DuckDB Wasm+Parquetによるブラウザ内での柔軟なSQL分析、③ Rust wasm+WebGPUによる大量データの高速処理・リアルタイム描画、といった技術を組み合わせて実現しました。
事前集計による情報損失を最小限に抑え、大規模データのリアルタイムな詳細分析を実現したい方にとって、この「捨てない分析」は有益なヒントとなるでしょう。本システムは実際に運用中タイトルでBot検知、不正ユーザー検出、正確なDAU算出に活用され、成果を上げています。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2022年 株式会社gumi 入社
Technical Strategy & Development (TS&D) 部門に所属し、インフラやbot検出ツールの開発に携わる。
《講演者からのメッセージ》
面白そうだと思ったら、ぜひ聞きに来てください！
プロフィール
2011年よりサーバーを中心に複数タイトルの開発に携わる. サーバーサイド共通ライブラリ, フレームワーク, ミドルウェア開発などを経て2021年より現職.
《講演者からのメッセージ》
見えなかったものが見えるようになる体験、を支える技術の話です。
共同研究・開発者
中山 心太（株式会社NextInt代表）