手動テストケースをそのまま実行するVLMテスト実行エージェント：モンストでの適用と検証結果
受講スキル
・手動テストケースを日常的に運用しているテストエンジニア、SET（Software Engineer in Test） ・UI/E2E自動テストの実装・保守コストに課題感を持つ開発者 ・VLM/AIエージェントを実務適用したいエンジニア 前提知識：テストケース（手動/自動）とUIテストの基本的な概念が分かれば問題ありません。AI/LLMの深い知識は不要です。
受講者が得られるであろう知見
・AIエージェントがゲーム操作をするための現実的なアーキテクチャ案 ・実アプリ検証から分かった、AIが実行しやすい/実行しにくいテストの傾向 ・AIのテストで良い部分、人がテストを行った方が良い部分はどこか
セッションの内容
E2E(UI)自動テストは、ロケーター取得やUI変更追従、ゲーム画面はUI要素がロケーターで取れずテストが壊れやすいなど、実装・運用コストが高くなりがちです。そこで本セッションでは、手元にある人が実行するために作った手動用のテストケースを、自然言語のままかつ表示された画面を用いてテスト実行できる汎用テスト実行AIエージェントの設計と検証結果を紹介します。
・テスト実行エージェントの設計および技術
開発したテスト実行エージェントの思想と設計、技術、精度向上の工夫を紹介します。
・手動テストケースでどこまで自動テスト実行ができたのか？
手動テスト用に記載されたテストケースをどれくらい実行できたのか検証結果を報告します。
・発見した不具合例、人とエージェントの棲み分け
どういったテストケースの実行でどういった不具合を発見できたかの実例を紹介します。
またこの結果からエージェントと人でどのような戦略を取ってテストを行えば良いかの知見をお伝えします。
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
2010年、中国大連にてQA部署立ち上げに携わって以来QAとしてのキャリアを歩む。
ゲームQA以外にも、AI/Web/スマホアプリ/IoT/組込みソフトウェア/ハードウェアと幅広いジャンルの品質保証活動の経験あり。
他、開発業務やテスト/QAに関するマンガ執筆も行っている。
テスターちゃん : https://www.amazon.co.jp/dp/4863544626
なにそれ？あなたの知らないテストの言葉 : https://www.veriserve.co.jp/helloqualityworld/media/search/?person=松谷峰生
《講演者からのメッセージ》
本セッションでは、手元にある手動テストケースをどのようにE2E自動テストとして実行したかの事例を紹介します。
AIによるゲームテストにおいて課題となる「期待結果の扱い」に着目し、その解決アプローチとして本手法を検討しました。
ゲームのようにUI要素を扱いづらいアプリの自動テストに関心がある方や、すでに取り組まれている方にとって実践的な知見が得られる内容です。
ご聴講いただけましたら幸いです。