E2E(UI)自動テストは、ロケーター取得やUI変更追従、ゲーム画面はUI要素がロケーターで取れずテストが壊れやすいなど、実装・運用コストが高くなりがちです。そこで本セッションでは、手元にある人が実行するために作った手動用のテストケースを、自然言語のままかつ表示された画面を用いてテスト実行できる汎用テスト実行AIエージェントの設計と検証結果を紹介します。
・テスト実行エージェントの設計および技術
開発したテスト実行エージェントの思想と設計、技術、精度向上の工夫を紹介します。
・手動テストケースでどこまで自動テスト実行ができたのか？
手動テスト用に記載されたテストケースをどれくらい実行できたのか検証結果を報告します。
・発見した不具合例、人とエージェントの棲み分け
どういったテストケースの実行でどういった不具合を発見できたかの実例を紹介します。
またこの結果からエージェントと人でどのような戦略を取ってテストを行えば良いかの知見をお伝えします。
講演者プロフィール
松谷 峰生
2010年、中国大連にてQA部署立ち上げに携わって以来QAとしてのキャリアを歩む。
ゲームQA以外にも、AI/Web/スマホアプリ/IoT/組込みソフトウェア/ハードウェアと幅広いジャンルの品質保証活動の経験あり。
他、開発業務やテスト/QAに関するマンガ執筆も行っている。
テスターちゃん : https://www.amazon.co.jp/dp/4863544626
なにそれ？あなたの知らないテストの言葉 : https://www.veriserve.co.jp/helloqualityworld/media/search/?person=松谷峰生
《講演者からのメッセージ》
本セッションでは、手元にある手動テストケースをどのようにE2E自動テストとして実行したかの事例を紹介します。
AIによるゲームテストにおいて課題となる「期待結果の扱い」に着目し、その解決アプローチとして本手法を検討しました。
ゲームのようにUI要素を扱いづらいアプリの自動テストに関心がある方や、すでに取り組まれている方にとって実践的な知見が得られる内容です。
ご聴講いただけましたら幸いです。
