背景
Woltのチームでは、機能開発と並行して毎週の回帰テストを行っていました。手動テストも実施しており、事前にテストケース、Confluenceページ、Google Sheetsを用意していました。
私はUIテストの保守と、手動テストの準備作業の自動化に取り組みました。
UI回帰テスト
チームの毎週の回帰テストに向けて、Maestro UIテストを追加し、保守しました。
手動テストの準備
チームの手動テストを準備するため、Pythonスクリプトとエージェント支援ワークフローを作りました。テストケースの下書きとレビューを支援し、セッションで使うConfluenceページとGoogle Sheetsを生成しました。毎回の準備と調整にかかっていた数時間分の繰り返し作業を減らしました。
機能の検証
自分が担当した機能では、実装中と回帰テストでアクセシビリティとローカライズを確認しました。日本語から、右から左に書くアラビア語やヘブライ語まで、アプリが対応する言語とロケールで機能が正しく動くことを確かめました。
Telemetry Viewerもリリース確認に使いました。iOSアプリから分析イベントをローカルWebSocketでmacOSクライアントへ送り、検索とフィルタで確認できます。機能が送信したデータの検証、想定外のイベントの調査、実験用計測の確認を、従来のフルスクリーン画面でiPhoneを隠さずに行えました。
次に取り組むこと
この作業を続けるなら、Maestroで確認する項目、手動テストが必要な項目、テレメトリで確認する項目を文書にまとめます。また、準備時間と繰り返し発生する失敗を計測してから、次の自動化対象を決めます。