QAエンジニアがテスト自動化ツール移行に挑戦！MagicPodの導入から運用で学んだこと

こんにちは！

KIYOラーニングでQAエンジニアをしている坪根です。

今回は「テスト自動化ツールの移行と運用」について、私の経験をお伝えします。

このような貴重な経験ができているのは、私が当社の一人目のQAエンジニアとして入社し、QA組織の立ち上げに携わることができているからだと思います。

このストーリーを通じて当社のQAエンジニアとして働くことに興味を持っていただければ幸いです。

なお、このストーリーは特定のテスト自動化ツールの導入を推奨するものではありません。

あらかじめご了承ください。

以前の当社の自動テストの活用状況

当社では元々Autifyを運用していました。

しかし当時契約していたプランを延長できず、当社にとっては実質的な値上げとなってしまいました。

そこでテスト自動化ツールの移行を検討しました。

テスト自動化ツールの移行

今後のQA組織拡大を考慮し、コーディングスキルがなくてもテストケースのメンテナンスが行えるように「コーディング不要なツール」という条件を必須にしました。

様々なテスト自動化ツールを調査した結果、MagicPodとmablというツールが候補になりました。

そこで当時運用中だったAutifyとの比較や当社が求めるテスト自動化ツールの要件との「フィット＆ギャップ分析」を行いました。

分析結果をもとに各ツールについて簡単にまとめた結果が以下のとおりです。

Autify

• UIがわかりやすい。
• 予算の都合で並列テスト実行可能数が多いプランを契約できないため、テスト実行にかかる時間が増大することがネックになった。

MagicPod

• テスト実行回数が無制限なのが良い。
• テストでJavaScriptを実行できないが、「変数に現在時刻を元に生成したユニークな値を保存」することでテストデータに一意な値を指定できたので、問題にはならなかった。
• テストケース作成可能数に制限があり、追加するのに料金がかかる。

mabl

• パフォーマンステストやアクセシビリティのテストが可能であり高機能。
• 並列実行可能数が多いため、テスト実行にかかる時間が短縮できる。

分析結果を元に関係者と協議した結果、当社ではAutifyからMagicPodに移行することにしました。

分析結果の詳細を以下の表にまとめたので、ツールの移行を検討している方の参考になれば幸いです。

表①：ツールの機能に関する分析結果

表②：ツールの料金に関する分析結果

MagicPodに移行した理由

理由は2つです。

1つ目は料金が比較的安価なことです。

MagicPodのスタンダードプランは年契約の場合¥39,800/月（税別）※で利用可能です。

そのためAutifyやmablと比較して安価に導入できます。

以下の追加に料金はかかりますが、追加してもMagicPodの方が安価でした。

• テストケース作成数
• 画像差分チェックステップ数
• 並列テスト実行可能数
• 並列テスト作成可能ユーザ数

2つ目は自動テストの実行回数が無制限なことです。

Autifyやmablには月々のテスト実行回数に制限があるため、実行回数が不足すると都度有料オプションの実行回数をチャージする必要があります。

MagicPodはテスト実行回数のチャージが不要なので、実行回数の制限を気にすることなく運用できます。

※2023年11月時点での料金です。

MagicPodでやっていること

当社で提供している「スタディング」と「AirCourse」のリグレッションテストを実行しています。

当社では上記システムのリリース前に必ずリグレッションテストを実行するルールになっており、開発者自身がリリース前にMagicPodを使ってリグレッションテストを実行しています。

当社のシステムリリース頻度は高いため、テスト自動化ツールでリグレッションテストを実行することで効率化と品質保証の両方を実現できています。

リグレッションテストのテストケースは主要な機能が中心ですが、今後テストケースを拡充していく予定です。

また、毎日決まった時間にテスト環境にてテストを定期実行しています。

これにより手動テストで検出できなかったバグの流出を防いでいます。

回数制限を気にしなくてよくなったことで定期実行を実現できました🎉

終わりに

最後までお読みいただきありがとうございます。

テスト自動化ツールの移行に携わり、ツールの選定や運用に向けた取り組みなど、QAエンジニアとして貴重な経験ができました。

当社は現在QA組織の立ち上げ期であり、いろいろなことを任せていただける環境だからこそ経験できたのではないかと思います。

今回のストーリーを通じて当社で働くことに興味を持った方は、ぜひ当社の求人へご応募ください！

合わせて前回のストーリーもご覧いただければ幸いです。

参考リンク

MagicPod: AIテスト自動化プラットフォーム

Autify(オーティファイ), AIを用いたソフトウェアテスト自動化プラットフォーム - Autify(オーティファイ)

アジャイルチームのためのインテリジェントなテスト自動化ソリューション | mabl

資格合格パートナー「スタディング」｜オンライン通信講座で難関資格対策 (studying.jp)

AirCourse - 社員教育をカンタンに。クラウド型eラーニング