大企業のテスト チームと話をすると、次のような問題点を繰り返し耳にします。「UI が変更されるたびにテスト自動化が動作しなくなる」「アクセス可能なプロパティが公開されていないため、アプリケーションを自動テストできない」「新しいテストを作成するよりも、既存のテストのメンテナンスに多くの時間を費やしている」。こうした状況が、テスト自動化を最も必要としているチームにとって、導入の障壁となっています。
そこで私たちは、従来のプロパティ ベースのテストでは不十分な場合に、お客様が日々直面する課題に対する実用的な解決策として、SmartBear TestComplete に Vision AI を組み込みました。そして、TestComplete のオブジェクト認識機能である Vision AI が、2026 年 6 月 1 日より、すべてのお客様にご利用いただけるようになったことをご報告できることを光栄に思います。
複雑なアプリケーションのテストで直面する課題
プロパティ ベースのオブジェクト認識は、長年にわたりテスト自動化の基盤となってきました。これには明確な理由があります。アプリケーションが整理された安定したプロパティを公開している場合、この手法は高速で信頼性が高く、効率的です。しかし、現実には、多くのアプリケーションがこのアプローチに対応していないのが現状です。
テスト チームが本番環境で実際に直面するシナリオを考えてみましょう。
Canvas ベースのインターフェイス
アクセシブルな DOM やプロパティを持たず、すべてがピクセルとしてレンダリングされます。金融取引プラットフォーム、エンジニアリング設計ツール、あるいはインタラクティブなダッシュボードなどを想像してみてください。これらは、標準的な HTML 要素から構築されるのではなく、データを可視化したものが直接 Canvas 上に描画されます。
専門ソフトウェアに組み込まれたカスタム グラフィック エンジン
CAD アプリケーション、医療用画像システム、シミュレーション ツールなどは、従来の自動化が依存する技術的なプロパティを公開しない独自のレンダリング技術を使用していることがよくあります。
レガシーなデスクトップ アプリケーション
これらは、現代のアクセシビリティ基準が存在する以前に構築されたものです。これらのアプリケーションは事業の根幹を成すものであり、置き換えたり再設計したりすることはできませんが、テスト自動化を念頭に置いて構築されたものではありません。
標準的なパターンに従わない組み込みコントロールやサードパーティ製コンポーネント
ユーザーにとっては完璧に機能するものの、プロパティベースの自動化からは認識されない、カスタム ドロップ ダウン、特殊なデータ グリッド、独自の UI コントロールが含まれます。
Citrix やリモート デスクトップなどの仮想化環境で実行されるアプリケーション
ここでは、すべてが単一のレンダリングされた画像として表示され、自動化ツールから個々の要素のプロパティにアクセスすることができません。
このようなシナリオが、テスト自動化を最も必要としているチームにとって、テスト自動化の実装を阻む要因となっています。
TestComplete に Vision AI を追加した理由
TestComplete に Vision AI を統合するという決定は、お客様のご意見に耳を傾け、ある重要な真実を理解したことから生まれました。それは、テスト自動化ツールは、私たちが望むような設計ではなく、アプリケーションが実際に存在する姿に合わせて適応する必要があるということです。
私たちは、チームが苦渋の選択を迫られている状況を目の当たりにしました。標準的なアプリケーション用と複雑なシナリオ用とで、別々のテスト自動化ツールを維持しているチームもありました。また、テスト自動化ツールが特定の UI 要素と連携できないため、重要なワークフローでは手動テストに頼らざるを得ないチームもありました。多くのチームが、実際のソフトウェア品質向上ではなく、テストのメンテナンスに QA リソースの大部分を消費していました。
Vision AI は、TestComplete が UI 要素を識別し、操作する方法を拡張することで、この課題にアプローチします。予期せず変更される可能性のある技術的なプロパティのみに依存するのではなく、Vision AI はコンピュータ ビジョンと機械学習を活用し、ユーザーが実際に目にする通りの方法で、つまり視覚的に要素を認識します。
TestComplete における Vision AI の仕組み
TestComplete の Vision AI は、人工知能を活用し、技術的なプロパティではなく視覚的な外観に基づいて UI 要素を識別します。アプリケーションのスクリーンショットを分析し、ボタン、テキスト フィールド、画像、その他のコントロールの外観や配置を把握することで、位置を特定します。
その実用的な利点は明白です。Vision AI は、プロパティ ベースのツールでは対応できないアプリケーションのテストが可能であり、ユーザーにとって視覚的な外観が一貫していても、UI の実装が変更された場合でもテストの安定性を維持できます。
チームが必要としているのは、単なるテスト結果だけではありません。コンプライアンスの証拠や、監査対応可能なレポートも求められます。Vision AI は、複雑な UI を持つビジネスに不可欠なアプリケーションに対して、再現性のある検証を可能にします。これにより、TestComplete のテスト自動化機能をさらに強化します。
TestComplete の実装が特に効果的である理由
実運用レベルの AI モデル
当社のモデルは、フォーチュン 500 企業での導入事例を含む、多様なエンタープライズ アプリケーションを用いて検証済みです。これは実験的な技術ではなく、実世界の複雑な環境において実戦的な検証を経たものです。
コンテキストに応じた要素識別
Vision AI は、単にピクセルを照合するだけでなく、要素の目的や文脈を理解します。位置や周囲の要素を把握することで、見た目が似ている複数のボタンを区別することができます。
自動モードと手動モード
プロパティ ベースの識別において、非対応のコントロールや不安定なプロパティに遭遇した場合、Vision AI は自動フェイル オーバーとして機能します。また、視覚認識が最も信頼性の高いアプローチとなる特定のシナリオでは、視覚認識を直接使用することも可能です。自動フェイル オーバーとして使用する場合、手動でのモード切り替えやスクリプトの修正が不要となり、システムを柔軟に制御できます。
テキスト抽出のための Google Vision API と組み合わせることで、Vision AI はグラフィック、チャート、またはあらゆる視覚要素に表示されるテキストを読み取り、検証することができます。これは、データ可視化やレガシー端末画面のテストに不可欠な機能です。
Vision AI の実際の活用事例
テスト チームは、さまざまなシナリオで Vision AI を活用しています。その例をいくつかご紹介します。
- 金融取引プラットフォーム:
キャンバス上に描画されたチャート要素を識別し、純粋にグラフィックとして表示されるリアルタイムの市場データを抽出・検証します。 - エンジニアリング設計ソフトウェア:
独自のグラフィックス エンジンを搭載した CAD アプリケーションにおいて、カスタム ツールバーや特殊なコントロールを視覚的に認識することで、自動化を実現します。 - レガシー保険システム:
標準外のコントロールやプロパティの公開範囲が限定されている基幹業務アプリケーションに対し、テスト カバレッジを確保します。 - リモート デスクトップ アプリケーション:
Citrix やリモート デスクトップを通じて提供される、インターフェイス全体が単一のレンダリング画像として表示されるアプリケーションをテストします。 - 組み込み医療機器:
臨床環境に導入される前に、特注の医療用インターフェイスにおける特殊なコントロールの検証を行います。
Vision AI がハイブリッド オブジェクト認識を補完する仕組み
TestComplete の Vision AI は、プロパティ ベースの認識や光学文字認識 (OCR) を補完し、より広範な自動化を実現するハイブリッドな認識アプローチを提供します。この点が決定的な違いとなります。
アプリケーションが安定したプロパティを公開している場合、プロパティ ベースの識別が依然として最も効率的な手法です。これは高速かつ正確で、標準的なコントロールに対して非常に効果的に機能します。アプリケーションが意味のあるテキストを表示しているものの、そのテキストがオブジェクト モデルを通じて明確に公開されていない場合、それが OCR の適用場面となります。Vision AI は、プロパティが利用できない場合、信頼性が低い場合、または視覚的な検証が特に必要とされる場合に活用されます。
このハイブリッド モデルには、いくつかの利点があります。
自動最適化
テストを作成する際、どのオブジェクト検出機能を使用するかを選択することも、TestComplete に各要素に最適な認識方法をインテリジェントに選択させることもできます。手動で決定する必要はありません。システムは、プロパティ ベースの識別が利用可能で信頼できる場合はそれを使用し、利用できない場合は Vision AI に切り替えます。
より広範なアプリケーションの対応
この組み合わせにより、洗練された React コンポーネントを備えた最新の Web アプリケーションから、独自のコントロールを備えたレガシーなデスクトップ システムまで、すべてを単一の自動化フレームワーク内で処理できます。
メンテナンス負担の軽減
UI の実装が変更されても視覚的な外観が一貫している場合、Vision AI がテストの安定性を維持します。プロパティが安定している場合は、プロパティ ベース テストが効率性を提供します。さまざまな種類の変更に対して、柔軟性を確保できます。
柔軟なテスト戦略
多様なアプリケーション ポートフォリオを抱えるチームにとって、このハイブリッド アプローチにより、複数のテスト ツールを導入する必要がなくなります。最新の Angular アプリであれ、15 年前のデスクトップ アプリケーションであれ、TestComplete は各シナリオに適した認識方法を提供します。
Vision AI に関するよくある質問
開発チームが初めて Vision AI について耳にした際、以下のような質問が挙げられます:
これは、プロパティ ベースのテストの使用をやめるべきだという意味ですか ?
いいえ。プロパティが利用可能で安定している場合は、プロパティ ベースの識別が依然として主要な手法です。Vision AI は、プロパティ ベースのアプローチでは不十分な場合に、可能性を広げるものです。
UI の変更にはどのように対応しますか ?
Vision AI は、技術的な実装が変更されても、視覚的な外観が一貫している限り、安定性を維持します。大幅な視覚的な変更がある場合は、視覚的な参照を更新する必要があるかもしれません。これは、プロパティの変更によってプロパティ ベース テストの更新が必要になるのと同様です。
Vision AI はパフォーマンスにどのような影響を与えますか ?
Vision AI はテスト実行速度が最適化されています。視覚認識はプロパティ ベース テストよりも計算負荷が高いものの、実際のテスト実行におけるパフォーマンスへの影響は最小限であり、これが唯一の実用的な認識方法である場合には、そのトレードオフは十分に価値があります。
既存のテストでこれを使用できますか ?
はい。Vision AI は TestComplete の既存のテスト フレームワークに自然に統合されます。すべてを書き換えることなく、既存のテスト構成に視覚認識を追加することができます。
Vision AI がもたらす実践的な効果
Vision AI の真の価値は、テスト チームがそれを活用して何を実現できるかにあります。
従来型のツールではカスタム コントロールと連携できなかったため、これまで手動で行っていたワークフローを自動化できるようになったと、多くのチームから報告されています。レガシー システムを抱える組織でも、アプリケーションのモダン化プロジェクトを待つことなく、ようやく包括的なテスト カバレッジを実現できます。デスクトップと Web、レガシーとモダンといった混合環境でテストを行うチームは、複数のツールを維持管理する代わりに、単一の自動化プラットフォームを利用できます。
おそらく最も重要な点は、チームが自動化ツールとの格闘に費やす時間を減らし、実際のソフトウェア品質向上により多くの時間を割けるようになることです。TestComplete は、安全で安定し、スケーラブルなテスト自動化を保証することでアプリケーションの完全性を実現します。これにより、チームは製品が意図した通りに動作することを確信でき、AI 規模でのコンプライアンス遵守と監査対応も維持できます。テスト対象のアプリケーションがどのように構築されていようとも、自動化ツールが確実に連携できるようになれば、テスト自動化は絶え間ないメンテナンスの負担ではなく、業務を推進する原動力となります。
Vision AI とともに進化するテスト自動化
TestComplete の Vision AI は、単に機能を追加するだけでなく、実際のテスト自動化における課題を解決するという当社の取り組みを体現しています。これは、企業のテスト チームが、必ずしも明確なパターンに当てはまらない多様で複雑なアプリケーションに直面しているという認識に基づいており、自動化ツールはその現実に適応する必要があるという考えから生まれました。
この機能は 2026 年 6 月 1 日に正式リリースされました。ぜひ、Vision AI が貴社のチームにどのようなメリットをもたらすか、ご確認ください。
複雑なインターフェイス、レガシー システム、カスタム コントロール、仮想化環境などがテスト上の課題となっている場合、Vision AI は実用的な解決策となります。TestComplete の無料トライアルを開始して、ビジョン ベースの認識技術がテスト自動化の可能性をいかに広げるか、ぜひご体験ください。
この資料は、SmartBear Blog で公開されている「Why we built vision AI into TestComplete: Solving the complex app testing challenge 」の日本語参考訳です。
