AI Computer Visionは、UiPath Robotsがコンピュータ画面上のすべての要素を認識できるようにするAI技術です。これから、企業やRPA開発者は、フレームワークやオペレーティングシステム(OS)を問わず、ほとんどの仮想デスクトップ(VDI)環境でタスクを自動化できるようになりました。
AI Computer Visionを使えば、ロボットは人間と同じように画面上の要素を視覚的に認識できます。
AI Computer Visionの資料(英語)
Flash、Silverlight、PDF、画像など、画面上に表示された、より多くの項目や要素をロボットに認識させ、自動化できるようになりました。
画像ベースの自動化や、セレクターベースのターゲット選定などで生じる問題を軽減します。
デスクトップおよびウェブアプリケーション向け VDI 環境(Citrix、VMWare、Microsoft RDP、VNC など)にも対応しています。
画面上のウィザードで、選択した項目に関する詳細情報の表示、検証、通知の設定ができます。
レコーダーを使って完全な視覚情報ベースの自動化を開発できるので、高度な画像認識技術は不要です。
Windows、Linux、Android、その他のOSにおける自動化に対応します。
仮想デスクトップ(VDI)とデスクトップをまたがる自動化がシンプルに開発できます。
SaaSを介したデプロイも、LinuxやWindowsといったオンプレミスへのデプロイも可能です。Desktop Serverも利用可能になりました。
ドロップダウンリストやチェックボックス要素を含むオートメーションも可能です。
RPAのロボットは、ウェブページやコンピューターの画面上のセレクターを認識することによって動作します。しかし、仮想デスクトップ(VDI)では、従来のユーザーインターフェイスとは異なり、リモートデスクトップの画像がストリーミングされます。
そのため仮想デスクトップ(VDI)の場合、ロボットがセレクターを容易にまたは正確に認識し動作するのは事実上不可能でした。
しかしAI Computer Visionがあれば、たとえ仮想デスクトップ(VDI)経由でも、ロボットは必要な要素を「認識」できます。
UiPathのロボットは、カスタムスクリーン OCR※やテキストあいまい検索と、マルチ・アンカー・システムとを組み合わせることで、画面上のあらゆる要素を人間の目のように認識します。
※日本語は未対応(2020年12月時点)
このトレーニング動画(英語)では、AI Computer Visionの認識能力が従来のセレクター方式とどう異なるかを、実際に動作させながら説明しています。
AI Computer Visionを使えば、RPA開発者にとって使い慣れたワークフローはそのままに、セレクターへの依存を回避できます。認識できるUI要素が増えるため、より多くの業務を自動化できます。