Power Automate DesktopにおけるUI要素の追加・削除方法

finger IT

「UI要素」とは、アプリケーションやWebサービスの画面上のパーツのことです。User Interfaceを構成する要素です。
PADの自動化では、ローカルのアプリケーションやブラウザ上のUI要素を取得することで、「ボタンを押す」「チェックを付ける」「画像を開く」などの動作準備を行います。
ローカルでもブラウザでもやることは同じなんですが、一応両方例をあげます。

スポンサーリンク

「ウィンドウの取得」アクションの場合

UI要素の追加

ウィンドウの取得1
ウィンドウの取得では、PCにインストールされたアプリケーションのUI要素を追加できます。
アクションペインのUIオートメーションWindowsから追加できます。
ウィンドウの取得2
追加するとこんな感じでダイアログが表示されるので、
ウィンドウの取得5
UI要素UI要素の追加をクリックします。
ウィンドウの取得6
追跡セッションが開くので、
ウィンドウの取得7
追加したいUI要素にマウスカーソルを合わせ、Ctrlを押しながらクリックします。
ウィンドウの取得8
要素が追跡セッションに追加されたのを確認して、完了を押します。

UI要素の確認、変更

ウィンドウの取得9
これで今追加したUI要素(ExcelのA1セル)はPADから操作できる対象になりました。
ウィンドウの取得10
右のアイコンにカーソルを合わせると、どういったUI要素が取得されているかが確認できます。
ウィンドウの取得11
再度UI要素をクリックすると、他のUI要素を追加したり、選択しているUI要素を変更することができます。

取得したUI要素の操作

ウィンドウの取得12
実際に取得したUI要素をダブルクリックさせてみると、
ウィンドウの取得13
A1セルがダブルクリックされ、編集モードになることが確認できます。

「Webページ上の要素の詳細を取得します」アクションの場合

UI要素の追加

PowerAutomateDesktop webページ上の要素の詳細1
今度はブラウザ上のUI要素を取得してみます(「ウィンドウの取得」でも可能です)。
ブラウザー自動化Webデータ抽出Webページ上の要素の詳細を取得しますをクリックします。
PowerAutomateDesktop webページ上の要素の詳細2
また、ブラウザを起動する必要があるので、好きなブラウザの起動を追加し、
PowerAutomateDesktop webページ上の要素の詳細3
ブラウザ起動要素の詳細を取得の順に並べます。
PowerAutomateDesktop webページ上の要素の詳細4
詳細を取得のWebブラウザーインスタンスには起動したブラウザの変数を指定し、UI要素UI要素の取得とクリックします。
PowerAutomateDesktop webページ上の要素の詳細5
指定したページ上の適当な要素を選び、Ctrlを押しながらクリックします。
PowerAutomateDesktop webページ上の要素の詳細6
追跡セッションに要素が追加されたのを確認したら、完了をクリックします。

UI要素の確認、変更

PowerAutomateDesktop webページ上の要素の詳細7
UI要素が自動的にセットされます。右のアイコンから内容を確認でき、
PowerAutomateDesktop webページ上の要素の詳細8
お好みでさらにUI要素を追加したり、切り替えたりすることができます。

取得したUI要素の操作

PowerAutomateDesktop webページ上の要素の詳細9
今回は次のページへ進むボタンを取得したので、Webページのリンクをクリックしますアクションを追加し、取得したUI要素をクリックさせてみると、
PowerAutomateDesktop webページ上の要素の詳細10
ページが起動した後、指定した要素がクリックされることが確認できます。

補足事項

ウィンドウの取得14
UI関連は割と簡単にエラーになります。
たとえばローカルのほうの例で、Excelで別のシートを選んでおくと、
ウィンドウの取得15
UI要素がうまく取得できず、失敗します。アプリにアップデートなどの変更が入ってもエラーの原因になりますし、ブラウザのタグなどが変更されてもエラーになります。
一回作っても終わりではなく、時々メンテナンスをする必要があるものだとご承知ください。

UI要素の削除

UI要素の削除1
追加したUI要素を削除するには、画面右側のUI要素アイコンをクリックし、
UI要素の削除2
UI要素の管理画面を表示します。ここで新規追加・検索・並べ替えなどを行うこともできます。
UI要素の削除3
メニューを開き、使用していないUI要素を削除するをクリックすると、アクションに紐づけられていないUI要素を全て削除できます。
UI要素の削除4
個別のUI要素を削除するには、UI要素名で右クリック→削除をクリックするか、
UI要素の削除5
UI要素をクリックで選択した状態でDeleteを押し、表示されるダイアログで削除をクリックします。
親要素を削除すると、子要素も全て削除されます。
Microsoft Power Automate Desktop(PAD)使い方まとめ
Power Automate Desktopの使い方を機能・分類別に参照できるまとめです。

コメント