「UI要素」とは、アプリケーションやWebサービスの画面上のパーツのことです。User Interfaceを構成する要素です。
PADの自動化では、ローカルのアプリケーションやブラウザ上のUI要素を取得することで、「ボタンを押す」「チェックを付ける」「画像を開く」などの動作準備を行います。
ローカルでもブラウザでもやることは同じなんですが、一応両方例をあげます。
「ウィンドウの取得」アクションの場合
UI要素の追加
![ウィンドウの取得1](https://sunagitsune.com/wp-content/uploads/2021/12/5e977badaaa1a213e728d4b4e74b71ce.png)
ウィンドウの取得では、PCにインストールされたアプリケーションのUI要素を追加できます。
アクションペインのUIオートメーション→Windowsから追加できます。
アクションペインのUIオートメーション→Windowsから追加できます。
![ウィンドウの取得2](https://sunagitsune.com/wp-content/uploads/2021/12/4a68929312ca601f8cabc79ee34cb60b.png)
追加するとこんな感じでダイアログが表示されるので、
![ウィンドウの取得5](https://sunagitsune.com/wp-content/uploads/2021/12/af153767ec06c16c1885a40626df118c.png)
UI要素→UI要素の追加をクリックします。
![ウィンドウの取得6](https://sunagitsune.com/wp-content/uploads/2021/12/b6e941255579f5fc034919ef6768a851.png)
追跡セッションが開くので、
![ウィンドウの取得7](https://sunagitsune.com/wp-content/uploads/2021/12/9dc56a985d44cec185a851db6ae2df06.png)
追加したいUI要素にマウスカーソルを合わせ、Ctrlを押しながらクリックします。
![ウィンドウの取得8](https://sunagitsune.com/wp-content/uploads/2021/12/c0ee67a598ada39bad99ef3624e1aa4b.png)
要素が追跡セッションに追加されたのを確認して、完了を押します。
UI要素の確認、変更
![ウィンドウの取得9](https://sunagitsune.com/wp-content/uploads/2021/12/30cc21af6c1e5bf4f0d1a83c4617a475.png)
これで今追加したUI要素(ExcelのA1セル)はPADから操作できる対象になりました。
![ウィンドウの取得10](https://sunagitsune.com/wp-content/uploads/2021/12/e86eca039263b4e470e9c857e8676882.png)
右のアイコンにカーソルを合わせると、どういったUI要素が取得されているかが確認できます。
![ウィンドウの取得11](https://sunagitsune.com/wp-content/uploads/2021/12/fff53e0c6ead2f28a317ac1c2e2b8d7a.png)
再度UI要素をクリックすると、他のUI要素を追加したり、選択しているUI要素を変更することができます。
取得したUI要素の操作
![ウィンドウの取得12](https://sunagitsune.com/wp-content/uploads/2021/12/9d222df4a6e8f61b79178735f081b204.png)
実際に取得したUI要素をダブルクリックさせてみると、
![ウィンドウの取得13](https://sunagitsune.com/wp-content/uploads/2021/12/a564507ad4e16231251310239c8dfa95.png)
A1セルがダブルクリックされ、編集モードになることが確認できます。
「Webページ上の要素の詳細を取得します」アクションの場合
UI要素の追加
![PowerAutomateDesktop webページ上の要素の詳細1](https://sunagitsune.com/wp-content/uploads/2022/01/32838787c98fa67cf31382b37d2a9cee.png)
今度はブラウザ上のUI要素を取得してみます(「ウィンドウの取得」でも可能です)。
ブラウザー自動化→Webデータ抽出→Webページ上の要素の詳細を取得しますをクリックします。
ブラウザー自動化→Webデータ抽出→Webページ上の要素の詳細を取得しますをクリックします。
![PowerAutomateDesktop webページ上の要素の詳細2](https://sunagitsune.com/wp-content/uploads/2022/01/653825bd3235e06955b92d68162eaa34.png)
また、ブラウザを起動する必要があるので、好きなブラウザの起動を追加し、
![PowerAutomateDesktop webページ上の要素の詳細3](https://sunagitsune.com/wp-content/uploads/2022/01/b4029f96ba5e695892af40f0d011c721.png)
ブラウザ起動→要素の詳細を取得の順に並べます。
![PowerAutomateDesktop webページ上の要素の詳細4](https://sunagitsune.com/wp-content/uploads/2022/01/2909f78eb6c3f7428c2b66ddbda5470f.png)
詳細を取得のWebブラウザーインスタンスには起動したブラウザの変数を指定し、UI要素→UI要素の取得とクリックします。
![PowerAutomateDesktop webページ上の要素の詳細5](https://sunagitsune.com/wp-content/uploads/2022/01/690649b0964d9001319c0a8631405e59-650x170.png)
指定したページ上の適当な要素を選び、Ctrlを押しながらクリックします。
![PowerAutomateDesktop webページ上の要素の詳細6](https://sunagitsune.com/wp-content/uploads/2022/01/9940d420a4d63b909a10e41fde26bfc0.png)
追跡セッションに要素が追加されたのを確認したら、完了をクリックします。
UI要素の確認、変更
![PowerAutomateDesktop webページ上の要素の詳細7](https://sunagitsune.com/wp-content/uploads/2022/01/ca5d3b0dd85567eafbff1fad43a75007-650x397.png)
UI要素が自動的にセットされます。右のアイコンから内容を確認でき、
![PowerAutomateDesktop webページ上の要素の詳細8](https://sunagitsune.com/wp-content/uploads/2022/01/761b60f8fba8b5ba45fb8d5ab95d1d45.png)
お好みでさらにUI要素を追加したり、切り替えたりすることができます。
取得したUI要素の操作
![PowerAutomateDesktop webページ上の要素の詳細9](https://sunagitsune.com/wp-content/uploads/2022/01/62be1b22ef9d15aa303d14194cf548f2.png)
今回は次のページへ進むボタンを取得したので、Webページのリンクをクリックしますアクションを追加し、取得したUI要素をクリックさせてみると、
![PowerAutomateDesktop webページ上の要素の詳細10](https://sunagitsune.com/wp-content/uploads/2022/01/fd13bebed747439c0e30ed66e36fd3b7.png)
ページが起動した後、指定した要素がクリックされることが確認できます。
補足事項
![ウィンドウの取得14](https://sunagitsune.com/wp-content/uploads/2021/12/75693e2fec28fdd49fce529f909b530b.png)
UI関連は割と簡単にエラーになります。
たとえばローカルのほうの例で、Excelで別のシートを選んでおくと、
たとえばローカルのほうの例で、Excelで別のシートを選んでおくと、
![ウィンドウの取得15](https://sunagitsune.com/wp-content/uploads/2021/12/6b147c3f631c9a1b1b0ebef8af208906.png)
UI要素がうまく取得できず、失敗します。アプリにアップデートなどの変更が入ってもエラーの原因になりますし、ブラウザのタグなどが変更されてもエラーになります。
一回作っても終わりではなく、時々メンテナンスをする必要があるものだとご承知ください。
一回作っても終わりではなく、時々メンテナンスをする必要があるものだとご承知ください。
UI要素の削除
![UI要素の削除1](https://sunagitsune.com/wp-content/uploads/2022/01/47e3587febe6dc4a0cee9ac117b13889.png)
追加したUI要素を削除するには、画面右側のUI要素アイコンをクリックし、
![UI要素の削除2](https://sunagitsune.com/wp-content/uploads/2022/01/e55666728c2036b6165953fd9ef3cd34.png)
UI要素の管理画面を表示します。ここで新規追加・検索・並べ替えなどを行うこともできます。
![UI要素の削除3](https://sunagitsune.com/wp-content/uploads/2022/01/a9c7c40811a3a79abad3e8e4bb1fbd9d.png)
メニューを開き、使用していないUI要素を削除するをクリックすると、アクションに紐づけられていないUI要素を全て削除できます。
![UI要素の削除4](https://sunagitsune.com/wp-content/uploads/2022/01/17e2738ecae26c5f5156197cc97ef887.png)
個別のUI要素を削除するには、UI要素名で右クリック→削除をクリックするか、
![UI要素の削除5](https://sunagitsune.com/wp-content/uploads/2022/01/963e1c480123dc161e5ea2edd38e2c6a.png)
UI要素をクリックで選択した状態でDeleteを押し、表示されるダイアログで削除をクリックします。
親要素を削除すると、子要素も全て削除されます。
親要素を削除すると、子要素も全て削除されます。
![](https://sunagitsune.com/wp-content/uploads/2021/11/machine-learning-g0b59793cc_1280-160x90.png)
Microsoft Power Automate Desktop(PAD)アクション、使い方一覧
Power Automate Desktopの使い方を機能・分類別に参照できるまとめです。
コメント