Power Automate Desktopでマウスを画像に自動的に移動・クリックする方法

IT

マウスを画像に移動します」では、画面上から特定の画像を探し、見つかるとその画像の上にマウスを移動/クリックさせることができます。ブラウザ上の画像でも(表示されてれば)可能です。

スポンサーリンク

マウスを画像に移動します

pad マウスを画像に移動します1
マウスを画像に移動しますは、アクションペインのマウスとキーボードから追加できます。
pad マウスを画像に移動します2
追加するとダイアログが表示されます。

マウスの移動先の画像

pad マウスを画像に移動します3
ここに追加した画像を検索します。

画像のキャプチャ(検索する画像の追加)

pad マウスを画像に移動します4
画像がまだない場合、画像を選択してくださいから画像のキャプチャをクリックします。
pad マウスを画像に移動します5
検索させたい画像をドラッグで選択します。
pad マウスを画像に移動します6
作成した画像に名前をつけます。
pad マウスを画像に移動します7
追加した画像がマウスの移動先の画像に追加されました。一度保存して実行すると、
マウス 画像 移動
指定した画像を画面上から発見し、マウスが自動的に画像の上に置かれます。

※この場合、「すなぎつ」部分(検索する画像)がスクロールや最小化、他のウィンドウの陰になっているなどで表示されていなかったり、一部色がちがっていたり欠けてたりしても、検出に失敗することがあります。

pad マウスを画像に移動します9
画像は複数登録することもできます。どれか見付かった時点でその上に移動します。
pad マウスを画像に移動します10
マウスの移動先の画像に指定した画像は右クリックで削除できます。
pad マウスを画像に移動します11
マウスの移動先の画像から削除しても、画像登録は残るので、元データから消したい場合はこちらを削除します。

マウスの移動スタイル

pad マウスを画像に移動します12
すぐに移動を完了させるか、アニメーション付き(低速、標準速、高速)でマウスを移動させるかを選択できます。高速でも結構ゆっくりです。

発生回数

pad マウスを画像に移動します13
該当する画像が複数ある場合、どれを選ぶかを指定できます。画像の例でテストしたところでは1で一番上、2で真ん中、3で一番下の画像が選択されました(要テスト)。
pad マウスを画像に移動します14
4を指定すると、見付からないのでエラーになります。

マウスの移動後にクリックを送信します

pad マウスを画像に移動します15
ONにすると、マウスを画像の上に移動した後クリックを送信します。

クリックの種類

pad マウスを画像に移動します16
送信するクリックの種類を指定できます。

詳細

画像が表示されるまで待機します

pad マウスを画像に移動します21
画像が見付からない場合に、しばらく待つかどうかを設定できます。
pad マウスを画像に移動します22
ONの場合、失敗タイムアウトで何秒待つかを指定できます。

画像照合アルゴリズム

pad マウスを画像に移動します23
画像検索のアルゴリズムを基本詳細から選択できます。
基本ではちょっとちがっていても判定されますが、詳細だと厳密に同じ画像かどうかチェックされるようです。

画像に対するマウスの相対位置

pad マウスを画像に移動します24
画像を見付けた際、マウスの移動位置を少しずらすことができます。
pad マウスを画像に移動します25
たとえば右上を選択して実行すると、
pad マウスを画像に移動します26
マウスはこのあたり、図形の微妙に右上に移動します。

オフセット

pad マウスを画像に移動します27
どの程度マウスを画像から離すかをピクセルで指定できます(従って、画面の解像度によって実質的な移動距離が変わります)。
Xが大きいほど右、Yが大きいほど下にマウスが移動します。

許容値

pad マウスを画像に移動します28
元の画像との差異をどの程度許容するかを指定できます。数値が大きいほどズレを許容します。
基準値が10なんですが10だと同じ画像でも結構見逃すので、自分は適当に大き目な数値にして使っています。

画像の検索先

pad マウスを画像に移動します29
画像を画面全体から探すか、フォアグラウンドウィンドウ(最前面のウィンドウ)から探すかを指定できます。

検索モード

pad マウスを画像に移動します30
検索する領域を最初から絞っておくことができます。範囲が狭ければ、それだけかかる時間が短く、結果がタイトになります。
pad マウスを画像に移動します31
画像またはフォアグラウンドウィンドウの指定されたサブ領域を検索しますを選択すると、検索対象の範囲を数値で指定することができます。
pad マウスを画像に移動します32
サブ領域の選択→ドラッグで、選択範囲を自動入力することも可能です。

生成された変数

pad マウスを画像に移動します17
取得した画像の座標が変数として保存されます。{x}から値を他の変数に代入することができます。
pad マウスを画像に移動します18
変数が不要な場合、スイッチをオフにして変数を生成させないこともできます。

エラー発生時

pad マウスを画像に移動します19
エラー発生時の処理を設定できます。
pad マウスを画像に移動します20
詳細では、画像が見付からない、非インタラクティブモードでマウスを動かせない、マウスを移動できない、無効なサブ領域座標、十分な数の画像が見付からない場合の処理を個別に指定できます。
Microsoft Power Automate Desktop(PAD)アクション、使い方一覧
Power Automate Desktopの使い方を機能・分類別に参照できるまとめです。

コメント