Power Automate Desktop「画面上のテキストにマウスを移動する(OCR)」アクション
指定のテキストを見つけて、その場所にマウスを移動させるアクションです。
オプションでクリックさせることも可能です。
他のアクションでうまくマウス位置を指定できない場合に有効ですが、
移動先を探す処理に時間がかかり、マウスオーバーで変化するオブジェクトの指定は不向きです。
可能な限り他のアクションを推奨します。
- 1. 利用方法
- 1.1. パラメータ
- 1.2. 生成された変数
- 2. Power Automate Desktopを効率的に習得したい方へ
- 3. 関連記事
利用方法
「アクション」の「マウスとキーボード」より「画面上のテキストにマウスを移動する」をドラッグします。
パラメータの設定画面が表示されるので値を指定します。
パラメータ
OCRエンジンの種類
※2021年12月のアップデートで「Windows OCR エンジン」 が追加されました。
「Windows OCR エンジン」か 「Tesseractエンジン」を指定します。
（OCRエンジン変数は廃止されました）
「Windows OCR エンジン」の方が設定の手間が少ないため、基本的にはこちらを推奨します。
検索するテキスト
マウスの移動位置とするテキストを指定します。
正規表現
ONにすると「検索するテキスト」を正規表現として扱います。
正規表現は多岐に渡りますが多用する代表的なものは次の通りです。
例として、「aB1C2dE」という文字列を解析します。
| 指定 | 説明 | 結果（赤字部分） |
|---|---|---|
| [0-9] | 数値 | aB1C2dE |
| [a-zA-Z] | アルファベット | aB1C2dE |
| B.*2 | Bから始まり2で終わる | aB1C2dE |
発生回数
何回目に見つかったテキストに移動するかを指定します。
その回数分、見つからなければエラーになります。
テキストの検索先
画像全体か、アクティブなウインドウのみかを指定します。
検索範囲が広いほど、一致する確率は高くなりますが、処理は重くなります。
狭い場合はその逆です。
検索モード
サブ領域を指定した場合、X・Y座標で位置も指定します。
より狭い範囲での検索が可能です。
前の位置からマウスを移動します
マウス移動の速度を選択します。
Windows OCR の言語
「Windows OCR エンジン」の設定です。
追加設定なしで日本語を利用可能です。
他の言語を使う
「Tesseractエンジン」の設定です。
英語、ドイツ語、スペイン語、フランス語、イタリア語以外であればONにします。
言語コード
「Tesseractエンジン」の設定です。
英語、ドイツ語、スペイン語、フランス語、イタリア語以外の場合に指定します。
日本語を指定する場合はjpnを指定します。
言語データパス
「Tesseractエンジン」の設定です。
jpn.traineddataとjpn_vert.traineddataをダウンロードし、
その2ファイルを保存したディレクトリを指定します。
Tesseract言語
「Tesseractエンジン」の設定です。
英語、ドイツ語、スペイン語、フランス語、イタリア語の何れかであれば
この中から指定します。（他の言語を使う、がONの場合は表示されません）
画像の幅・高さの乗数
高解像度の画像や画面の場合、調整します。
テキストが表示されるまで待機します
ONの場合、テキストを見つけられないに指定秒数待ちます。
OFFの場合、待たずにエラーになります。
テキストが時間内に表示されない場合は失敗します
「テキストが表示されるまで待機します」ONの場合に表示されます。
テキストを見つけられないに待つ秒数です。
マウスの移動後にクリックを送信します
移動後にクリックを発生させる場合はONに変更します。
クリックの種類
「マウスの移動後にクリックを送信します」がONの場合に表示されます。
クリック前の待機秒数
「マウスの移動後にクリックを送信します」がONの場合に表示されます。
テキストに対するマウスの相対位置
移動先の位置を左上隅、中央上部、右上隅、左中央、
中央、右中央、左下隅、中央下、右下隅から選択します。
オフセットX・Y
移動先をピクセル単位で調整します。
生成された変数
アクションの結果が格納されます。この変数名は変更可能です。
同一アクションを複数、使用する場合は、どのような値かを示す名前に変更推奨です。
その後のアクションで利用しない場合はOFFにしておきましょう。
LocationOfTextFoundX、LocationOfTextFoundY
検索結果のX位置、Y位置が格納されます。
WidthOfTextFound、HeightOfTextFound
検索結果の幅と高さが格納されます。
Power Automate Desktopを効率的に習得したい方へ
当サイトの情報を電子書籍用に読み易く整理したコンテンツを
買い切り950円またはKindle Unlimited (読み放題) で提供中です。
Word-A4サイズ：1,700ページの情報量で
（実際のページ数はデバイスで変わります）
基本的な使い方から各アクションの詳細な使い方、
頻出テクニック、実用例を紹介。（目次）
体系的に学びたい方は是非ご検討ください。
アップデートなどの更新事項があれば随時反映しています。（更新履歴）
なお購入後に最新版をダウンロードするには
Amazonへの問い合わせが必要です。