Power Automate Desktop「画面上のテキストにマウスを移動する(OCR)」アクション

指定のテキストを見つけて、その場所にマウスを移動させるアクションです。

オプションでクリックさせることも可能です。

他のアクションでうまくマウス位置を指定できない場合に有効ですが、

移動先を探す処理に時間がかかり、マウスオーバーで変化するオブジェクトの指定は不向きです。

可能な限り他のアクションを推奨します。

利用方法

「アクション」の「マウスとキーボード」より「画面上のテキストにマウスを移動する」をドラッグします。

パラメータの設定画面が表示されるので値を指定します。

パラメータ

OCRエンジンの種類

2021年12月のアップデートで「Windows OCR エンジン」 が追加されました。

「Windows OCR エンジン」か 「Tesseractエンジン」を指定します。

(OCRエンジン変数は廃止予定の非推奨機能)

「Windows OCR エンジン」は設定の手間が少ないため使いやすいです。

検索するテキスト

マウスの移動位置とするテキストを指定します。

正規表現

ONにすると検索するテキストを正規表現として扱い、

開始位置だけでなく一致するテキストも取得します。

正規表現は多岐に渡りますが多用する代表的なものは次の通りです。

例として、「aB1C2dE」という文字列を解析します。

指定説明結果(赤字部分)
[0-9]数値aB1C2dE
[a-zA-Z]アルファベットaB1C2dE
B.*2Bから始まり2で終わるaB1C2dE

発生回数

何回目に見つかったテキストに移動するかを指定します。

その数だけ見つからなければエラーになります。

テキストの検索先

画像全体か、アクティブなウインドウのみかを指定します。

検索範囲が広いほど、一致する確率は高くなりますが、処理は重くなります。

狭い場合はその逆です。

検索モード

サブ領域を指定した場合、X・Y座標で位置も指定します。

より狭い範囲での検索が可能です。

前の位置からマウスを移動します

マウス移動の速度を選択します。

Windows OCR の言語

「Windows OCR エンジン」の設定です。

追加設定なしで日本語を利用可能です。

他の言語を使う

「Tesseractエンジン」の設定です。

英語、ドイツ語、スペイン語、フランス語、イタリア語以外であればONにします。

言語コード

「Tesseractエンジン」の設定です。

英語、ドイツ語、スペイン語、フランス語、イタリア語以外の場合に指定します。

日本語を指定する場合はjpnを指定します。

言語データパス

「Tesseractエンジン」の設定です。

jpn.traineddatajpn_vert.traineddataをダウンロードし、

その2ファイルを保存したディレクトリを指定します。

Tesseract言語

「Tesseractエンジン」の設定です。

英語、ドイツ語、スペイン語、フランス語、イタリア語の何れかであれば

この中から指定します。(他の言語を使う、がONの場合は表示されません)

画像の幅・高さの乗数

高解像度の画像や画面の場合、調整します。

テキストが表示されるまで待機します

テキストを見つけられないに指定秒数待ちます。

マウスの移動後にクリックを送信します

クリックを発生させる場合はONに変更します。

テキストに対するマウスの相対位置

移動先の位置を左上隅、中央上部、右上隅、左中央、

中央、右中央、左下隅、中央下、右下隅から選択します。

オフセットX・Y

移動先をピクセルで調整します。

生成された変数

アクションの結果が格納されます。この変数名は変更可能です。

同一アクションを複数、使用する場合は、どのような値かを示す名前に変更推奨です。

その後のアクションで利用しない場合はOFFにしておきましょう。

LocationOfTextFoundX、LocationOfTextFoundY

検索結果のX位置、Y位置が格納されます。

WidthOfTextFound、HeightOfTextFound

検索結果の幅と高さが格納されます。

Power Automate Desktopを効果的に習得したい方へ

当サイトの情報を電子書籍用に読み易く整理したコンテンツを

買い切り1,250円またはKindle Unlimited (読み放題) で提供中です。

Word-A4サイズ:1,600ページの情報量で

(実際のページ数はデバイスで変わります)

基本的な使い方から各アクションの詳細な使い方、

頻出テクニック、実用例を紹介。

体系的に学びたい方は是非ご検討ください。

アップデートなどの更新事項があれば随時反映しています。

なお購入後に最新版をダウンロードするには

Amazonへの問い合わせが必要です。

関連記事

「マウスとキーボード」の使い方の記事一覧