私が記憶している限り、テキストとグラフィックは明確に区別されてきました。大まかに言えば、テキストは文字、単語、文、段落、あるいは文書単位で検索、コピー、編集などの操作が可能です。一方、グラフィックは変更不可能ではありませんが、一般的にピクセルレベルでしか操作できません（ただし、一部のベクター形式ではオブジェクトレベルの操作が可能です）。
もちろん、画像ファイル内にテキストが表示されるのはよくあることです。テキストは完全に読めるかもしれませんが、選択したり、コピーしたり、テキストとして他の操作を行うことはできません。これらの文字は単なるピクセルの集合体です。
私は、テキストとグラフィックの区別を曖昧にする便利なアプリを2つ使い始めました。Andrejs Boguckis氏とValerijs Boguckis氏によるTextSniperは、四角形を描けるものなら何でも光学文字認識（OCR）できると謳っており、画面上のあらゆる画像からテキストをコピーできます。また、Alco Blom氏のPhotos Searchは、MacとiOSの両方で、写真ライブラリ内の写真に含まれるテキストをOCRで認識するアプリを提供しており、画像に含まれるテキストで画像を検索し、そのテキストをコピーできます。どちらもOCRエンジンの制約内でうまく機能し、便利な機能を備えています。
TextSniperはMac用の洗練された小型ユーティリティです。前述の通り、その主な機能はMac画面上のテキストが表示されている部分でOCR処理を行い、選択したテキストをクリップボードにコピーして、好きな場所に貼り付けられるようにすることです。画像内のテキストのみのスクリーンショットを撮るようなものです。メニューバーのコマンド一覧から「テキストキャプチャ」を選択するか、キーボードショートカットを押して、画面上のテキストを含む領域を選択し、テキストを文書に貼り付けます。まさに魔法のように使えます。
コピーするたびにクリップボードの内容を置き換える必要はありません。「追加型クリップボード」オプションを使用すると、クリップボードにテキストを少しずつ追加し続けることができます。これは、ビデオやスライドプレゼンテーションからテキストを抽出する際に特に便利です。コピーした内容についてより詳しいフィードバックが必要な場合は、「テキスト読み上げ」オプションでコピーしたテキストを読み上げることができます。専門用語が使われる分野で働いている方のために、OCRエンジンの標準語彙にカスタム単語を追加するための設定画面も用意されています。
TextSniper には概念的に関連する機能もいくつかある。QR コードやバーコードを読み取って、検出したテキストをクリップボードにコピーすることもできる。(iPhone で QR コードをスキャンするのと同じように、クリックすると検出された URL がデフォルトの Web ブラウザで開かれるという通知を表示するオプションがあればと思う。) また、macOS の Continuity Camera 機能を利用して iPhone や iPad で写真を撮ったり、書類をスキャンしたり、スケッチを追加したりすることもできる (2018 年 9 月 27 日の記事“Mojave で Continuity Camera を使って写真を撮ったり書類をスキャンする方法”参照)。これらすべての機能は、ユーザーが指定したカスタムショートカットを使って呼び出すことができる。
TextSniperはmacOS 10.15 CatalinaとmacOS 11 Big Surの両方で動作しますが、Catalinaでは英語のみ認識されます。Big Surでは英語、フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語、中国語の7言語を認識します。開発者によると、他のラテンアルファベット言語でも動作する可能性があるものの、アクセント記号付き文字には問題があるとのことです。M1ベースのMacではネイティブで動作します。
テキストとグラフィックスという長年の分断から抜け出すのに、正直言って少し時間がかかりました。しかし、もし何かを再入力したり、スクリーンショットで我慢しているけれど実際にはテキストが見たい、という状況に陥ったら、ぜひTextSniperを試してみてください。開発者から直接購入する場合、Mac 1台で6.99ドル、Mac 3台で9.99ドル（TidBITS会員は25%割引）で、月額9.99ドルのSetappサブスクリプションサービスでも利用可能です。Mac App Storeからも9.99ドルで入手できます。
写真検索
Alco BlomのPhotos SearchはTextSniperと同じ基本コンセプトに基づいていますが、異なるスーパーパワーを提供します。macOSまたはiOS/iPadOSで動作するPhotos Searchは、フォトライブラリのコンテンツをスキャンし、見つかったすべてのテキストに対してOCR処理を行います。処理が完了すると（大規模なライブラリのインデックス作成には長い時間がかかりますが）、指定した文字列を含む写真を検索できるようになります。
スキャン期間を選択するインターフェースは少し使いにくいですが、画像のOCR処理中にフォト検索がCPUを圧迫するタイミングを制御できます。特にiPhoneでは、フォト検索はアプリが起動している間しかスキャンできないため、この点は顕著です。最近の写真からテキストを抽出したい人は多いでしょうから、過去1週間または1ヶ月分の写真だけをスキャンするオプションを用意するのは理にかなっています。そうすれば、スキャンはすぐに完了します。Macでは、期間を選択して「写真をスキャン」をクリックするだけです。
iOSでは、期間の右側にあるアイコンをタップすると、その期間のすべての画像がスキャンされます。また、画面左上のアイコンをタップすると、1枚の画像を選択してすぐに処理することもできます。
フォト検索で十分な枚数の画像をスキャンしたら、画像内のテキスト検索を開始できます。これは驚くほど便利な機能であることがわかりました。私がこの機能を初めて実際に使用したのは、病院の予約でCOVID-19ワクチン接種カードを求められたときでした。カードはサイズが不格好で再発行が難しいため、安全な場所に保管し、他の人には写真で見せるだけにしていました。しかし、写真を撮ったときには、タイトルを付けたり、お気に入りに登録したり、特別なアルバムに入れたりすることは考えていませんでした。最後に写真を撮ったのは大体いつだったかはわかっていましたが、それ以降のすべての画像をスクロールするのではなく、フォト検索を使用して「COVID」という単語を含む最近の画像をすべて表示しました。これは魔法のようでした。より一般的に役立つのは、スクリーンショットに表示されるテキストの検索です。私はスクリーンショットをたくさん撮ります。スクリーンショットのテキストは非常に明確で、フォト検索が認識しやすいからです。
すべての検索がうまくいくわけではありません。たとえば、私は High Noon Athletic Club の選手たちが新しいチームジャージを着てレースをしている写真をたくさん撮りました。ジャージではクラブ名が目立つのですが、太陽のロゴの上で曲がっていて、iPhone はスポーツ写真が苦手なので、多くの写真が少しぼやけています。写真検索では新しいジャージに「High Noon」は見つかりませんでした。しかし、High Noon の文字がまっすぐな古いロゴではうまく見つかりました (下のスクリーンショットがそれです)。新しいロゴでは、2 つの単語のうちの 1 つだけを検索することで、いくぶんか良い結果を得ることができます。Alco Blom によると、曲がった文字を認識できないのは Apple の Vision フレームワークの制限なので、Apple が将来これを改善してくれることを期待しています。
検索結果が不完全な場合でも、フォトライブラリ内の適切な場所に移動して手動で閲覧できます。ヒット数が多すぎる場合は、上部のボタンを使って特定の期間に絞り込むこともできます。
画像が見つかったら、Mac版ではダブルクリックして写真アプリで表示するか、iOS版ではタップして単体で表示します。Mac版では、選択した写真にキーワードを追加したり、選択した写真を新しいアルバムに追加したりするためのボタンがありますが、iPhone版では新しいアルバムを作成するためのボタンしかありません。
Macの「写真」メニュー、またはiPhone画面下部のツールバーボタンを使えば、他のオプションも利用できます。認識されたテキストを表示（およびコピー）したり、新しいテキストエディット文書で開いたり（Macのみ）、AppleのマップまたはGoogleマップで写真の位置を確認したりできます。「未処理としてマーク」オプションを使うと、画像をインデックスから削除できます。これにより、例えばAppleがVisionフレームワークをアップデートした後でも、再スキャンできるようになります。iPhone版では、上部のボタンを使って画像を削除したり、お気に入りとしてマークしたりすることもできます。
iOS固有の機能には、他のアプリとの連携を強化する拡張機能が2つあります。共有拡張機能を使えば、他のアプリで撮影した写真を写真ライブラリに追加することなくテキストを抽出できます。また、写真編集拡張機能を使えば、写真アプリで編集中の画像からテキストを抽出できるため、写真検索を使う手間が省けます。
Photos Search は、Mac 版と iPhone/iPad 版のバンドル版が 12.99 ドルで Mac App Store からのみ入手可能です。また、iOS 版のみを App Store から 4.99 ドルで入手することもできます。
Live Text についてはどうですか?
もちろん、誰もが気に留めていない問題は、Apple の Live Text 機能だ。この機能は、M1 ベースの Mac 上の macOS 12 Monterey と、少なくとも A12 Bionic チップを搭載したデバイスの iOS 15 で提供されることが約束されている (「WWDC 2021 で発表された 10 のクールな新機能」、2021 年 6 月 7 日、および「Apple の 2021 年オペレーティングシステムの実際のシステム要件」、2021 年 6 月 11 日を参照)。
Live Textが利用可能になると、TextSniperとPhotos SearchはSherlockされてしまうのでしょうか？macOSやiOSの以前のバージョンをお使いの方、あるいはLive Textの要件を満たしていないデバイスをお使いの方にとって、答えは明らかに「ノー」です。TextSniperとPhotos Searchは現在も問題なく動作しており、ソフトウェアやハードウェアをすぐにアップグレードしなくても、引き続きご利用いただけます。
Live Textはまだベータ版なので、TextSniperやPhotos Searchと最終的にどう比較されるかは分かりません。理論上は、Live Textを使えば写真、プレビュー、Safariなどのアプリで画像内のテキストを選択してコピーできるため、Macの対応アプリではTextSniperに取って代わる可能性があります。Live Textが使えるようになってからは、TextSniperよりも使い方が少し分かりやすく、スクリーンショットを撮るのではなく、テキストを選択してコピーするだけで済みました。しかし、私が簡単に試してみたところ、SafariでLive Textを使うには少し扱いにくく、OCRの品質もTextSniperほど高くありませんでした。
Live Textでは認識されたテキストを検索できるらしいのですが、10.5インチiPad ProのiPadOS 15ベータ6のSpotlightでは、この機能があまりにも不安定で失敗しがちだったため、写真検索と効果的に比較することはできませんでした。写真アプリ自体でのテキスト検索は全く機能しませんでした。Montereyベータ5を搭載したM1ベースのMacBook Airでは、Spotlightは写真アプリ内の画像内のテキスト検索はできないようでしたが、メモアプリに保存されている写真内のテキストは検索できました。
Live Textの機能については、正式リリースまで判断が待たれますが、TextSniperとPhotos Searchは今後も幅広い互換性と連携機能を提供し続けると予想しています。画像内に閉じ込められたテキストを操作したいと思ったことがあるなら、どちらか、あるいは両方が、必要なパワーを提供してくれるかもしれません。