iOS 15 と iPadOS 15 で最もクールな機能の一つが Live Text だ。これらのオペレーティングシステムを走らせれば、カメラ、写真、メモ、Safari アプリ (そして間違いなく近いうちにさらに多くのアプリが) で写真内のテキストを認識し、他のテキストと同じように選択できるようになる。そしてそれをコピーして他のアプリにペーストできる。システムワイド検索で写真内のテキストも見つけられる。(もし iOS 15 または iPadOS 15 にアップグレードできない、まだアップグレードしていない、あるいは macOS 12 Monterey が出荷される前に Mac で同様の機能を使いたいなら、2021 年 8 月 23 日の記事「TextSniper と Photos Search で画像内のテキストを操作する」を参照。Live Text がどこでも利用できるようになる後も、これらのユーティリティや類似のユーティリティの開発者たちは Apple が提供するものを超える方法を模索するだろうと私は思う。)
Live Textはすぐに役立ちます。家電製品の交換部品が必要な時は、内側のシールを写真に撮って型番を調べます。今では型番をコピーして検索エンジンに貼り付けることができるので、手動で書き写す必要はありません。名刺の写真を撮ったのに見つからない？検索すれば見つかります。調べたい本の一節を読んだら？写真を撮って、そのテキストをメモ帳に貼り付けて後で参照できます。
弊社のマイケル・コーエンがこの機能の賢い使い方を思いつきました。Libbyなどのテキストコピーができないアプリで何かを読んでいる場合は、スクリーンショットを撮って、そこからテキストをコピーすることができます。
Live Text を使用するには、A12 Bionic プロセッサ以上を搭載した iPhone または iPad が必要です。つまり、以下の条件を満たす必要があります。
- iPhone XR、XS、XS Max以降、iPhone SE（第2世代）を含む
- iPad Pro 12.9インチ（第3世代）以降
- iPad Pro 11インチ
- iPad Air（第3世代）以降
- iPad（第8世代）
- iPad mini（第5世代）
iOS 15 および iPadOS 15 の要件の詳細については、「Apple の 2021 年オペレーティング システムの実際のシステム要件」(2021 年 6 月 11 日) を参照してください。
Live Textは主に写真アプリとカメラアプリ、Safari、そしてシステム全体の検索で使われます。また、デバイスのカメラでLive Textを使えば、テキスト入力に対応しているアプリに実際のテキストを直接インポートすることもできます。それぞれの使い方は以下のとおりです。これらのOSの新機能に関する詳しいヒントについては、私の著書『 Take Control of iOS 15 and iPadOS 15』をご覧ください。
写真のライブテキスト
写真内のテキストは、他のテキストと同じように選択できます。テキストをタッチして長押しし、青色でハイライト表示されたら、青色のドラッグハンドルを動かして選択範囲を調整します。テキストを選択すると、テキストのコピー、すべてのテキストの選択、用語の検索などのオプションを含む、おなじみのポップオーバーが表示されます。
問題がある場合は、写真の右下隅にある [テキスト検出] ボタンをタップします。これにより、検出されたテキスト以外の画像が暗くなり、テキストが強調表示されます。
テキスト検出は通常、かなりうまく機能しますが、テキストが斜めになっていると、除外しようとしているテキストを強制的に選択させられたり、テキスト選択を調整できなくなったりするなど、奇妙なことが起こる可能性があります。
Live Photoを長押しするとアニメーションが再生され、テキストを選択するのにも長押しする必要があるので、Live Textがテキストを含むLive Photoとどのように連携するのか疑問に思うかもしれません。コツは、テキストから離れた場所を長押ししてLive Photoをアニメーション化することです。
カメラ内のライブテキスト
カメラロールを乱雑にしたくない場合は、カメラアプリで直接テキストをコピーできます。ファインダーをテキストに向けます。カメラアプリがテキストを検出すると、黄色の枠線が表示されます。
「テキスト検出」ボタンをタップすると、テキストが拡大表示され、簡単にコピーできるように固定されます。
これは、写真を撮って後でテキストをコピーするよりも面倒なので、あまり使用しません。
ライブテキストを検索
iOS 15とiPadOS 15では、写真内で認識したすべてのテキストがインデックス化され、検索が可能になります。しかし奇妙なことに、写真アプリではLive Textを検索できません。代わりに、ホーム画面の中央から下にスワイプしてシステム全体の検索を起動する必要があります（AppleはiOSとiPadOSではこれをSpotlightと呼んでいません）。「写真で見つかったテキスト」という見出しまで下にスクロールしてください。
Safari（および他のWebブラウザ）でのライブテキスト
写真アプリと同様に、Safariでも画像を長押ししてテキストを選択できます。iOSとiPadOSではすべてのWebブラウザがWebKitを使用するようAppleが義務付けていることを考えると、当然のことながら、BraveやFirefoxでも、そしておそらく他のブラウザでも動作するでしょう。
また、「写真」と同様に、画像をタッチして長押しして別のアクションを呼び出す必要がある場合（画像がリンクされているページのプレビューを表示するなど）は、テキストから離れた場所でタッチして長押しします。
ライブテキストをアプリに直接インポート
この機能に慣れるまでには少し時間がかかるかもしれませんが、デバイスのカメラでLive Textを使えば、テキスト入力に対応したあらゆるアプリに、現実世界のテキストを直接インポートできます。テキストフィールドをタップしてポップオーバーを表示し、「テキストをスキャン」アイコンをタップしてください。
画面の下半分にビューファインダーが表示され、テキストが黄色の枠で囲まれます。検出されたテキストはテキストフィールドに表示されますが、プレビューとしてのみ表示されます。これでよろしければ、「挿入」ボタンをタップしてください。（なぜ小文字になっているのかは不明です。）
ご覧のとおり、Live Text によるテキスト入力は非常にうまく機能しますが、使用には多少の慣れが必要です。
ライブテキスト用のVoiceOver
Live Textは、画像内のテキストをVoiceOverで読み上げることができるため、アクセシビリティにも優れた機能です。「設定」>「アクセシビリティ」>「VoiceOver」>「VoiceOver認識」に移動し、「テキスト認識」をオンにして有効にしてください。
VoiceOver が有効になっているときにテキスト付きの写真を表示する場合は、写真内のテキストをタップすると、VoiceOver によってテキストが読み上げられます。
ライブテキストの翻訳
最後にもう一つヒントを。翻訳アプリはシステムサービスになったので、写真内のテキストやカメラで撮影したテキストなど、選択したテキストを翻訳できるようになりました。テキストを選択すると表示されるポップオーバーのオプションの一つです。
これまでのLive Textのお気に入りの使い方は何ですか？ぜひコメント欄で教えてください！