（タッチモニター関連コラム）マルチタッチ対応の組み込み機器開発：ハード・ソフトの要件

スマートフォンやタブレット端末の普及は、マルチタッチ操作を身近なものにしました。
近年では、産業機器の制御パネルなどにも、タッチディスプレイが採用されるケースも増えています。
この記事では、マルチタッチ対応の組み込み機器開発における要件と重要ポイントについて解説します。

マルチタッチ対応の組み込み機器とは

マルチタッチとは何か、また、組み込み機器やその他の機器でなぜマルチタッチが求められるのか、以下の項目に分けて解説します。

• マルチタッチとは複数の接点を同時に認識する技術
• 組み込み機器でマルチタッチが必要とされる理由

それぞれ具体的に見ていきましょう。

マルチタッチとは複数の接点を同時に認識する技術

タッチ操作において、マルチタッチとは、画面上の複数の接触点を同時に検出して、それぞれの座標、動き、そして接触状態の継続を追跡する技術です。

単点でのタッチとは異なり、たとえば2本指でのピンチイン・ピンチアウトや、スワイプ、回転操作などがマルチタッチの代表例です。

マルチタッチを利用する際には「接点がいくつであるか（何本の指で触れているか）」だけではなく、各接点を安定して識別し続けられるかが重要なポイントです。

組み込み機器でマルチタッチが必要とされる事例

マルチタッチを使用する機器のうち、ユーザーに馴染み深いものとしてはスマートフォンや、スマートウォッチなどのデバイスです。

一方、組み込み機器においてもマルチタッチが求められる場合が多くあります。

たとえば近年では、自動車に標準搭載されているカーナビゲーションシステムや家電用の組み込み機器がイメージしやすいでしょう。

また、産業機械としては発電所のタービン制御機器や生産ライン制御システムなどにマルチタッチが採用されている例があります。

いずれの事例でも、限られた画面サイズで直感的に情報量の多い操作が自然に行えることが重要となります。

マルチタッチ対応に必要なハードウェア要件

次に、マルチタッチ対応に必要なハードウェア要件について、下記のポイントに分けて解説します。

• タッチパネルの性能（検出点数と応答速度）
• CPU・GPUの処理性能
• メモリとディスプレイ性能

それぞれ具体的に見ていきましょう。

タッチパネルの性能（検出点数と応答速度）

組み込み機器におけるマルチタッチ対応の実現には、タッチパネル側の性能が重要となりますが、その中でも同時検出点数と応答速度が重要です。

同時検出点数は、触れる指の本数ということになりますが、用途に応じて何点のマルチタッチが必要であるかを明確にする必要があります。

また、タッチ入力が行われた際の応答速度もタッチ入力体験において重要です。

なお、一般的なユーザーが生活の中で使用する機器と比べて、産業機器などでは特に、ノイズやカバーガラス越し、手袋越しでも同時検出・応答速度が確保できる点についても重要度が高いといえます。

CPU・GPUの処理性能

マルチタッチシステムにおいて、CPUはタッチ操作が行われた際のタッチイベントの取得、座標変換、ジェスチャーの判定などを行います。

CPUの性能が十分でない場合、ユーザー側からはタッチ操作を行ったのに、操作結果が画面に反映される、または機器に命令が伝わるまでにタイムラグが生じるため、ユーザー体験だけでなく機器制御として致命的な遅延となります。

また、GPUでは主に画面描画が処理されます。

特に拡大縮小・回転などの描画が行われるタッチパネルにおいては、GPUの性能が充分出ない場合、カクつきや処理落ちが発生し、操作感を大きく損なう危険性があります。

メモリとディスプレイ性能

メモリ容量と帯域は、UI更新、画像処理の際に大きく影響します。

メモリ容量や帯域が不足した場合、フレーム落ちが発生する可能性があります。

この場合、「処理は行われているのに、ユーザー側からは画面更新が行われていない」ように見えることによって、不要な連続タッチが行われてしまう危険も無視できません。

また、画面更新にはディスプレイ側の性能も重要です。画面更新性能（リフレッシュレート）や表示遅延は処理結果をいち早くディスプレイに表示する役割を担うため、この部分が遅いと、システム側が高速でも「反応の悪い画面」とユーザー側からは見えてしまいます。

マルチタッチを実現するソフトウェア条件

次に、マルチタッチを実現するソフトウェア条件について、下記のポイントに分けて解説します。

• OSとタッチドライバの対応
• ジェスチャー認識処理

それぞれ具体的に見ていきましょう。

OSとタッチドライバの対応

OSとタッチドライバは、複数の接点情報を検知し、押下（タッチ）・移動（スワイプ）・離脱などの一連の状態遷移を、正しい順序で検知し、上位層（OSなど）へ通知する必要があります。

OSごと、ドライバごとのイベント処理に十分な精度が確保されていないと、マルチタッチを行ってもたとえば単点入力として扱われてしまう場合や、ジェスチャーの入力順序が守られないなどの問題が発生するおそれがあります。

期待したUI動作とならない事態は、ユーザー体験を損なうばかりでなく、産業機器として重大インシデントに繋がる危険性があります。

ジェスチャー認識処理

ジェスチャー認識処理は、マルチタッチ処理で重要なポイントです。

検知する方法の例は以下の通りです。

• 複数指の距離変化で「ピンチイン・ピンチアウト」を検知する
• 移動方向によって「スワイプ」を検知する
• 接触時間により「ロングタッチ」を検知する

近年ではスマートフォンがマルチタッチデバイスとして主流であることから、スマートフォン向け主要OSでもジェスチャー認識処理のAPIなどが用意されています。

しかし、一般ユーザーが日常用途で使用する機器と異なり、産業用途では誤検出を防ぐ閾値設定や、業務画面における独自チューニングが必要となることが大半です。

マルチタッチ組み込み開発でよくある課題

マルチタッチ組み込み開発でよくある課題について、下記のポイントに分けて解説します。

• なぜタッチ操作に遅延（ラグ）が発生するのか？
• なぜ誤タッチやジェスチャーの誤認識が起きるのか？
• なぜUIの操作性が悪くなってしまうのか？

それぞれ具体的に見ていきましょう。

なぜタッチ操作に遅延（ラグ）が発生するのか？

タッチ操作の遅延（ラグ）は、単一の処理遅延とは限りません。

タッチパネルの検出、ドライバ処理、OSの入力処理、アプリ側の判定、画面描画のいずれかで処理停滞が起こっているか、あるいはCPU・GPUの処理限界の可能性もあります。

ラグが気になる場合には、まずどの部分で処理遅延が発生しているのかを特定することが重要です。

なぜ誤タッチやジェスチャーの誤認識が起きるのか？

誤タッチ・ジェスチャーの誤認識は、接点座標の揺れ、ノイズ混入、感度設定の不適切さが原因として多く挙げられます。

またこのほか、手袋やカバーガラス越しの操作においても、誤タッチ・誤認識が発生しやすくなります。

なぜUIの操作性が悪くなってしまうのか？

UIの操作性の問題は、必ずしもタッチパネル側の性能だけではなく、画面設計も大きく関わります。

マウスやキーボードの入力と異なり、指による入力が行われることを想定したボタンの大きさ、配置間隔、ジェスチャーと通常操作が競合しないような設計などにより、UIの操作性をタッチ入力に最適化する必要があります。

また、ボタンを押した際の色変化や入力を検知した際の簡易なエフェクトなど、視覚的なフィードバックを導入することも、操作性を高める方策として採用されることがあります。

まとめ

この記事では、マルチタッチ対応の組み込み機器開発における要件と重要ポイントについて解説しました。

マルチタッチ対応の組み込み機器やディスプレイは、一般的なオフィス用途のディスプレイやシステムとは異なる着眼点での選定が必要となる場合があります。

この記事で解説した内容を参考にして、マルチタッチシステムの導入や組み込み機器へのマルチタッチ操作の採用を検討してみてください。