aeroTAP (エアロタップ) タッチレスインターフェイス| 基礎知識 Kowlege Base

タッチレスとは?

タッチレスとは、物理的な接触を必要とせずに、機器やシステムを操作する技術を指します。近年では工場や医療、公共機関など様々な現場で活用が広がっており、衛生管理や省力化、だけでなく作業効率向上の観点から注目されています。

どんなメリットがあるか?
ユーザーインターフェイスをタッチレス化することで次のようなメリットがあります。

■ 非接触で衛生的

■ 非接触で破壊されない

■ 離れた場所から非接触操作

■ 情報の共有化

■ 直感的な操作

■ アクセスビリティの向上

使われる技術は?

タッチレス操作を可能とする技術（タッチレス操作ができるもの）には、大きく2つの技術があります。

■ ジェスチャーインターフェイス

体や手を使って非接触での操作を可能にする技術です。
モニター画面から離れた位置からの操作を可能にします。

■ 非接触インターフェイス

非接触(Non-Contact)を目的として非接触インターフェイスです。
タッチスクリーンのような画面を指先で非接触操作できます。

ジェスチャーインターフェイスに使われる技術

ジェスチャーインターフェイスは、人の体の部位を使って操作することを目的としています。そのため、目的の部位の認識する技術が必要になります。
2018年、Microsoft 社のKinectの登場による使われるようになった、NUI ( Natural User Interface )という用語で代表されるジェスチャーインターフェイスです。ただこれが、NUI本来の意味である「自然で直感的な操作が実現したかどうかには疑問がありますが、マウス、キーボードから解放され少し自然で直感的な方向に一歩進んだのは確かです。

タッチレスインターフェイス vs ジェスチャーインターフェイスについてさらに詳しくは、>> ナレッジベースジェスチャーインターフェイスとの違い

技術	説明	説明
スケルトントラッキング技術	体の関節などをノードとして認識してトラッキングします。 RGBDカメラ ( 3Dカメラ )とNUIライブラリを使って認識したり、OpenPoseを使ってRGBカメラでスケルトン認識することもできます。手の動きや位置で操作します。 Microsoft社のKinectとして知られている技術です。	多くのCPU/GPUリソースを必要とします。高性能PCが必要になります。使用するセンサーによっては電源ソースが別途必要になります。また、USB3.0/Type-Cが必要です。 OpenPoseの場合は、NVIDIA CUDAが必要操作距離: 2M程度(センサーに依存)
ハンドトラッキング技術	手のひらの指関節をノードと認識してトラッキングします。指先の位置や、サインで操作します。 LeapMotion社が提供しているライブラリで知られています。	CPU/GPUリソースを必要とします。専用のUltraLeapセンサーを必要とします。 Type-Cが必要です。操作距離: 10-75cm
手のひらトラッキング技術	手のひらを認識してトラッキングします。手のひらの位置と形で操作します。株式会社ネクステッジテクノロジーが開発した技術です。	少ないCPU消費で稼働します。 USB2.0/3.0で利用できます。操作距離: 40cm ～2.5M

補足: その他、顔トラッキング、アイトラッキング技術、またEMG(筋電位)を使って操作するシステムもありますが、ここでは省略します。

非接触インターフェイスに使われる技術

現在、市場で見られる非接触技術の多くは、「静電容量非接触タッチパネル」いわゆるタッチパネルの静電容量を大きくして、タッチ面に触る前に反応させるという方式です。
この方法のデメリットとしては、専用のタッチパネルへの交換、つまりタッチパネルモニターの交換が必要になることです。
静電容量のため、手袋への対応や距離を延ばすなど各社技術を進化させています。

赤外線方式による、「赤外線マトリクス枠」を使ったものが一般的で、以前からタッチパネルとして使ってきた技術をそのまま、枠部分とモニター面との距離を離して設置する方法です。
技術も安定したものですが、デメリットとしては、枠を設置するため、デザイン性に劣る、枠との距離を長くできないなどがあります。

「枠を使わずに、赤外線照射とカメラにより三角測量を行う」方式もありますが、その場合、小さな面で有効ですが、タッチ面をあまり大きくできないなどの制限があります。

技術	説明	補足
静電容量	外光など環境に強いメリットがあります。電気を通さない物は検知出来ないデメリットもあります。距離は近い必要があります。干渉を避けるにはセンサー間の間隔も大きくする必要があります。	専用のタッチパネルが必要なため、大きくなるとコスト高になる。非接触の距離が短い(1cmから3cm程度）ディスプレイ面に後付けで貼る場合は、元の画像品質が劣化することになる。大型化するとコスト高になる。サイズに合わせてカスタムが必要
赤外線	外光など環境に影響される場合がある手袋、ペン先でも操作可能	赤外線マトリクスは、枠を必要とするため、デザイン性に劣る非接触が短い(枠の取り付け位置) 枠を使わない方式(三角測量)では、小さな面に限定される（10インチ程度) 比較的、コストが安価。サイズに合わせてカスタムが必要
3Dセンサー( aeroTAP evo )	後付けで簡単にタッチレスに移行が可能手袋、ペン先でも操作可能従来のタッチとタッチレスが同時に可能任意の位置に仮想タッチ面、ホバー面を設定（通常 2cmから10cm ) 任意の大きさの仮想タッチスクリーンが生成可能 *単なる入力装置としてではなく、人感センサーとしても併用可能	HWとSW対応のためOSに依存外光など環境に弱い小さな面から大きな面に対応できるメリットがあります。通常、画像処理のためにCPU/GPUに負荷がかかります。aeroTAP evoでは、GPU不要で、低CPUでの稼働が可能です。小型画面では、コストが割高、大型になるほどコスパに優れる。スケーラブルに対応可能

*非接触には、その他、単一赤外線や、1D ToFセンサーをボタンに埋め込んだ非接触ボタンも存在しますが、ここでは非接触画面操作を説明対象しているので除外しています。

タッチレスの活用場面

DX化の浸透に伴い、様々な場面で、情報端末を操作することが求められるようになりました。

デジタルサイネージ、オフィスだけでなく、公共の端末、外科手術、医療機器、病院などの医療施設、工場の生産ライン、学校などの教育施設、ホームオートメーション化が進む住居施設、自動車内、その他(アクセスビリティの向上)

aeroTAP evoタッチレスインターフェイスの特徴

タッチレスインターフェイス aeroTAP evoには、次の特徴があります。

■ 既存のシステムのタッチレス化が容易
■ CPU消費が非常に少ない
■ 「手のひらトラッキング]、「仮想タッチスクリーン」をサポートし、様々な用途でのタッチレス化に対応

既存のシステムをそのまま、タッチレス化
アプリを変更することなく、マウスやキーボードで操作可能なコンテンツはそのままタッチレス化できます。開発は不要です。

CPU消費が少ない
3Dセンサーを使った、画像処理であるにも関わらず稼働時のCPU消費が他のものと比べて圧倒的に低いのが特徴です。「CPU消費が少ない = 高速」特に手のひらトラッキングは、十分なレスポンスを感じることができます。

アシスタンス機能
アシスタンス機能により、手のひらトラッキングモードでは、片手だけで3Dコンテンツをはじめ、様々なアプリケーションの操作をシンプルに片手だけで行えます。

操作領域の指定
画面の特定の領域のみをタッチレス化することが可能です。大きな画面や、縦長の画面では、操作部分と表示部分を分けてデザインすることで、操作をより直感的にデザインできます。

アプリケーションとの連携
aeroTAP evo APIを使えば、Unityなどの独自のコンテンツにタッチレス機能を簡単に組み込むことができます。

aeroTAP evo 手のひらトラッキングの特徴

手のひらトラッキング

スケルトン方式と違って、手のひらトラッキングでは、シンプルに手のひらを検出/追跡します。そのため、オペレーターのための空間を確保することなく、大勢の人が隣り合っていても、操作が可能です。一人の人が操作するため、操作中では、他の手のひらは無視されます。

設定可能な距離は、40cmから最大2.5Mで設定可能です。

■片手操作、両手操作
基本は、片手のみであらゆるアプリケーションを操作することができますが、コンテンツに合わせた両手での操作も可能です。

■仮想スクロールバー
アシスタンス機能の１つで、仮想スクロールバーがあります。例えば、ブラウザを開くと、画面の両脇に表示される仮想スクロールバーにカーソルを合わせて上下することで画面をスクロールできます。

■各種クリックアクション
例えば、「握ってクリック」、「押してクリック」、「停止してクリック」などコンテンツに合わせたクリックアクションが可能です。

■ジェスチャー認識
手のひらトラッキングモードでは、左右回転ジャスチャーの認識と操作が可能です。ジャスチャーに対して任意のアクションを設定できます。

デメリット：屋外などコントラストに強い環境で手のひら検出が安定しない環境では利用できません。屋内であれば、少ない光量の環境でも稼働できます。

aeroTAP evo 仮想タッチスクリーンモード

aeroTAP evo VT モードは、仮想タッチスクリーンを3D空間内に設定することで、タッチスクリーンと同じ操作が非接触で可能になります。空間上にタッチ面の設定ことでコンテンツや画面の大きさに合わせた最適な"タッチレス" タッチスクリーンを設定することができます。ホバー面は、タッチアクション前のカーソル位置の視認性を高めます。
仮想タッチスクリーンでのアクションは、「タッチイベント」、または「マウスイベント」として実行することができます。
また、aeroTAP evo のすべての機能 (アシスタンス機能 )が有効で、既存のシステムを変更することなく指先で操作することが可能になります。
* 本機能は、組み込み製品向けの機能です。

■ CPU消費が少ない、USB2.0/3.0対応（ハイスペックPCは不要)
     3D点群処理を行いながらも、非常に少ないCPU消費で稼働できます。
■ 現在のコンテンツをそのままタッチレス化(開発が不要)
■ コンテンツに合わせたイベントが選択可能(不要な操作を制限)
　　マウスイベント: マウスクリックのみ対応
      マウス&ドラッグ: マウスクリックと、ドラッグに対応
　　タッチイベント: タッチイベントに対応(シングルポイントのみ)
      マルチタッチ: 2点タッチイベントに対応
■ 任意の場所にカメラを設置可能
■ 人感機能により、オペレータの有無を検出し、適切な操作画面の表示が可能
■ aeroTAP evo 入力アシスタンス機能(仮想ボタン類)が利用可能
    ホバー面を任意に設定することが可能
    注目: 他の方式では、ホバー面が設定できない、または固定。
■ はじめての人でも使い易い
    注目: 下からポイントしたり、横からポイントしても目的の位置で反応するため、誤動作が他の方式より少ない。赤外線方式、静電方式では、垂直にポイントしなければならない。

ホバー面
仮想タッチスクリーンモードでは、仮想タッチスクリーン面の大きさ、位置の設定だけでなく、ホバー面の位置を設定できます。
ホバー面により、カーソルの視認性を高め、またより確実なポインティングを可能にします。

また、ホバー面内では、回転、フリップなどの指先ジャスチャーの操作が可能です。

任意の位置にカメラを設置
aeroTAP 3D USBカメラは、任氏の位置に設置できます。例えば、モニター上部、天井、ガラスの裏などです。

*設置後キャリブレーション作業が必要です。

曲面スクリーン、シリンダースクリーンに対応
仮想タッチスクリーン面は、フラット面だけでなく、曲面、円柱面でも作成できます。

>> ナレッジベース過去ブログ2010 を見る

>> ナレッジベースタッチレスインターフェイスとは...

Touchless solution for the future.