仮想タッチスクリーン モード (組み込みのみ)

aeroTAP 仮想タッチスクリーンモードは、指先でタッチスクリーンのような操作を非接触で可能にするための機能です。小さな画面から大きな画面( 10インチから100インチ程度)に対応できます。

重要: 本機能は、KIOSK 端末、ミラーディスプレイ、空中ディスプレイなどの筐体に組み込んで利用することを想定しているため、一般の利用にはその設定方法の具体的な説明は公開していません。個別 にお問い合わせください。


カメラから約25cmから50cm内の空間上に仮想タッチスクリーン(面)、およびホバー面を生成することができます。オペレーターは、指先を使って仮 想面をタッチスクリーンのように操作することができます。

AKSA3Dプレートを使った空中ディスプレイでは、カメラからの距離120cm程度まで対応が可能です。

また、aeroTAP evo が提供する仮想ボタン、その他の機能はそのまま利用することができ、タッチスクリーンだけでなく、タッチ機能のないモニターを非接触タッチスクリーンとして利用できます。

手のひら検出モードと違って、モニター面からの距離は任意に設定が可能です。

設定可能な仮想面の大きさは、カメラの設置位置、角度により、5インチ程度から80インチ程度の仮想面を作成することが可能です。

２つの種類のカメラに対応しています。aeroTAP 3D USB GS カメラの方が視野角が大きいため、より大きな仮想タッチ面を生成することができます。利用用途に応じてカメラを選択してください。

*カメラから空間までの最低距離は、25cmです。

設置に関しては、専用のキャリブレーションツールを 使って、キャリブレーションを行います。

カメラの位置は自由に配置できます。また、ホバー面距離、仮想タッチスクリーン位置も自由に設定できます。

下記の図は、設置例の一つです。

設置例
カメラの設置場所は、上、下、横、斜めなど自由に設置することが可能です。

デモ動画

仮想タッチスクリーンモードであっても aeroTAP アシスタンス機能が利用できるため、指先だけであらゆるアプリケーションの操作が可能になります。
デモ動画は、マウスモードで実行しています。ブラウザ用の仮想スクロールは、aeroTAP アシスタンス機能によるものです。



設定画面


項 目
 説明
カメラパラメーター この画面内のすべてのパラメーターは、専用のキャリブレーションツールを使って求めま す。
2D フィルター領域 操作面以外の領域を除外するために、カメラ視野内から目的の領域を切り取って処理する ための値です。
利用しない場合は、すべての値を 0 にします。
台形比率 操作面以外の領域を除外するために、カメラ視野内から目的の領域を切り取って処理する ための値です。
クロップ領域内をさらに台形で切り取るためのパラメーターです。値 100は、台形切り取りを行いません。
3D Boxフィルター領域 3D空間上での領域フィルタリングを行います。
3D空間上をフィルタリングすることで、余分なノイズ (近くに人がいる,物がある)を除去できます。
また、作成した3D Boxの位置を設定してください。
仮想タッチスクリーン パラメーター  
距離 仮想タッチスクリーンの位置 (mm)。
ホバー距離 仮想タッチスクリーン面からのホバー距離 (mm)。上の図で0-100mmとしている値です。
ホバー面を設定することで、ホバー領域に指先が入ると、仮想カーソル(グレー)が表示されます。
最大幅 最大幅は、タップを検出する指先の最大幅(mm)を指定します。
例えば、指先のみ検出したい場合は、50ｍｍの大きさ以内のみ反応するようにできます。大きな物体ではタップが誤動作しないようにするた めです。
ア クションモード 仮想タッチスクリーンに到達した際に発生するアクションを選択します。
[マウスクリック]  仮想タッチスクリーンに到達すると、マウス左クリック イベントを発生します。
ヒント: ボタンや画像選択のみのシンプルなコンテンツの場合に選択します。
[マウス&ドラッグ]  仮想タッチスクリーンに到達すると、マウス左クリック イベントを発生し、そのままドラッグモードに移行します。
ヒント: バーなど、ドラッグ操作が必要なコンテンツの場合に選択します。
[タッチイベント]  仮想タッチスクリーンに到達すると、タッチイベントを発生します。
ヒント: タッチイベントに対応するコンテンツの場合に選択します。また、フリップを必要とするコンテンツの場合に選択します。
   - タップは、タッチ後仮想タッチスクリーンからすぐに離れることで発生します。
   - タップは、タップした位置で少し停止していると、自動で発生します。( [移動検出]が有効な場合 ) 。その後、そのままドラッグ状態に移行します。
   - タッチして移動、または移動しながらタップするとタッチドラッグ状態になります。

[マルチタッチ]  仮想タッチスクリーンに到達すると、タッチイベントを発生します。２点操作が可能です。
ヒント: ピンチ操作など2点操作が必要なコンテンツの場合に選択します。


ヒント：連続タップを行うには、[機能設定]タブの[最小連続タップ間隔]の値を0 にしてください。

重要: 選択を変更したら、[適用]ボタンをクリックして変更反映してください。
自動タップ 　タッチイベント選択時の自動タップを設定できます。
　[自動タップ無効]  自動タップは発生しません
　[自動タップ(400)]  400ms停止で自動的にタップを発生します
　[自動ダブルタップ(400)]  400ms停止で自動的にダブルタップを発生します

　タッチイベントでは、タッチダウンからタッチアップ検出時に、タップ選択のイベントが発生し、選択できますが、非接触タッチでは、物理 的にタッチ  しないため、ユーザーは、タッチアップすることを忘れてしまい、タップ選択のイベントが発生しない状況になります。
  これを回避するために、タッチダウン時に自動的にタップイベントを発生することができます。
  タッチダウン後、タッブイベントを発生するまでの時間は、デフォルトで400msです、カスタムを選択することでコンテンツに合わせた設定が可能です。

 ダブルタップは、スプレッドシートアプリなどを操作する際、カラムの選択時に必要になる場合があります。
 ダブルタップの設定を指定した領域での有効にしたい場合は、ReplaceAction.ini を設定してください。
タップ最小ホバー数 値を大きくすることで、ノイズや不用意なタッチアクションを軽減することができます。
移動検出 移動しながらアップした際の、誤操作を回避できます。
[無効]を選択すると、[タッッチイベント]時の自動タップ機能も無効になります。

ヒント: [アクションモード]で、タッチイベント、[移動検出]を無効にすると、タッチスクリーンとほぼ同じ操作になります。しかし、空間操作では、「物理的な接触」がないので、 ユーザービリティリを良くするには、「標準」を選択することを推奨します。
射影変換ポイント4点 仮想タッチスクリーンを実際の画面に投射変換を行うための参照点ペアです。
これらの値は、専用のキャリブレーションツールにて求めてください。

ヒント: キャリブレーションを微調整するには、値を直接変更してください。その場合、上部行のキャリブレーションの4 点(X,Y)の座標の値を変更します。
カメラ画像 カメラのカラー画像、または深度画像をリアルタイム表示しています。
カラー画像上には、ポイント位置を表すカーソル（タッチ、クリックで色が変化) が表示されます。
検出ステータスには、"ホバリング中"、”クリック" (マウスモードの場合)、"タッチ中" (タッチイベントモードの場合) と座標 (320X240座標系)が表示されます。
距離フィルターの値はできるだけ小さい値に絞ることをお勧めします。
背景マスクの生成 チェックすると、VTモードでの背景マスク画像の生成が可能になります。
背景マスク画像を生成するには、カメラ画像をクリックすることで /ProgramData/aeroTAP フォルダーに生成されます。
背景ノイズのより距離情報の取得が不安定な場合など、背景マスクにより軽減することができます。
ＶＴモードでは、自動的に背景マスク画像を読込ます。背景マスク画像をオフにする場合は、背景マスク画像を削除してください。
Ctl+Shift+O キャリブレーション チェックすると、aeroTAP VTモード稼働中にキャリブレーションの調整が可能になります。
キャリブレーション機能を開始するには、Ctl+Shift+Oキーを押します。
画面上に表示された4つの位置を順に、指先でタップすることで再キャリブレーションは完了です。
キャリブレーション中に、Ctl+Shift+O キーを押すことでスキップすることも可能です。

ベーシック設定(1)

カメラの設置位置は、上下左右、または斜め自由に設置が可能です。ただし、３次元計測に十分 な距離(25cm)を維持した位置に設置してください。
対象となるモニター画面は、カメラの設置位置との関係で決まりますが、おおよそ7インチから22インチモニター程度になります。

基本的な設置例として、通常のモニター上にカメラを設置する方法を紹介します。
* WVGAモードをサポートする aeroTAP 3D USBカメラを利用しています。
オペレーターの前面にあるモニターに対して仮想タッチスクリーンを操作する場合、実際のモニ ター画面から5cm程度手前の位置にある仮想タッチスクリーン面で正確に指先を止めることが困難です。
ホバー（仮想タッチスクリーン面から5cm手前)を有効にすることで、オペレーターは仮想 カーソルを見ながらボタンの位置と距離を確認しながらタップ(選択)できます。

ベーシック設定(2)

基本的な設置例として、卓上タイプのモニターにカメラを設置する方法を紹介します。

* WVGAモードをサポートする aeroTAP 3D USBカメラを利用しています。
実際に卓上タイプのモニター画面に対して仮想タッチスクリーンを操作する場合、仮想タッチスクリーン面がモニター面より3cm程度上にあることが分かって いるとオペレーターはほぼ確実にその空間位置を認識できるようです。
そのため、ホバーを無効にしてオペレーターは画面に表示されたボタン上を指先でタップ(選 択)できます。モニター画面が上を向いているため、[トップ検出]をチェックして誤認識を軽減してください。

ベーシック設定(3)

モニター画面の下にカメラを上向きに設置した例です。

利用用途に合わせた推奨設定

仮想タッチスクリーンモードを利用する環境として、以下の環境を想定しています。

  環境
推奨設定
空中ディス プレイとの連携
マイクロレンズアレイ方式、反射ミラー方式など様々な方式により空間上に画像を表示してそれをタッチレス操作する場合を想定して います。
ユーザーは、空間上の選択ボタンを指先で押すことになります。
この設定では、実際に見えている場所と、仮想タッチスクリーン空間のキャリブレーションを事前に正確に行う必要があります。
仮想カーソルをオフ
ホバーは、0
カーソルスムーズ化は、x1
マウスモードの選択
握ってクリックの選択
連続タップ間隔 0
通常のディスプレイ (KIOSK端末) のタッチレス化
5インチから15インチモニターをタッチレス化する場合を想定しています。

ユーザーは、画面上の仮想カーソルでポイントしている位置を確認しながら操作することを想定しています。

キャリブレーションは、画面全体ではなく、実際の選択表示する領域、またはボタン部分の領域を実際の画面を使ってキャリブレーションして ください。
仮想カーソルをオン
ホバーは、10cm程度 (長い)
カーソルスムーズ化は、x4 以上
マウスモードの選択
握ってクリックの選択
連続タップ間隔 0
通常のディスプレイ (KIOSK端末) のタッチレス化 (アプリとの連携)
5インチから24インチモニターをタッチレス化する場合を想定しています。

コンテンツアプリ側でポイント位置 (カーソル) やボタン選択のフィードバックを表示される場合を想定しています。

ユーザーは、ホバー時に表示される仮想カーソルを見ながらポインティングするため、キャリブレーションは画面全体、または操作領域で行い ます。必ずしも1対1で位置が一致している必要はありません。
仮想カーソルをオフ
ホバーは、10cm程度 (長い)
カーソルスムーズ化は、x4 以上
マウスモードの選択
握ってクリックの選択
連続タップ間隔 0

タッチスクリーンモード

KIOSK端末など小さなモニターの操作では、[マウスモード]の設定がおす すめです。タッチイベントの操作が必要な場合は、[タッチスクリーンモード]を選択してください。
動画は、10インチモニターで仮想タッチ面をモニター画面近くに設定しています。仮想タッチ 面に指先が入ると、仮想カーソルは青くなり、タッチしていることを表しています。タップするには、押して/引く (タップ) アクションが必要です。



設置例



 aeroTAP3D USBカメラ aeroTAP 3D USB GSカメラ
10 インチディスプレイ 縦置き モニターから10cm上 モニターから22cm上