チュートリアル: VT モード キャリブレーション

aeroTAP evo の仮想タッチスクリーンモード(VT Mode)を利用するには、まずキャリブレーションの作業が必要になります。

キャリブレーション作業では、aeroTAP 3D カメラから距離約60cm以内( aeroTAP 3D GSカメラの場合、最大200cm)の空間の3Dモデル内に、仮想タッチスクリーン面を生成し、実モニター画面との位置合わせを行います。
キャリブレーションには、専用のツール aero3DCalib.exe が必要です。ツールは、現在一般には公開していません。別途お問い合わせください。

システム要件

aero3DCalib.exe を実行するには、以下のシステム要件を満たしている必要はあります。

補足: これらシステム要件は、aeroTAP evo のシステム要件とは異なります。

接続方法

仮想タッチスクリーンモードを利用するシステム上でキャリブレーションツールを実行します。対象システムがキャリブレーションツールを実行できる環境ではない場合、要件を満たしたPCを準備して、外部モニターとして、対象システムのモニターを接続してキャリブレーションを行うことができます。

外部モニターとして利用する場合には、コマンドラインパラメーターを利用してください。

設定手順

キャリブレーションの手順は、概ね以下のようになります。
1. 環境セットアップ
対象システムのモニター画面の接続、カメラの設置
2. キャリブレーションツールの実行
a. カメラ視野の設定、切り取り
b. Offset Z (カメラと、カメラ回転中心までの距離) の設定、カメラ回転角度の設定
c. 回転後の3D Boxフィルター設定 (必要に応じて)
d. 仮想タッチスクリーン面位置の設定
e. ホバー面設定
f.  仮想画面位置の設定 (画面上の①から④ボタンの位置調整)
g. キャリブレーション (4点の位置合わせ)
h. 's'キーで設定の保存、escキーで終了
TouchPanel0.txt ファイルとしてdataフォルダーに保存されます。

aeroTAP evoに最大2台のカメラを同時接続可能です。2台目のカメラの設定時には、TouchPanel1.txtとして保存されます。

3. aeroTAP evoを起動
a. キャリブレーションパラメーターの読み込み
保存した、TouchPanel0.txt (スレーブモードで起動する際は、TouchPanel1.txt)を読込ます。
b.aeroTAP evo 設定

動画

設定メニュー

aero3DCalib.exe 実行中に'g'キーを押すことで、詳細設定メニューが表示されます。
各パラメーターの設定は、詳細メニューで行えますが、重要な機能はキーボード操作でも設定が可能です。

メニュー名 内容
"QVGA-VGA-HD  利用するカメラに合わせた解像度を選択します。
CAM 解像度 利用するカメラに合わせて下記の様に選択します。

aeroTAP 3D Camera
- VGA, WVGA(640x400)を推奨
aeroTAP 3D GS Camera
- HD(1280x720)を推奨
aeroTAP 3D G2 Camera
- HD(1280x720)を推奨
Show Cam1
Depth Filter
 必ずすべてチェックされていることを確認してください。
カメラが接続されていない場合、"Cam1"がチェックされていない状態になります。
接続を確認して、チェックをONにしてください。

*aeroTAP3D G2では、"Depth Filter" OFFを推奨
Pixel Size 3D点群表示時のピクセルのサイズ (2 ~4 を推奨)
Max Depth カメラの距離フィルターを設定します。
モニターサイズやカメラの設置位置に合わせて設定します。
例:
15インチ 400mm
55インチ 1200mm
Show Max Plate 距離フィルター(Max Depth)で設定している面をブルーで表示します。
Scale 点群を簡素化するためのスケール値    (常に値4を利用)
Adjust by Head Angle
Head Angle X,Y,Z
カメラの傾きを有効にします。カメラの各軸の回転を3D表示で有効にします。
OffsetZにて指定した中心点を基準に、カメラの回転角度を指定します。
'a'キーでOn/Off切り替え可能
OffsetZ カメラを回転するための中心点へのカメラからの距離を指定します。
モニターサイズやカメラの設置位置に応じて、指定する中心点の位置が異なるため、適切なカメラの回転角度の設定と合わせて決定します。
通常、モニター画面の中央に指先を置いて、カメラから手までの距離で設定

補足:
ホバーの位置によっては、画面中央よりも下の位置での手のひらまでの距離
Top Filter Range, Num 先端部分のノイズをOutlierによるノイズ除去を行うためのパラメーターです。
ボクセルサイズ(mm)  - 10mm程度
最小数(個) - 大きくするとノイズが除去できますが、大きくしすぎると指先(細い線)が見えなくなります。
VertexCntMin,VertexCntMax Min
先端を認識するための最小点群数、大きくするとノイズに強くなります。
小さい値では、より繊細にタッチを認識、大きな値では確実に認識となります。

マルチタッチの場合は、それぞれの指先の点群数を評価します。

Max
最大数を超えると、指先として認識しないための閾値

リアルタイムの値は、画面左上に表示されています。( Top Points )
Show Touch Plate
Touch Plate Distance
Hover from TouchPanel
Size of Top Sphere

現在の仮想タッチスクリーンの位置を表示 (黄色い面)
    回転後のカメラ位置からのタッチスクリーンの距離(mm)。詳細設定を表示していない際は、キーボードの左右矢印でも移動できます。
    ホバー面の位置( タッチスクリーン面からの距離) mm
    先端ポイントの表示の大きさ(先端部分は、タッチ面に到達している場合には、赤色で表示されます)
Show Line To Target カメラからOffsetZ位置を直線(白)で表示
OffsetZ位置を視覚化するためにOnにします。
Show Distance 先端位置の3D空間上の座標を表示
Enable Crop
Crop Left
Crop Top
Crop Width
Crop Height
Crop Table Form
カメラ視野は、画面右上のカラー表示で確認できます。カメラ視野から不要な部分を切り取ります。
余分なものが映り込まない様にできるだけ不要な部分を除くように設定してください。
矩形をカメラ画像のピクセル値で指定します。

さらに、台形型に切り取る場合は、値を100を中心に大きく、または小さくして調整します。
Enable 3D Crop
3D Box( 幅、高さ、厚さ)
3D Box位置 (回転後のX,Y,Z)
チェックをONにして、3D回転後の点群をフィルターして、余分な映像(床面など)を除去します。
回転後の点群をさらに、3D Boxの大きさと位置を指定して3D空間をフィリタリングします。
Show In 3D 現在のポイント位置を表示します。タッチ中かどうか、タッチスクリーン面の位置を確認できます。
ホバー状態は、青色
タッチ状態は、緑色
注意: 未キャリブレーション状態では、ポイントは適当な位置に表示されます。
Number Btn Size キャリブレーションのための①から④のボタンの大きさ
Detect Most Top Onにすると、回転後の最も上にある点を先端として認識します。
通常 On
Enable BGS オフで利用してください。


操作方法

'h' キーを押すと、画面右下のキー操作に関するヘルプ表示を切り替えることができます。画面には基本的なキー操作の情報を表示しています。

目的
操作方法
詳細設定メニューの表示/非表示 'g' キーを押して表示/非表示します。
メニューのページ切り替え  '[' ']' キーまたはPage Up/Down キー
設定のリセット  '0' キーを押して、設定をリセットします。
3D画像の回転 画面中央部分でドラッグすることで、3Dモデルを回転できます。
ズームは、マウスホイールで行います。
3D画像回転のリセット Home キーを押すと、3D画像の向きを初期化できます
ヘルプの表示/非表示 'h'キーを押して、ヘルプ画面を表示/非表示
仮想カメラのX軸回転 '-', '+' キーを押して、仮想カメラのX軸回転を調整します。
仮想タッチスクリーン面の位置変更 左右矢印キーを押して、仮想タッチスクリーン面を前後に移動できます。
設定の保存 's'キーを押すと、現在の設定パラメーター paramTouch.txt を生成します。
カメラビューの表示/非表示 画面右上のカメラビュー画像の表示/非表示は、'v'キーで行います。
3D/2D表示切替 'z' キー
点群カラー表示/距離カラー表示 'x'キー
デモモードへの切り替え Spaceキーで切り替え
キャリブレーション結果を使っての操作デモが行えます。
詳細設定ページ切り替え '['キー, ']'キーでページを切り替えます
キャリブレーション 画面上のボタン①、②、③、④それぞれの位置に指先を合わせて、Enterキーを押して、キャリブレーションを行います。

デモモード

Spaceキーを押すと、設定モードからデモモードに切り替わります。

デモモードでは、設定したキャリブレーションを確認することができます。枠の大きさや位置は、'g' キーの設定画面で行えます。

TargetRect left、TargetRect top、TargetRect right,、およびTargetRect bottomの値を変更して、枠の大きさを位置を調整できます。

Matrix Cols, Matrix Rows の値を変更して、枠内の行数、列数を変更できます。上記操作で変更した、枠の大きさを位置は、Matrix Cols、Matrix Rowの値を変更することで反映されます。

また、'm' キーを押して、デモ内容の切り替えが可能です。

TargetRect Left,

起動パラメーター

aero3DCalib.exe を外部モニター画面で実行する場合、下記のパラメーターで起動してください。
aero3DCalib.exe -x1920
-x1920は、起動モニターのx座標です。メイン画面の解像度が1980x1080で、その右側に外部モニターがある構成では、このパラメーターで起動すると、外部モニターで表示されます。