Windows 環境でのソフトウェア開発のための aeroTAP SDKを無償で配布しています。
カラー画像、深度画像RAWデータの取得、ステレオカメラの左右のRAW データ、Rectify データの取得が可能です。また簡単なノイズ除去などの処理を利用することができます。手認識エンジンの利用などが行えます。
SDK には、サンプルコードが含まれています。
Pythonライブラリも追加されました。
■aeroTAP 3D USB カメラ深度画像の取得
■深度画像による物体検出と追跡
aeroTAP evoを実行している環境で、タッチレス操作に関する情報は、aeroTAP APIを介して取得することができます。aeroTAP APIを使って、タッチレスアプリケーションの開発が可能です。
■オペレータの有無検出
■オペレータの身長検出
■タッチレス操作状態 ( カーソル位置、アクション、ジェスチャ検出 )
OpenNI2 ドライバを利用して、様々な 3D センサー(RGBD) に対応した、PCL(Point Cloud Library), SLAM, RTABMap などのアプリケーションや開発環境で aeroTAP 3D USB カメラを利用することができます。
ここでは、aeroTAP OpenNI2 ドライバの入手と設定方法について説明します。
a) GitHubから最新のOpenNI2 ドライバーをダウンロードしてください。
GitHub - aeroTAP_OpenNI2 Driver for Win32/64, Linux, Arm, Aarch64
b) Bin/Win-x64 ,または Bin/Win-x32 フォルダーに実行可能なサンプルプログラムがあります。
SimpleView.exe を実行して、確認することができます。
補足: Visual Studio 2015 再領布プログラムのインストールが必要です。
GitHub OpenNI2からソースコードを入手し、コンパイルすることで、その他サンプルコードの実行を確認できます。
ヒント: その他、OpenNI2 を利用するアプリケーションを実行する場合、OpenNI2\Drivers フォルダーに aeroTAP OpenNI2 ドライバー 一式をコピーし、OpenNI.ini ファイルを編集して、[Device] セクションに aeroTAP ドライバを設定することで動作するはずです。
Ubuntu x64, Raspberry Pi2/3/4, Dragonboard 410c, NanoPi NEO3 用のドライバも追加しました。
Raspberry pi4 aeroTAP 3D USBカメラをOpenNi2 で動かす
x64-Release Ubuntu x64 用
Arm-Release Raspberry Pi2/3/4 用
aarch64-Release Dragonboard 410c , Nano Pi NEO3用
重要: これらのLinux 環境では、lib*.so ファイルを共有ライブラリパスにコピーするか、'export LD_LIBRARY_PATH' コマンドを設定する必要があります。
aeroTAP.ini ファイルのカスタマイズ
aeroTAP.ini ファイルをカスタマイズすることで、OpenNI2 ドライバを各種アプリケーションに対応した利用が可能です。
| パラメータ名とデフォルト値 | 説明 |
|---|---|
| Filter=1 | 深度データにカメラからのRAW データを取得する場合、値を0にします。PCL や RTABMap で実行する場合。 例: Filter=0 |
| CamNo=0 | 複数のカメラが接続されている場合に、カメラ番号を指定します。2番目のカメラを使う場合、 例: CamNo=1 |
| Rotate=1 | カメラを90°回転して設置する場合、Rotate パラメータの値を1に設定します。OPENNI2を介すと、回転しても解像度はVGAのままです。 例: Rotate=1 Windows OSのみ |
| Mirror=1 | カメラ画像の左右反転。画像の反転は、OpenNI2 API を介してアプリケーション側で設定することができますが、アプリケーションが未対応の場合などに設定することができます。値を1に設定すると反転します。 |
camWidth=1280 camHeight=720 |
カメラ解像度を指定します。ここでカメラ解像度を変更しても、aeroTAP 用 OpenNI2 ドライバの出力解像度は、640x480(VGA) となります。 aeroTAP 3D USB では、QVGA(320x240), VGA(640x480), WVGA(640x400) aeroTAP 3D USB G2 では、QVGA(320x240), VGA(640x480), WVGA(640x360), HD(1280x720) aeroTAP 3D USB GS では、VGA(640x480), HD(1280x720) が選択可能です。 |
■ 全身スケルトンのトラッキング (19 関節)
■ (最大 6 スケルトン、デフォルト 2)
■ ジェスチャ認識
■ フェイストラッキング ( 性別、年齢、感情 )
■ Unity プラグイン
■ aeroTAP 3D USB カメラ(3cm Baseline), aeroTAP 3D USB GSカメラ ( 6cm Baseline )に対応
■ Windows 7,8,10 32Bit/64Bit 対応
Windows環境での4台 カメラ接続、PCL サンプルプログラム■ サンプルプログラム、ライブラリ開発などお問い合わせください。
Linux 環境での開発:
aeroTAP SDK for Linuxをご利用ください。
GitHub - aeroTAP SDK for Linux(Linux64, Arm, aarch64 )
補足:aeroTAP 3D USBカメラ 用 Linux サンプル ( Openframeworks)
aeroTAP 3D USB GS 用 Linux サンプル ( Openframeworks)
詳細は、こちら
Python 環境での開発:
Windows, Linux環境用のPythonライブラリも提供しています。
GitHub - aeroTAP SDK for Linux(Linux64, Arm, aarch64 )
SBC ( NanoPi, Raspberry Pi2/3/4) 環境での開発:
NanoPi NEO3, Dragonboard, Raspberry Pi2/3/4で動作を確認しました。
3D センサーを使った IoT デバイスの開発にも適していると思われます。
RaspberryPi4でのaeroTAP 3D USBカメラ aeroTAP SDKビルド方法
Raspberry Pi/Nano piを使った3Dカメラ ネットワーク サーバの構築方
Raspberry Pi/Nano piを使った3Dカメラ ネットワーク サーバの構築方
aeroTAP(エアロタップ) 3D カメラをはじめ、その他3Dデータを扱うソフトウェアの開発を承っています。お気軽にご相談ください。
タッチレス技術を使ったサイネージコンテンツの開発、3Dデータを使ったライブラリ開発、手のひらトラッキングを使ったライブラリ開発など承っています。
貴社製品のタッチレス化などご相談ください。
ソフトウェア開発に関するお問い合わせ
aeroTAP(エアロタップ) をはじめとする、自社製製品の開発、販売、企画など、様々な面でプロジェクトを全世界に広めるためにスタッフを募集しています。
自分の将来に投資できる方、大歓迎!
日本国内在住、海外在住、勤務形態など、大いに相談可能です。
距離情報のみを使って、物体を追跡することで、カーソルを制御します。Fruit Ninjaなどのアクションゲームを楽しめます。
顔検出と追跡により、車椅子など座ったままで顔を使ってカーソルを移動できます。左右でX方向、前後でY方向の制御ができます。
左右のステレオ画像を赤色と青色で合成して、メガネを使った3D表示ができます。
OpenFrameworks用のWrapperを作成しました。3D画像の表示
TVやスマホをタッチレスで操作するための、envPAD.exeを作成しました。
自由にカスタム化して、さまざまなデバイスを動かせます。
新感覚パズルゲームをaeroTAP SDKを使って開発しました。
2台同時にPCLに取り込むことができます。
AR Drone用のPCから制御するコントローラを作成し、aeroTAP でタッチレス操作。また、AR Droneカメラで手のひら検出し、追跡。
Touchless solution for the future.
