DEV Community: IZUN∀

Try PicoNeo2Eye's EyeTracking

IZUN∀ — Tue, 21 Jul 2020 03:20:38 +0000

Please let me know if there are any errors as this is a translation using DeepL.

Initially.

I got the PicoNeo2 Eye, a VRHMD for BtoB and a stand-alone machine, for personal use, so this is for those who are interested in developing their own personal development in the same way.

About PicoNeo2 Eye

The PicoNeo2 Eye is a standalone eye-tracking VRHMD with Tobii's eye tracking sensor in it.
The general controls are similar to the OculusQuest, but the controller is electromagnetic rather than optical, so you can hold it to the back of your head for control.
However, compared to the Quest's controller, it has a slightly fluffy feel.

It's hard to see, but there are Tobii sensors on both sides of the lens.

Demo Checking Environment

Untiy2019.4.1f
(The demo project is being developed in 2019.2.20f）

Demo Projects
https://github.com/picoxr/EyeTracking

Once you've cloned or downloaded your project, you can launch it in Unity

This window appears at the first start-up, but
Press Apply and wait a moment.

By the way, if you set the build target to Android from the beginning, this window will not appear.

build.

It's set from the beginning, but it seems to manage the build scene by number, so if you change the number, it won't start.

Register your gaze information.

Before starting the demo, you need to register your line of sight information in the dedicated Tobii User Calibration app on the home screen.

Experience the Demo.

Select "PicoEyeTracking" and the app will appear on the home screen with the controller.
It's best to start with the easy to understand "Eye Tracking".

About Making Your Own App.

The Pvr_Unity_SDK is all you need for gaze information and eyelid opening and closing levels.

Check EyeTracking in EyeManager and it will work.
Foveated Rendering", which lowers the resolution of the area other than the point you are looking at, can also be set here.

Tobii's SDK

If you want to use more advanced features, you will need TobiiXR SDK.
I'll write about it in a later post.
https://vr.tobii.com/sdk/develop/

PicoNeo2EyeのEyeTrackingを試してみる

IZUN∀ — Sun, 05 Jul 2020 14:09:40 +0000

始めに

BtoB用VRHMDでスタンドアローン機の「PicoNeo2 Eye」を個人用で手に入れましたので、もし同じ様に個人開発しようと思う人向けの内容になります。

PicoNeo2 Eyeについて

この「PicoNeo2 Eye」はTobiiのアイトラッキングセンサーが入ったスタンドアローンアイトラッキング機能付きのVRHMDです。
大体の操作はOculusQuestに似てますが、コントローラーは光学式ではなく電磁式なので後頭部の方へ持っていっても操作できます。
ただ、Questのコントローラーと比べると若干ふわっとした感じがあります。

見えにくいですが、レンズの両サイドにTobiiのセンサーがあります

デモ確認の環境

Untiy2019.4.1f
(デモプロジェクトは2019.2.20fで開発されています）

デモプロジェクト
https://github.com/picoxr/EyeTracking

プロジェクトをclone、またはDLして来たらUnityで起動してみましょう

初回起動時こちらのウインドウが出ますが
Applyを押してしばらく待ちます。

ちなみに、最初からビルド対象をAndroidにしておくとこちらのウィンドウは出ません。

ビルドする

最初から設定されてますが、ビルドシーンを番号で管理してるみたいなので番号変えると起動しなかったりします。

自分の視線情報を登録する

デモを始める前にホーム画面にある専用アプリ「Tobii User Calibration」で自分の視線情報を登録する必要があります。

デモを体験する

「PicoEyeTracking」とアプリがホーム画面に出るのでコントローラーで選択してください。
わかりやすい「Eye Tracking」から始めるといいです。

自分でアプリを作る場合について

視線情報と瞼の開閉レベルならPvr_Unity_SDKだけで対応可能です。

EyeManagerの　EyeTrackingのチェックを入れれば動作します。
視線が向いてるところ以外の解像度を下げる「Foveated Rendering」もここで設定できます。

TobiiのSDKを使う場合

細かい機能を使う場合はTobiiXR SDKが必要です。
こちらについては、後日簡単なデモの確認と動作まで書きたいと思います。
https://vr.tobii.com/sdk/develop/

今までBtoB向けであまり表に出てきてないPicoでしたが、G2はヨドバシでも買えるようになったり、G3がソフトバンクさんのイベントで出たりとしているのでNeo系も今後購入できるようになるので期待してます。
制限がそんなに多くないけど、自前で作らないと無いという状態なのでそういったデバイスをいじるのが好きな人にはおすすめのVRHMDです（ΦωΦ）

Arduino connection with Unity2017 and UDUINO

IZUN∀ — Thu, 26 Mar 2020 08:13:18 +0000

＊This content was posted on Qiita in 2018.

I useArduino in Unity, but UNIDUINO doesn't seem to work well in 2017.
I tried using "UDINO", which is highly rated by the AssetStore.

use Unity2017　3.0p1　

「UDUINO」$15
https://assetstore.unity.com/packages/tools/input-management/uduino-arduino-and-unity-made-simple-78402

Basically, if you watch the video of the explanation, you'll understand.

Import.

Open the demo scene.

Select the UDUINO object and click, Let's check out the UduinoManager.

Click on "Select path" and select the Libraries folder in your Arduino.

Click on "Add Uduino Library to Arduino".
This will add Uduino to the library of ArduinoIDE.

If there is no problem, "Setp done".

Click "FixNow" and if all is well, "SepNow".

Let's open the ArduinoIDE and write in the Uduino we jus added.

done writing.

Let's connect it to Unity.
Add a pin with number 11 and PWM mode.

ぴかぴか(φωφ) pic.twitter.com/1hp9NAKCzA
— IZUN∀@不屈のVRクリエイター (@mizuki_izuna) 2018年1月27日

When moving a servo motor, use the
You can adjust the direction of rotation by turning on No.9 and turning No.11 PWM and No.8 PWM

モーターぐるぐる(φωφ)！ pic.twitter.com/ZmOyCQJOkB
— IZUN∀@不屈のVRクリエイター (@mizuki_izuna) 2018年1月27日

Unity2017でUDUINOを使ってArduino接続

IZUN∀ — Thu, 26 Mar 2020 03:40:32 +0000

UnityでArduinoを扱うけどUNIDUINOは2017では上手く動かないみたいなので
AssetStore評価が高い「UDUINO」を使ってみたよー！（ΦωΦ）

Unity2017　3.0p1　

「UDUINO」$15
https://assetstore.unity.com/packages/tools/input-management/uduino-arduino-and-unity-made-simple-78402

UniDuinoよりやすい！！（ΦωΦ）

基本的に説明の動画見ればわかるんだけど
日本語の説明や使ってみた系の記事が無いから
こちらに記事にしてみたよ～（ΦωΦ）

それじゃ、まずインポート

デモシーンを開いて

UDUINOのオブジェクトを選択してみると
UduinoManagerを確認してみましょう

「Select path」をクリックしてArduinoのLibrariesフォルダを選択しましょう

「Add　Uduino　Library to Arduino」をクリック
こうするとArduinoIDEのライブラリにUduinoが追加される。
この辺はあとで説明（ΦωΦ）

問題なければ「Step done!」

「FixNow」をクリックして問題なければ「Step Now」
Uduinoは　.Net2.0 (not subset)オンリーなので注意（ΦωΦ）

それではArduinoIDEを開きまして先程追加したUduinoを書き込みましょう

書き込み完了したら

Unityと繋いでみましょう
Arduinoのところから　Add a pin　で11番をいれて　ModeをPWMで入れる

ぴかぴか(φωφ) pic.twitter.com/1hp9NAKCzA
— IZUN∀@不屈のVRクリエイター (@mizuki_izuna) 2018年1月27日

サーボモータを動かす場合は
9番をONにして11番のPWMと8番のPWMを操作で回転させて回転方向を調整できます

モーターぐるぐる(φωφ)！ pic.twitter.com/ZmOyCQJOkB
— IZUN∀@不屈のVRクリエイター (@mizuki_izuna) 2018年1月27日

時間あったらフリーのARDUnityでArduino接続するのもやってみよう（ΦωΦ）

VRMとAR Quick Lookで遊ぼう

IZUN∀ — Thu, 26 Mar 2020 03:32:23 +0000

最近Twitterで知人がVRMモデルをusdzに変換して遊んでるのを見かけたので自分もやってみた。
会社で遊んでた際に、ふと「あれ？これ遊びたい人多いと思うけど手順が結構プログラマ向けだな？」と思ったのでわかりやすい記事を書いてみようと思ったので実行（ΦωΦ）

準備するもの

Mac
対応してるiPhone or iPad
VRMデータ
AppleID
usdz変換ツール
usdzをアップする場所

VRMの準備

VRoidHubで持ってきたらいいんでない？（ΦωΦ）
https://hub.vroid.com/

usdz変換ツール

↓ここからDLできるよ入るときAppleID必要だよ（ΦωΦ）
usdz変換ツール

0.61のバージョンをDLして来たら適当に解凍しておきましょう。

VRMモデルを.glbに変換

VRMモデルデータの.vrmを名前変更で.glbに変更してください（ΦωΦ）

こんな感じね。

そしたらルートの直下にでも置いてください。
ルートがわからないとな？（ΦωΦ）
他のQiitaの記事で「Macの使い方」とか探して勉強して行きましょう（’ΦωΦ）

usdz変換ツールを使ってusdzに変換

さて、先程ダウンロードして適当なところに解答した変換ツールの中に「USD.command」というのがありますね（ΦωΦ）

これを起動します。

こんな感じのが出てくるので
ここで先程の.glbファイルを変換します。
usdzconvert ****.glb って入れて

Output file　と出てきて
ちゃんと.usdzになったファイルが出てこればOK！（ΦωΦ）

あと、このファイルを自分のサイトに入れるなり
AWSのS３にいれておくなりして手元のiPhoneのSafariから見に行けば〜

上手にできました〜（ΦωΦ）

興味出た人はfixOpacityでアルファ周り処理したりとか
アニメーションが入った.glb作って見たりとかしてみてく遊んでみてください。

ではでは（ΦωΦ）