Tracking Worldとは?

Tracking WorldはVR空間を利用して3Dキャラクターを動かすためのソフトウェアです。動画作成や生放送など様々なコンテンツに利用できます。手の動きの作成機能、表情や動作のショートカット登録、動作の保存・再生など高い拡張性を有しています。

コントローラーのボタン割り当てのデフォルト設定

各VRコントローラーでのボタン割り当ては以下のようになっています

はじめに

Tracking WorldはVRM形式のアバターに対応しています。VRM形式に関する詳細はhttps://vrm.dev/を参照してください。
まず、スタート画面のOpen Avatar(アバター読み込み)ボタンからアバターを選択して読み込みます。シーンを読み込むこともできます(シーンに関する詳細については「シーンを作成する」の項を参照してください)。アバターが表示されたら、Start(スタート)ボタンを押してください。
VR空間に遷移して、アバターが表示されます。VR空間内には様々な要素が配置されていて、操作することができます。

スライダーを掴んで動かすと、アバターに対するにあなたの相対的な大きさを調整できます。
垂直方向のスライダーはVR空間全体を拡大・縮小します。
水平方向のスライダーは直接的な効果はありませんが、半透明のコントローラーとトラッカーを表示します。これらはコントローラーではなく手動で配置する必要があります。
丸矢印ボタンを押すとスライダーの位置をリセットできます。

アバターと同じ姿勢をとってから、較正ボタンを押してください。5秒間タイマーが表示されます。較正が完了するとアバターがあなたの動作と同期して動くようになります。

VR空間にはデスクトップ画面を見たり操作したりする機能が付いています。デスクトップ画面表示ボタンを押すとデスクトップ画面表示のオンオフ切り替えができます。長押しするとボタンを掴んで動かすことが出来ます。

隣のボタンはコントローラーをデスクトップウィンドウでのカーソル操作に使用するかどうかを切り替えるボタンです。

カメラの操作

カメラはVR空間とデスクトップ画面のいずれからでも操作出来ます。VR空間ではカメラを掴んで動かせます。デスクトップ画面では画面内でドラッグすることでカメラを操作出来ます。
左ボタン: カメラの角度を回転
右ボタン: カメラの位置を上下左右へ平行移動
左右ボタン同時押し: カメラの位置を前後に移動
中央ボタン: カメラの位置をアバターを中心にして回転移動
マウスホイール: カメラの画角を変更

設定メニュー

マウスをデスクトップ画面の右上に移動すると歯車アイコンが表示されます。このアイコンをクリックすると設定メニューを開けます。

以下のような設定メニューが表示されます。

Calibrate(較正)

このボタンを押すと較正が行われます。較正が終了すると、ボタンは元の状態に戻ります。

Settings(設定)

各種設定を行えます。

Turn off VR rendering(VRレンダリングの無効化): このボタンを押すとヘッドセット画面のレンダリングがオフになります。ヘッドセットを使用しない場合や他のVRソフトを併用する場合に便利です。

Save and load calibration(較正結果の保存・読み込み): 較正結果を保存したり読み込んだり出来ます。全てのトラッカーの相対位置が保たれるため再較正する必要がなく、スムーズにトラッキングを再開できます。

360° Cubemap size(360度キューブマップサイズ): 360度カメラを使用する際のキューブマップの解像度。解像度が高いほどきれいな画像になりますが、処理にかかる計算量も増加します。360度モード中に設定を変更した場合、変更を反映するために360度モードが再起動します。


Assignment of trackers(トラッカーの割り当て): 中央のウィンドウではトラッカーをアバターのパーツに手動で割り当てることができます。自動割り当て(Automatic)にした場合、最も近いトラッカーが使われます。トラッカーが割り当てられると、トラッカーと該当パーツを繋ぐ緑色の線が表示されます。

Shortcuts(ショートカット)


このウィンドウには全てのショートカットキーが表示されます。ここにリストアップされるのは、ショートカットで実行できるプログラム上の処理、アバターの表情、作成した手の動きです。
ショートカットはキーボードのキーやコントローラーのボタンに割り当てることが出来ます。コントローラーの各ボタンはExpression 1-8に割り当てられます。割り当て設定はSteamVRのキーバインド設定で変更できます。
設定項目の数字はその動作を適用する時間(秒単位)です。

Blendshapes(ブレンドシェイプ)


このウィンドウには使用中のアバターのブレンドシェイプが列挙されており、それらを操作することができます。

Audio(音声)


このウィンドウではアバターのリップシンクの操作ができます。
滑らかさsmoothness(滑らかさ)スライダーでは口が動く際の滑らかさを調整出来ます。amplification(大きさ)スライダーでは口の動きの大きさを変更できます。
音声入力は音声ファイル入力とマイク入力が利用できます。
音声ファイルの場合、wav、mp3、ogg形式のファイルを使ってリップシンクさせることができます。Delay(遅延)欄の数字は音声とリップシンクの遅延時間です。
マイクを利用する場合、マイクデバイスをリップシンクの入力に選ぶことができます。リップシンクに対する相対的な音量を調整することができます。

Eye Control(目の動き)


このウィンドウではアバターの目の動きを操作できます。いくつかのモードが使用可能です。

Blinking(瞬き): 自動瞬き機能をオンにします
Interval(間隔)は瞬きの間隔の最大値です。0から設定値の間のランダムな時間間隔で瞬きします。
Closed duration(閉じている時間)は瞬きする際に目を閉じてる時間の長さです。
Closing time(閉じる時間)は目の開閉にかかる時間の長さです。

Camera(カメラ)


このウィンドウではカメラの位置の保存・読み込みができます。Save position(位置の保存)ボタンを押してから1から10の数字ボタンのいずれかを押すと、現在のカメラ位置をそのボタンに保存できます。数字ボタンを押すと保存されたカメラ位置にカメラを移動できます。
リセットボタンはカメラを初期位置に戻します。

Light(光源)


このウィンドウでは光源を操作できます。各スライダーは太陽光の方向や強さ、環境光の強さなどに対応しています。
シーンを読み込んだ場合、これらの設定は使用できません。シーンの光源設定が使用されます。

Motion(動作)


このウィンドウでは動作を録画したり再生したりできます。 録画ボタンを押すと動作の録画を開始・停止できます。Play audio(音声を再生)にチェックを入れると音声パネルで設定した音声ファイルが同時に再生されます。他のチェックボックスは動作再生時に再生する動作を選択するのに使用します。
ファイルに動作を保存したり、ファイルから動作を読み込んだりすることもできます。

Hand Gestures(手の動き)


このメニューではアバターの手と指の動きを操作できます。

Gestures(ジェスチャー)モードの場合:

このウィンドウではジェスチャー(手の動き)を作成することができます。矢印を使って指を動かした後にAddボタンを押すと、ジェスチャーをリストに追加できます。デフォルトに設定したジェスチャーは、他のジェスチャーがアクティブでない場合に自動的にアクティブになります。
作成されたジェスチャーはショートカットウィンドウからショートカットに割り当てることができます。

Background(背景)


このウィンドウでは背景色を変更できます。アルファ値は透明なソースに対応した録画ソフトを利用する際に便利です。
シーンを読み込んだ場合、これらの設定は変更不可能です。

Toggle 360°(360度モードの切り替え)

パノラマモードのカメラでレンダリングすることで、360度動画を録画できます。

シーンの作成

自分でシーンを作成してTracking Worldに読み込むことができます。シーンは掴むことができるオブジェクトを含むあらゆる要素を持つことができます。
シーンはUnityで作成できます。推奨バージョンは2019.1.6f1ですが、旧バージョンも使用可能です。
TWSDKをUnityのプロジェクトにインポートしてからシーンを作成してください。
シーンを作成する際に、UnityのデフォルトスクリプトおよびTWSDKのスクリプト以外のスクリプトは使用しないでください。
オブジェクトを掴めるようにするためにはGrabObjectコンポーネントをオブジェクトに追加します。オブジェクトは掴むためのコライダー(collider)を持っている必要があります。
テレポート機能を使用できるように、コライダーを持つ床を作ることをおすすめします。
アバターの初期座標は常に0,0,0です。
シーン作成を完了したら、TWSDKメニューからExport scene(シーンを出力)を選択します。

作成された.trsceneファイルをTracking Worldで読み込むことが出来ます。