xR Developers Community Conference (VRM勉強会トラック)に参加しました。
VRM 1.0で使用可能になるConstraintについて
VRM 1.0でConstraintが使えるように。ただし制限がありソースはHumanoidのボーンでなければならない。モバイルデバイスでも動くものを目指しているため。
仕様はrepositoryで管理中。
UniVRM1.0 draftはすでに公開しているが仕様が変わる可能性があるためテストのみを推奨。
v1.0リリースされたら次は何ですかね？VRMは3Dモデルにフォーカスした規格ですがより歴史のあるMikuMikuDanceだとMikuMikuEffectsも同時に使われることが多いので同じように標準化されたエフェクトファイルがあってもいいかもしれない。
「VRMはアバター時代のPNG」から考えた、透過撮影アプリ制作の話
VRMを読み込むだけでいろんなポーズの素材がとれるアプリを作った。
VRMは種類が豊富すぎるためやらないことを決めることが大事。FOVの最適解がわからなかったので平行投影に、ライティングも1パターンに絞った。
ツール便利ですね。VTuberのサムネ見ると概ね上半身のみなので足は飾りモードがあってもいいかもしれない。
モバイルファーストなアプリを作るためにvearがしたこと
iOS向けの自撮りアプリを作った。アバターで写真を撮影可能。
アバターを操作するには着ぐるみ式とパペット式がある。没入感を得るためにメタ視点排除、自分の動きとのズレをなくした。
Unity as a Library、Macにも対応してほしい。Mac Catalystだと動く？？
Unityで作ったVRMポーズをUE4でも使う！
VRM4Uを使ってUnityのモデルをUnreal Engine 4へ移植。
ポーズをJSON形式で表したがUnityとUnreal Engine4はデフォルトの座標系が違い、exportファイルでもQuaternionを使うとうまくいった。
ポーズの標準フォーマットほしいですね。VMC Protocolが近いところにいそうですが
USBカメラモーションキャプチャー「ThreeDPoseTracker」
USBカメラでモーションキャプチャーできるツールを作った。
スペックの高いNVIDIAのGPUが必要だがある程度FPSが出る。プログラム自体のライセンスには制限があるが取得したモーションデータ自体は自由に利用可能。
ヘッドマウントディスプレイをつけている状態だと前後の誤判定がおきることもあるとか。
自身を3Dスキャンしてくれるサービスもあるのでそれをリアル調のVRMモデルにし、アイテムとしてHMDを追加して、それで録画した画像とポーズデータを機械学習モデルに再度いれればあるいは？？
所感
VRM v1.0も見据えてドキュメントも少しずつ揃ってきてますね。
えてして日本のスタートアップはタイムマシーン経営になりがちですが、VRMは日本発なので期待。
