第5回 Looking Glass勉強会(オンライン)に参加しました。
LT #01 ルキグラダンジョン開発記
csvをUnityに読み込んでダンジョンを構築
HoloPlay Unity SDKのエフェクトを使用
LT #02 Webでルキグラ
映像の前にレンチキュラーシートがあるのが基本的な仕組み. 配布は多視点のQuilt形式で表示は専用ツールで変換している.Looking GlassはPCからはサブディスプレイとして見える。
HoloPlay.jsを使えばWebのThree.jsのシーンを変換して表示できる. WebAssemblyのffmpegで動画を生成するツールを作った.
WebServer for Chromeを使うとローカルで簡単にサーバーたてられる
LT #03 るきぐらを携えてテレビ出演した話
自作iPhoneアプリの話
iPhoneで撮影してplyファイルをアップロード、DLしたものをUnityアプリで表示。表示した後にガッカリしないようにある程度iPhoneでプレビュー
HoloPlay Studioに似た機能を提供。
LT #04 UnityRenderStreamingを使ってサーバー側でQuilt映像をレンダリングする
3DからQuilt形式にはパワーが必要. 以前はJetson Nanoを試した。今回はリモートレンダリングに挑戦。NvidiaのCloudXRなどが有名
UnityRenderStreamingを使ってリモートレンダリング.
LT #05 スタンドアローンモードの基本
LookingGlassPortraitの録画手法の比較
- HoloPlay内のHoloRecorder
Quilt動画を作成できる. NVIDIAのエンコードが使えると速いが音を入れられない. 中でFFMPEGOut for Unityを使っている
- Unity Recorder
音が入るがh264しか選べずLooking Glass Portraitがサポートするh265に変換する必要がある
- FFMPEGOut for Unity直
試行錯誤中
LT #06 Quiltの縦横数判定
HoloPlay Studioで変換する際に縦横比を指定するのが面倒。 タイル数を自動判定するLookingGlassQuiltViewerを作成
絵をずらして自己相関から判定したが4x6と8x6の区別は原理的に困難なので安全な方に寄せた
LT #07 全肯定する理想の妹をるきぐらで召喚する方法
全人類の心のオアシス
— シロフード (@sirohood_exp) June 11, 2021
全肯定 #理想の妹アシスタント です。#LookingGlassPortrait pic.twitter.com/GdDrYAnMkt
回転台があると便利. 周りを暗くするか背景を設定すると映り込みを防止できる
過去にLooking Glassで初音ミクを表示するみくちゅあがーでんを作った。 音声認識+Leap Motion+Airbar(タッチパネル化)
パターンを増やすためにドコモAIエージェントを使って全肯定妹を作った
LT #08 Quilt表示シェーダとQuiltキャプチャアプリでルキグラVRChat
Quilt表示シェーダを実装. SDKを持ち込めない環境でもシェーダーとしてなら対応しているものも(例: VRChat)
Quit表示アバターでVRChatに持ち込む
LT #09 Looking Glass Light Field Photo Rail使ってみた
Looking Glass Light Field Photo Railを使うと実写の多視点画像を撮れる。過去の比較では最も良い手法だが機材がなかった。
撮影開始は右から。カメラに近づくとよい
所感
LT回ですがちゃんと初心者フォローもあってよかった。
言うてVRではないのでMacでもUSB挿せばなんだかんだで開発できると思っていたのですが、ちょいちょいNVIDIAの話が出てきますね。我々は謎の半導体メーカーから逃れることはできないのだ
