Project North Starとは
Project North StarはARヘッドセット。オープンソースハードウェアで3Dデータなどが公開されている。
以前勉強会に行って、キットを頼んでいたものを組み立ててみたのでその感想です。
ARの仕組み
作業メモはTogetterにまとめています。 togetter.com
元がセンサーはLeap Motionのみ使用だったのがIntel Realsenseも積み増しで使うことで6DoFになったのが最新バージョン。
構造は意外と単純で顔の前横面にある小さなディスプレイが前方方向に出した光をさらに前方にある鏡で反射させるという仕組みです。この鏡は全てを反射するものではなくディスプレイの像と現実の像が概ね1:1になるように部分的に反射、部分的に透過するハーフミラーというものが使われています。
ハーフミラーはマジックミラーの反射が少なく透過度が上がったものと捉えるとわかりやすいかもしれません。マジックミラーも明るさの差を利用していますがハーフミラーも周囲の光量によって像の透明度が変わります。環境の影響を減らすにはカメラを別途つけて周囲光量によって意図的にディスプレイ明度を変えるとかでしょうか。
ここがつらいよハードウェア
直近Plen2というヒューマノイドロボットも組み立てていますがどちらも3Dプリンターの部品を使っているのが特徴です。結論だけ言うとどちらも惨敗でした。
任意の形を作るのは3Dプリンターが得意とするところですが、ジグがあるわけではないのでヒューマンエラーに弱いですね。どちらも左右部品の間違えがありました。今日は組むぞとテンション上がったときに部品不足で組み切れないのはつらいところ。セールで買った3Dプリンターも初期不良のようでうまく動かず。。。
寸法精度の問題にも悩まされました。プラスチックは熱膨張率高いので金属より隙にシビアなのはありますが、3Dプリンターは出力速度と綺麗さが反比例の関係にあるのも難しいところですね。せっかく金属でなくなったのにバリ取りが必要。
円柱形の部品は削って真円を保つのが難しいので極力四角い嵌め木風の方が後から失敗を吸収しやすいかもしれません。何もしていないのに初期から壊れているのがハードウェアの難しいところ。
ARメガネに必要なのはMachine Learning
ビデオ会議でよくZoomと組み合わせて使えるSnap Cameraというソフトがあります。ソフトを使うことで化粧だったり、コスプレだったりカメラ画像を改変した画像をバーチャルカメラとしてZoomに入力できます。
このSnap Camera、Lens Studioという開発環境で作成するのですが最近ではSnapMLという機械学習モデルを読み込む機能を売りにしています。Instagramフィルターが作れるが作れるSpark AR Studioも元がFacebookなので似た機能の追加は今後あるかもしれません。
調べたところマジックミラーの特許初出は1903年のようです。100年以上前ですね。現実世界に像を重ねるだけなら随分前からできたことがわかります。もちろんスタンドアローンで廉価なVRヘッドセットが普及しだしたのがここ最近なので小型化それ自体も技術的チャレンジはあるのですが像が合成できればAR足り得るかというとそうではないですね。
地面だったり、現実の人や物体、自分の手足を認識すること自体がARであり、ARをARたらしめるのはMachine Learningなのではないか と思いました。
AIブームが過渡期を超えたのは事実で目的な曖昧なProof of Conceptの受託研究開発が減っていくのは避けられないトレンドなのですが一方でARメガネはGAFAが力を入れている領域の一つであり、そういう生き残り方もありそうだと思いました。
