京都VR 蹴上インクライン編

Works

京都VRの第二弾「蹴上インクラインVR」を公開しました。

360度動画、ミラーレス写真、PLATEAU、点群等を用いて再現したワールドです。
インクライン (傾斜鉄道) の仕組みを学べ、そして体験できる空間になっています。

「三十石船」に乗れちゃいます。

「ねじりまんぽ」も通れちゃいます。

VR

VRは下記リンクより体験いただけます。

VRChat版
※PCVR用

cluster版
※スマホにも対応
※テクスチャ解像度はVRChat版よりも低く設定してます

メイキング

フォトグラメトリ編

360度動画からはMetashape、
写真からはRealityCaptureによるフォトグラメトリで3Dモデルを生成。

しかし現地はさすが京都の桜の名所。
朝6時の時点でも人が多く、桜並木エリアはミラーレス一眼での撮影は断念。
Insat360 ONE RS 1-inchの動画撮影としました。

動画に写り込んでしまった人は、以下の手法で消しました。

  1. META社のSegment Anythingでセグメンテーション
  2. YOLOで人物検出
  3. Stable Diffusionで生成AI塗りつぶし

後日より詳しいメイキングも紹介してみようかと思います。
(LT登壇とか何か機会あればそこで話してみようかな)

大規模点群のLoD描画編

フォトグラメトリは樹木の葉や花を表現するのには向いていません。
そこで今回は葉と花を点群で表現しました。

しかし全長700mほどに渡るエリアの桜を全て点群で表示するのは従来の手法では負荷が重すぎます。
そこで今回は私の所属するホロラボが独自開発した「Nubo」を利用しました。

メタバースプラットフォーム(VRSNS)に対応した、スクリプトに頼らずシェーダーでLoD処理を行う仕組みです。
詳しくはこちらの Unity Learning Material にて紹介しています。
大規模点群でVRChatワールドを作る

これを用いることで総数 点の点群を負荷を抑えながら描画できました。