京都VR ～清水寺参道～

2023/9/28 Works

京都VRを公開しました！

清水寺の参道「産寧坂」「二年坂」「八坂通」の町並みや食べ物をフォトグラメトリによりデジタルアーカイブ。
生成したデジタルツイン空間をVR化＆メタバースプラットフォームへ移植しました。
下記リンクより体験いただけます。

VR起動リンク

  • cluter版
    こちら
    スマホにも対応してます。
    モバイル対応のため下記VRChat版よりもテクスチャ解像度は1/4に下げています。

 

  • VRChat版
    こちら
    PCVR用。8kテクスチャ使用バージョン。

 

  • Meta Quest 版
    こちら からapkファイルをダウンロードしインストールしてください。
    PC不要スタンドアローン版。
    Quest3向けに最適化しているためQuest2では少し重いかもです。
    インストールはSideQuestの利用が便利です。
    ・2023/10/22 ver.1.1公開

3D Gaussian Splatting版アプリ

ガウシアンスプラッティング版。
Windowsとmacのアプリを こちら で公開しました。

メイキング

｢Insta360 One RS 1-inch｣の360度動画から生成

今回は一眼カメラは基本使用していないのです。

八坂の塔だけは一眼使ったのですが、町並みは全て360度カメラの動画。
なぜ一眼ではないのかというと、世界各国から観光客がやってくるような場所なので撮影できる時間が限られ、一眼では時間がかかりすぎて間に合わないからでした。
夏至の時期を狙い朝4:30から撮影開始したけれど、それでもちらほら人がいる。さすが京都随一の名所スポット。

なのでガチフォトグラメトリ品質ではないのは少々心残り。
下記の通りレーザースキャンも行ったが今回は活かしきれなかったか。

より詳しい撮影方法については東京大学にて登壇した際のスライドがありますのでこちらをご参照ください。

東京大学 3Dスキャン勉強会「フォトグラメトリ」 by @lileaLab
レーザースキャナ｢RTC360｣も補助的に使用

レーザースキャナRTC360でレーザースキャンしたのが2022年11月。
Insta360 One RS 1-inchで動画撮影したのが2023年7月。

というわけで現地の状況が結構変わってしまい。
本来はレーザースキャンデータとInsta360のデータを併用してメッシュ生成する予定でしたがだいぶおかしなメッシュになってしまったので、アライメントまではRTC360を利用していますがメッシュ生成以降は使用していません。

アライメントではレーザースキャンデータを使用しているので地理的な意味では結構な精度で一致。今回は約600mのエリアを生成しましたが地図ともしっかり合致。

フォトグラメトリソフト｢RealityCapture｣で生成

今回も生成にはRealityCaptureを使用。
読み込ませた画像の総数は、

  • 産寧坂：8,318枚
  • 二年坂：7,032枚
  • 八坂通：9,712枚
  • 八坂の塔：118枚
  • 合計：25,180枚
たべものフォトグラメトリは現地の宿で

たべものスキャンは鮮度が命！？
現地で購入した饅頭やきんつば等、京都から関東の自宅まで持って帰ってくると形も崩れてしまうので、食物はすべて宿泊先の部屋でフォトグラメトリ撮影しました。
持っていける機材も限られていたので、百均で買ったビニール袋ラックとテグスを組み合わせて。

使用機材・使用ソフト

  • Insta360 One RS 1-inch (町並み撮影用)
  • Theta X (初期に使用したが最終的にInsta360に乗り換え)
  • Sony α7 RIV + SEL14F18GM & SEL24105G (八坂の塔撮影用)
  • Leica RTC360 (広域空間位置合わせ用)
  • iPhone 12 Pro (たべものフォトグラメトリ撮影用 / 現地の看板等撮影用)
  • Bi Rod (高所撮影用)
  • Adobe Bride (画像管理と現像用)
  • FFmpeg (360度動画からの画像切り出し)
  • RealityCapture (フォトグラメトリ)
  • Cinema4D (モデルクリーンナップ)
  • SubstancePainter (テクスチャ調整)
  • Photoshop (テクスチャ調整 素材制作)
  • Unity (VRChat、clusterワールド制作)

せっかく京都なんだしガチなフォトグラメトリもしたいところだったわ。
レーザースキャンと一眼をフルに使った本気バージョンやりたい。
また京都行こ。

ワールドにお越しの皆様の様子

Togetterにまとめました。
https://togetter.com/li/2232605

メディア

京都VRを取り上げていただきました。

「MoguLive」様
https://www.moguravr.com/kyoto-vr/

「メタカル最前線」様
https://metacul-frontier.com/?p=7884