京都 清水寺の参道 産寧坂・二年坂・八坂通 エリアを3D Gaussian Splattingにて3D復元しました！
やりたかったやつ、ついに出来た。
広域3D Gaussian Splatting！
京都清水寺の参道600mを約2万枚の画像から3D復元。
せっかくだから体験可能な形でも用意したいな。#GaussianSplatting pic.twitter.com/WTlMgX9bm1— 龍 lilea (@lileaLab) May 7, 2024
↑と以前つぶやいていましたが、アプリ化できたので公開します！
Windows/mac アプリ版
インストーラーを こちらのOneDrive に保存しました。
- 7GBあるので注意
- 描画負荷も結構高いです (macではMacBook Air M2で動作確認できています)
- ファイルと描画の重さについては今後のアップデートで軽量化出来たらとは思ってますが、そう簡単な話でもないので一旦公開しちゃいます
産寧坂エリアWeb版
2024/10/17に正式リリースされた「Unity6」のVFX Graphの新機能を早速使ってみた。
VFX GraphがWebビルドしたものでも再生できるというもの。
SplatVFXを使って3D Gaussian Splattingを表示しました。
『京都産寧坂3DGS』
https://works.lilea.net/3d-digital-archive/kyoto-sanneizaka/
- モバイルは非対応っぽいのでPCやmacのブラウザでアクセス
- 全域(600m)ではなく産寧坂の階段エリア(50m)のみバージョン
- ひとまず動いたというだけのものなので今後アップデート予定
- “VFX Graph で使用されるガウス投影アルゴリズムは完璧とは程遠く、カメラの動きによる突然のポップなど、多くのアーティファクトを引き起こします”という制約あり
メイキング
このような大規模 広域な3D Gaussian Splattingをどのように処理し制作したのか。
『CGWORLD 2024 クリエイティブカンファレンス』に登壇させていただく事になりました！
こちらで詳しいワークフローとTIPSについてお話させていただきます。
『地上撮影による広域大規模3D Gaussian Splattingの生成ワークフロー＆TIPS』
物理空間を撮影したデータからデジタルの3D空間を生成する技術「3D Gaussiasn Splatting (ガウシアンスプラッティング) 」についてお話します。
地上で撮影した写真や動画をベースに大規模、広域な空間を3D Gaussian Splatting処理をする際のワークフローやTIPSを紹介。
Postshotの基本的な使い方を初め、複雑かつ大規模な空間を生成するためにRealityCaptureやMetashapeを併用する方法や、更に位置精度を高く生成するためにレーザースキャンやRTK-GNSSを活用する方法など、京都 清水寺参道などの具体的な事例を元に解説します。
メイキング簡易版
建築情報学会ミートアップにてライトニングトークしました。
こちらも参考までにどうぞ。