Courtesy of Pete Kelsey, VCTO Labs
スポットライト
2025年6月16日
ザ・ロックをデジタル化：Pete Kelsey 氏と RealityScan 2.0 が Epic エコシステムでアルカトラズを再現
VCTO Labs は、アルカトラズ島のこれまでで最も包括的な 3D モデルの作成に着手するにあたり、RealityScan を選択しました。これは、航空 LiDAR、写真、Cesium タイルから驚くほど詳細度の高いデジタル レプリカを生成するためでした。
サンフランシスコ湾の波間に浮かぶアルカトラズ島は、アメリカ合衆国で最も象徴的な史跡の 1 つです。この島は、かつてアル・カポネや「アルカトラズ島の鳥男」として知られるロバート ストラウドなどの悪名高い囚人を収容していた厳重警備の刑務所として広く知られており、軍事要塞としても機能し、1969 ～ 1971年にネイティブ アメリカンに占拠された際には、ネイティブ アメリカンの運動を象徴する島となりました。現在、この島は米国国立公園局によって管理されている保護区域となっており、年間 100 万人を超える観光客を魅了しています。
ただし、「ザ・ロック」の愛称でも知られるアルカトラズは、単なる観光地ではありません。まさに現存する歴史です。文化的価値のあるその他多くの歴史的建造物と同様に、自然の猛威にさらされているこの建造物にとって、時間は最大の敵です。そのため、VCTO Labs の創設者であり、長年にわたりデジタル保存を推進してきた Pete Kelsey 氏が、これまでで最も包括的なアルカトラズの 3D モデルを作成するという画期的なプロジェクトを主導することになりました。このプロジェクトの目標は、島における海面上昇、浸食、地震活動の将来的な影響を研究するためのデジタル基準を確立することです。
ただし、「ザ・ロック」の愛称でも知られるアルカトラズは、単なる観光地ではありません。まさに現存する歴史です。文化的価値のあるその他多くの歴史的建造物と同様に、自然の猛威にさらされているこの建造物にとって、時間は最大の敵です。そのため、VCTO Labs の創設者であり、長年にわたりデジタル保存を推進してきた Pete Kelsey 氏が、これまでで最も包括的なアルカトラズの 3D モデルを作成するという画期的なプロジェクトを主導することになりました。このプロジェクトの目標は、島における海面上昇、浸食、地震活動の将来的な影響を研究するためのデジタル基準を確立することです。
Courtesy of Pete Kelsey, VCTO Labs
ザ・ロックの外観をデジタル化するために、Kelsey 氏は高解像度のフォトグラメトリ、マルチスペクトル画像、航空 LiDAR などの複数のセンシング技術を組み合わせました。データ量が膨大で、島内のインターネット接続が不安定であったことから、クラウドでの処理を選択することはできませんでした。そのため、スキャンのたびにデータを現場ですぐに処理する必要がありました。つまり、Kelsey 氏とチームはアルカトラズ島を離れる前に、すべてのデータをキャプチャし、利用可能な状態にしておく必要があったのです。
RealityScan 2.0 でアルカトラズのデジタルの未来を実現する
一部のデータは RealityScan (旧称 RealityCapture) で直接処理されました。Kelsey 氏は次のように振り返ります。「私が知る限り、LiDAR とフォトグラメトリ データを単一のモデルに統合できる数少ない製品の 1 つであるため、RealityScan を使いたいと思いました。「アルカトラズの事務所で、RealityScan がキャプチャ データ (おそらくフォトグラメトリ) を全力で処理してくれていたあの日のことを、決して忘れないでしょう」
当時、RealityScan はフォトグラメトリと地上 LiDAR の組み合わせのみをサポートしていました。Kelsey 氏から私たちのチームに連絡があり、ドローン画像と航空 LiDAR スキャンの統合のサポートを依頼されました。私たちは、RealityScan がこのプロジェクトに貢献していることをとても嬉しく感じました。航空 LiDAR のサポートはすでに開発中であり、アルカトラズ プロジェクトは RealityScan 2.0 の実世界での完璧なテスト ケースとなりました。このコラボレーションのおかげで、RealityScan はフォトグラメトリと地上 LiDAR、そして航空 LiDAR の組み合わせを正式にサポートするようになりました。
RealityScan 2.0 でのデータ処理
Kelsey 氏から、62 個の地上コントロール ポイント、2,805 枚のドローンで撮影した画像、および航空 LiDAR スキャンで構成される調査ネットワークが提供されました。フォトグラメトリ データと地上コントロール ポイントは標準ワークフローを使用して処理されました。つまり、すべての画像が RealityScan プロジェクトにインポートされ、アライメントが行われました。最初のアライメントの後、地上コントロール ポイントをインポートし、画像にマーキングし、ドローンからの精度の低い GPS メタデータを無効にして、アライメントを再実行し、その結果を最適化しました。
RealityScan 2.0 でアルカトラズのデジタルの未来を実現する
一部のデータは RealityScan (旧称 RealityCapture) で直接処理されました。Kelsey 氏は次のように振り返ります。「私が知る限り、LiDAR とフォトグラメトリ データを単一のモデルに統合できる数少ない製品の 1 つであるため、RealityScan を使いたいと思いました。「アルカトラズの事務所で、RealityScan がキャプチャ データ (おそらくフォトグラメトリ) を全力で処理してくれていたあの日のことを、決して忘れないでしょう」
当時、RealityScan はフォトグラメトリと地上 LiDAR の組み合わせのみをサポートしていました。Kelsey 氏から私たちのチームに連絡があり、ドローン画像と航空 LiDAR スキャンの統合のサポートを依頼されました。私たちは、RealityScan がこのプロジェクトに貢献していることをとても嬉しく感じました。航空 LiDAR のサポートはすでに開発中であり、アルカトラズ プロジェクトは RealityScan 2.0 の実世界での完璧なテスト ケースとなりました。このコラボレーションのおかげで、RealityScan はフォトグラメトリと地上 LiDAR、そして航空 LiDAR の組み合わせを正式にサポートするようになりました。
RealityScan 2.0 でのデータ処理
Kelsey 氏から、62 個の地上コントロール ポイント、2,805 枚のドローンで撮影した画像、および航空 LiDAR スキャンで構成される調査ネットワークが提供されました。フォトグラメトリ データと地上コントロール ポイントは標準ワークフローを使用して処理されました。つまり、すべての画像が RealityScan プロジェクトにインポートされ、アライメントが行われました。最初のアライメントの後、地上コントロール ポイントをインポートし、画像にマーキングし、ドローンからの精度の低い GPS メタデータを無効にして、アライメントを再実行し、その結果を最適化しました。
Courtesy of Pete Kelsey, VCTO Labs
次に、[Workflow (ワークフロー)] タブの [Import LiDAR Scan (LiDAR スキャンのインポート)] ツールを使用して航空 LiDAR データをインポートしました。RealityScan は、自動的にデータセットを航空 LiDAR として認識しました。RealityScan は、インポート中に、レーザー スキャンをレンダリングするためのバーチャル カメラを生成し、地上 LiDAR と同様に、アライメントとメッシュ生成に使用できる .lsp ファイルを生成しました。
バーチャル カメラを生成するには、次の 3 つのオプションがあります。
バーチャル カメラを生成するには、次の 3 つのオプションがあります。
- From camera pose priors (カメラ ポーズの事前設定から)
- From component (コンポーネントから)
- Generate aerial poses (空中ポーズを生成)
1 つのコンポーネントに 2,332 枚のアライメント済みの画像があったため、それらを再利用するには、多大な労力が必要になります。そのため、代わりに、点群の上にバーチャル カメラの規則的なグリッドを作成する [Generate aerial poses] を選択しました。
Courtesy of Pete Kelsey, VCTO Labs
点群が非常に高密度であったため、.lsp ファイルは実際の写真のように見え、地上コントロール ポイントのマーキングが簡単かつ正確になりました。
Courtesy of Pete Kelsey, VCTO Labs
私たちは強度チャンネルで複数の GCP をマーキングしました。その結果、航空 LiDAR の典型的な色ずれにより、強度チャンネルの方がカラー チャンネルよりも正確であることがわかりました。
Courtesy of Pete Kelsey, VCTO Labs
GCP のマーキングクを行った後は、プロジェクトでアライメントを再度実行し、フォトグラメトリと航空 LiDAR データの両方を組み合わせた単一のコンポーネントを作成しました。
Courtesy of Pete Kelsey, VCTO Labs
両方の長所を活かす：ジオメトリには LiDAR、テクスチャにはフォトグラメトリを使用
データセットのアライメントを行った後、航空 LiDAR データを使用してメッシュを再構築し、フォトグラメトリを使用して高解像度テクスチャを生成しました。この作業で、素晴らしい結果が得られました。LiDAR ベースのメッシュの再構築によって 2 億個以上のポリゴンが生成され、RealityScan で 21 個の 8K テクスチャが生成され、きわめて高い詳細度が実現しました。
屋根構造、エッジ、テクスチャが最小限の領域などの特定の表面は、フォトグラメトリのみを使用する場合よりも LiDAR を使用した方がはるかに正確にキャプチャできました。このハイブリッドのワークフローで、両方のテクノロジーの強みを活かすことができました。
データセットのアライメントを行った後、航空 LiDAR データを使用してメッシュを再構築し、フォトグラメトリを使用して高解像度テクスチャを生成しました。この作業で、素晴らしい結果が得られました。LiDAR ベースのメッシュの再構築によって 2 億個以上のポリゴンが生成され、RealityScan で 21 個の 8K テクスチャが生成され、きわめて高い詳細度が実現しました。
屋根構造、エッジ、テクスチャが最小限の領域などの特定の表面は、フォトグラメトリのみを使用する場合よりも LiDAR を使用した方がはるかに正確にキャプチャできました。このハイブリッドのワークフローで、両方のテクノロジーの強みを活かすことができました。
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
AMD が、このプロジェクトをサポートするために、96 コア Threadripper Pro 7995WX CPU 搭載の高性能ワークステーションを提供してくれました。「タスク マネージャーを起動すると、96 個の青い四角形が表示され、すべて 4.7 GHz で 100% で動作していました。嬉しくて、歓声をあげてしまいました」と、Kelsey 氏は語りました。
さらに圧巻だったのは、次のパフォーマンス指標です。
スキャンからシーンを作成：Unreal Engine と Twinmotion でアルカトラズ島を視覚化
Epic Games は Unreal Engine や Twinmotion などの強力なレンダリング ツールを開発しているため、アルカトラズのスキャンのビジュアライゼーションも特別な作業ではなく、一般的な作業として行われました。その結果は、驚くべきものでした。
サンフランシスコ湾の中央に浮かぶアルカトラズは完璧な素材でした。高解像度のメッシュを Twinmotion にインポートした後、[Ambience (アンビエンス)] オプションで海面とボリュメトリック クラウドを追加し、ビルトイン アセットを使用して、より豊かな環境に仕上げました。数分で、この島のリアルタイムでフォトリアルなフライスルーが出来上がりました。
さらに圧巻だったのは、次のパフォーマンス指標です。
- 航空 LiDAR からのメッシュ計算：13 分 48 秒
- フォトグラメトリによる通常のディテールの再構築：1 時間 38 分 55 秒
- フォトグラメトリによる高精細の再構築：7 時間 6 分 22 秒
スキャンからシーンを作成：Unreal Engine と Twinmotion でアルカトラズ島を視覚化
Epic Games は Unreal Engine や Twinmotion などの強力なレンダリング ツールを開発しているため、アルカトラズのスキャンのビジュアライゼーションも特別な作業ではなく、一般的な作業として行われました。その結果は、驚くべきものでした。
サンフランシスコ湾の中央に浮かぶアルカトラズは完璧な素材でした。高解像度のメッシュを Twinmotion にインポートした後、[Ambience (アンビエンス)] オプションで海面とボリュメトリック クラウドを追加し、ビルトイン アセットを使用して、より豊かな環境に仕上げました。数分で、この島のリアルタイムでフォトリアルなフライスルーが出来上がりました。
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
Unreal Engine でのセットアップも簡単でした。Water プラグインを有効にして島の周囲の海を追加し、Cesium for Unreal プラグインをインストールして実世界の地理空間データを取り込みました。Cesium では、Google の Photorealistic 3D Tiles を使用して、ゴールデン ゲート ブリッジなどのランドマークを含む周辺エリアを追加しました。
Courtesy of Pete Kelsey, VCTO Labs
過去を未来につなげる
アルカトラズは、アメリカ合衆国の激動の時代の物言わぬ証人です。今日、Pete Kelsey 氏、Kelsey 氏が率いるチーム、そして RealityScan チームのおかげで、アルカトラズは、最先端の技術と文化財保護を融合させて実現できた記念碑としても存在しています。
アルカトラズ プロジェクトは、LiDAR とフォトグラメトリがどのように相互に補完し合うか、そして RealityScan 2.0 パイプラインが Unreal Engine エコシステムと連携して、クリエイターがかつてない方法で歴史をデジタル化して保存し、共有できるようにする方法を示しています。
将来を見据えると、私たちの使命は明確です。市場で最も先進的で直感的、かつ信頼性の高いスキャン ソフトウェアを提供することで、3D コンテンツ作成の基盤を構築し、クリエイターが実世界をフォトリアルなメタバースに取り込む際の必携ツールにすることです。
現実世界をスキャンできれば、それを保存できます。皆さんおわかりいただけるでしょう。最も重要なのは、共有できることです。
アルカトラズは、アメリカ合衆国の激動の時代の物言わぬ証人です。今日、Pete Kelsey 氏、Kelsey 氏が率いるチーム、そして RealityScan チームのおかげで、アルカトラズは、最先端の技術と文化財保護を融合させて実現できた記念碑としても存在しています。
アルカトラズ プロジェクトは、LiDAR とフォトグラメトリがどのように相互に補完し合うか、そして RealityScan 2.0 パイプラインが Unreal Engine エコシステムと連携して、クリエイターがかつてない方法で歴史をデジタル化して保存し、共有できるようにする方法を示しています。
将来を見据えると、私たちの使命は明確です。市場で最も先進的で直感的、かつ信頼性の高いスキャン ソフトウェアを提供することで、3D コンテンツ作成の基盤を構築し、クリエイターが実世界をフォトリアルなメタバースに取り込む際の必携ツールにすることです。
現実世界をスキャンできれば、それを保存できます。皆さんおわかりいただけるでしょう。最も重要なのは、共有できることです。
RealityScan をダウンロードする
RealityScan は、学生、教育者、および年間総収益が 100 万米ドルに満たない個人および企業は無料で使用することができます。年間総収益が 100 万米ドルを上回る場合は、Epic Games の ライセンス ページ にアクセスし、購入オプションをご確認ください。
ランチャーをダウンロードする
RealityScan をインストールして実行する前に、Epic Games Launcher をダウンロードしてインストールする必要があります。
Epic Games Launcher をインストールする
ダウンロードして、インストールしたら、Epic Games Launcher を開いて、Epic Games アカウントを作成するか、ログインします。
問題が発生した場合は、サポートを受ける か、手順 1 でダウンロードした Epic Games Launcher を再起動します。
RealityScan をインストールする
ログインしたら、[Unreal Engine] セクションの [RealityScan] タブに移動し、[Install (インストール)] ボタンをクリックします。最新バージョンのダウンロードが始まります。