Courtesy of Pete Kelsey, VCTO Labs
阿尔卡特拉斯岛耸立于旧金山湾的波涛之中，是美国最具标志性的历史遗址之一。这座岛屿最为人所熟知的，是它曾作为一座戒备森严的监狱，关押过诸如阿尔·卡彭和罗伯特·斯特劳德（“阿尔卡特拉斯的养鸟人”）等臭名昭著的囚犯。此外，该岛还曾作为军事要塞存在，并在1969年至1971年被美洲原住民活动人士占领期间，成为其抗议活动的象征。如今，该岛已成为受保护的遗址，由美国国家公园管理局管理，每年吸引逾百万游客前来参观。
但阿尔卡特拉斯岛（也被昵称为“巨岩”）不仅仅是一个旅游景点，更是活生生的历史遗迹。与许多暴露在自然环境中的文化遗产地标一样，时间是它最大的敌人。因此，VCTO Labs的创始人Pete Kelsey作为致力于数字遗产保护的长期倡导者，领导了一个开创性的项目，旨在创建迄今为止最全面的阿尔卡特拉斯岛3D模型。其目标是建立一个数字基准，用以研究海平面上升、侵蚀和地震活动在未来对该岛屿的影响。
但阿尔卡特拉斯岛（也被昵称为“巨岩”）不仅仅是一个旅游景点，更是活生生的历史遗迹。与许多暴露在自然环境中的文化遗产地标一样，时间是它最大的敌人。因此，VCTO Labs的创始人Pete Kelsey作为致力于数字遗产保护的长期倡导者，领导了一个开创性的项目，旨在创建迄今为止最全面的阿尔卡特拉斯岛3D模型。其目标是建立一个数字基准，用以研究海平面上升、侵蚀和地震活动在未来对该岛屿的影响。
Courtesy of Pete Kelsey, VCTO Labs
为了完成“巨岩”外部结构的数字化工作，Pete结合使用了多种传感技术，包括高分辨率摄影测量、多光谱成像和机载激光雷达。由于数据量庞大，且岛上网络连接状况不佳，云处理并不是可行的选择，因此每次扫描后，必须立即在现场处理数据。这意味着Pete及其团队需要确保采集到的数据完整、可用，才能离开阿尔卡特拉斯岛。
使用RealityScan 2.0解锁阿尔卡特拉斯岛的数字未来
部分数据是在RealityScan（原名RealityCapture）中直接处理的。“我知道这就是我需要的软件，因为据我所知，它是为数不多能够将激光雷达数据和摄影测量数据整合到单个模型中的产品。”Pete回忆说，“我永远都不会忘记在阿尔卡特拉斯岛办公室的那一天，RealityScan正在处理我们的采集数据，很可能是摄影测量的部分。”
当时，RealityScan仅支持将摄影测量数据与地面激光雷达数据结合。Pete联系了我们的团队，询问我们是否能够帮助他将无人机图像与机载激光雷达扫描数据合并在一起。而在RealityScan团队这边，我们很高兴能参与其中：对机载激光雷达的支持已经进入开发阶段，而阿尔卡特拉斯岛项目成为了RealityScan 2.0的理想现实测试案例。得益于这次合作，RealityScan现在正式支持将摄影测量数据与地面及机载激光雷达数据相结合。
在RealityScan 2.0中处理数据
Pete向我们提供了一个由62个地面控制点、2805张无人机拍摄的图像以及机载激光雷达扫描数据组成的测量网络。我们按照标准工作流程处理了摄影测量数据和地面控制点：将所有图像导入到RealityScan项目中进行对齐。初步对齐后，我们导入了地面控制点，在图像中标记了它们，并禁用了来自无人机的低精度GPS元数据，然后重新运行对齐以优化结果。
使用RealityScan 2.0解锁阿尔卡特拉斯岛的数字未来
部分数据是在RealityScan（原名RealityCapture）中直接处理的。“我知道这就是我需要的软件，因为据我所知，它是为数不多能够将激光雷达数据和摄影测量数据整合到单个模型中的产品。”Pete回忆说，“我永远都不会忘记在阿尔卡特拉斯岛办公室的那一天，RealityScan正在处理我们的采集数据，很可能是摄影测量的部分。”
当时，RealityScan仅支持将摄影测量数据与地面激光雷达数据结合。Pete联系了我们的团队，询问我们是否能够帮助他将无人机图像与机载激光雷达扫描数据合并在一起。而在RealityScan团队这边，我们很高兴能参与其中：对机载激光雷达的支持已经进入开发阶段，而阿尔卡特拉斯岛项目成为了RealityScan 2.0的理想现实测试案例。得益于这次合作，RealityScan现在正式支持将摄影测量数据与地面及机载激光雷达数据相结合。
在RealityScan 2.0中处理数据
Pete向我们提供了一个由62个地面控制点、2805张无人机拍摄的图像以及机载激光雷达扫描数据组成的测量网络。我们按照标准工作流程处理了摄影测量数据和地面控制点：将所有图像导入到RealityScan项目中进行对齐。初步对齐后，我们导入了地面控制点，在图像中标记了它们，并禁用了来自无人机的低精度GPS元数据，然后重新运行对齐以优化结果。
Courtesy of Pete Kelsey, VCTO Labs
接下来，我们使用“工作流程”选项卡中的“导入激光雷达扫描”工具导入了机载激光雷达数据。RealityScan会自动将该数据集识别为机载激光雷达数据。在导入过程中，RealityScan会生成虚拟相机来渲染激光扫描数据，从而生成.lsp文件，用于对齐并生成网格体（这一点与处理地面激光雷达数据相同）。
有三种选项可用于生成虚拟相机：
有三种选项可用于生成虚拟相机：
- 基于相机位姿先验
- 基于组件
- 生成空中位姿
由于我们在单个组件中已经有了2332张对齐的图像，复用这些图像将过于复杂。因此，我们选择了生成空中位姿，它会在点云上方创建规则的虚拟相机网格。
Courtesy of Pete Kelsey, VCTO Labs
由于点云非常密集，.lsp文件看起来就像实际的照片，这使得地面控制点标记变得简单而准确。
Courtesy of Pete Kelsey, VCTO Labs
我们在强度通道中标记了几个GCP，由于航空LiDAR中典型的色彩变化，这比色彩通道更加精确。
Courtesy of Pete Kelsey, VCTO Labs
在标记了GCP后，我们重新调整了项目并实现了结合摄影测量和机载激光雷达数据的单一组件。
Courtesy of Pete Kelsey, VCTO Labs
两全其美：LiDAR用于几何体，摄影测量用于纹理
在数据集对齐后，我们使用航空LiDAR数据重建网格体并使用摄影测量法生成高分辨率纹理。而结果令人印象深刻。基于LiDAR的网格体重建产生了超过2亿个多边形，而RealityScan则生成了21个8K纹理以实现最大细节。
对于某些表面（例如屋顶结构、边缘和纹理最少的区域），使用LiDAR比单独使用摄影测量法能更好地捕捉到。混合工作流程充分发挥了两种技术的优势。
在数据集对齐后，我们使用航空LiDAR数据重建网格体并使用摄影测量法生成高分辨率纹理。而结果令人印象深刻。基于LiDAR的网格体重建产生了超过2亿个多边形，而RealityScan则生成了21个8K纹理以实现最大细节。
对于某些表面（例如屋顶结构、边缘和纹理最少的区域），使用LiDAR比单独使用摄影测量法能更好地捕捉到。混合工作流程充分发挥了两种技术的优势。
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
为了协助该项目，AMD提供了一款配备96核Threadripper Pro 7995WX CPU的强大工作站。“当我打开任务管理器，看到96个蓝色方块，全部以4.7 GHz的速度100%运行，我必须承认，我当时兴奋得尖叫了起来。”凯尔西说道。
更令人印象深刻的是性能指标：
从扫描到场景：在虚幻引擎和Twinmotion中可视化恶魔岛
由于Epic Games开发了虚幻引擎和Twinmotion等强大的渲染工具，因此将恶魔岛的扫描图像可视化是理所当然的。而结果令人惊叹。
位于旧金山湾中部的恶魔岛是一个完美的对象。将高分辨率网格体导入Twinmotion后，我们在环境（Ambience）选项中简单地添加了海洋平面和体积云，并使用内置资产来丰富环境。几分钟之内，我们就得到了一座实时、逼真的岛屿。
更令人印象深刻的是性能指标：
- 机载激光雷达网格体计算：13分48秒
- 摄影测量法线细节重建：1小时38分55秒
- 摄影测量高度细节重建：7小时6分22秒
从扫描到场景：在虚幻引擎和Twinmotion中可视化恶魔岛
由于Epic Games开发了虚幻引擎和Twinmotion等强大的渲染工具，因此将恶魔岛的扫描图像可视化是理所当然的。而结果令人惊叹。
位于旧金山湾中部的恶魔岛是一个完美的对象。将高分辨率网格体导入Twinmotion后，我们在环境（Ambience）选项中简单地添加了海洋平面和体积云，并使用内置资产来丰富环境。几分钟之内，我们就得到了一座实时、逼真的岛屿。
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
在虚幻引擎中的设置也很简单。我们启用了Water插件来添加环绕岛屿的海洋，并安装了Cesium for Unreal插件来引入现实世界的地理空间数据。借助Cesium，我们使用Google Photorealistic 3D Tiles添加了周边区域，包括金门大桥等地标。
Courtesy of Pete Kelsey, VCTO Labs
将过去带入未来
恶魔岛默默地见证了美国最动荡的时期。如今，在Pete Kelsey、他的庞大团队以及RealityScan团队的努力下，它成为了尖端技术与文化保护相结合所能创造的奇迹的纪念碑。
恶魔岛项目展示了LiDAR和摄影测量技术能如何相辅相成，以及RealityScan 2.0流程如何与虚幻引擎生态系统相结合，帮助创作者以前所未有的方式数字化、保存和分享历史。
展望未来，我们的使命非常明确：通过提供市场上最先进、最直观、最可靠的扫描软件，成为3D内容创作的基石，成为创作者将现实世界带入照片级真实元宇宙的必备工具。
因为当你能够扫描现实时，你就能保存它。你懂的。最重要的是，你还可以分享它。
恶魔岛默默地见证了美国最动荡的时期。如今，在Pete Kelsey、他的庞大团队以及RealityScan团队的努力下，它成为了尖端技术与文化保护相结合所能创造的奇迹的纪念碑。
恶魔岛项目展示了LiDAR和摄影测量技术能如何相辅相成，以及RealityScan 2.0流程如何与虚幻引擎生态系统相结合，帮助创作者以前所未有的方式数字化、保存和分享历史。
展望未来，我们的使命非常明确：通过提供市场上最先进、最直观、最可靠的扫描软件，成为3D内容创作的基石，成为创作者将现实世界带入照片级真实元宇宙的必备工具。
因为当你能够扫描现实时，你就能保存它。你懂的。最重要的是，你还可以分享它。