Courtesy of Pete Kelsey, VCTO Labs
Destaques
16 de junho de 2025
Digitalização de Alcatraz: como Pete Kelsey e a RealityScan 2.0 trouxeram a famosa ilha para o ecossistema da Epic
Quando decidiu criar o modelo 3D mais completo já feito da Ilha de Alcatraz, a VCTO Labs escolheu o RealityScan para gerar uma réplica digital impressionante e detalhada a partir de LiDAR aéreo, fotos e tiles do Cesium.
Erguendo-se das águas da Baía de São Francisco, a Ilha de Alcatraz é um dos locais históricos mais icônicos dos Estados Unidos. Conhecida principalmente como uma prisão de segurança máxima que já abrigou detentos famosos como Al Capone e Robert Stroud, o "Homem-Pássaro de Alcatraz", a ilha também serviu como fortificação militar e, posteriormente, como símbolo do ativismo indígena durante a ocupação de 1969 a 1971. Hoje em dia, é um local protegido, e é administrado pelo National Park Service, atraindo mais de um milhão de visitantes por ano.
Mas Alcatraz, também conhecida pelo apelido "The Rock", é mais que uma atração turística: é um pedaço vivo da história. Como muitos marcos culturais expostos às intempéries, o tempo é seu maior adversário. Por isso, Pete Kelsey, fundador da VCTO Labs e defensor de longa data da preservação digital, liderou um projeto inovador para criar o modelo 3D mais completo já feito de Alcatraz. O objetivo é estabelecer parâmetros digitais para estudar os impactos futuros do aumento do nível do mar, erosão e atividade sísmica na ilha.
Mas Alcatraz, também conhecida pelo apelido "The Rock", é mais que uma atração turística: é um pedaço vivo da história. Como muitos marcos culturais expostos às intempéries, o tempo é seu maior adversário. Por isso, Pete Kelsey, fundador da VCTO Labs e defensor de longa data da preservação digital, liderou um projeto inovador para criar o modelo 3D mais completo já feito de Alcatraz. O objetivo é estabelecer parâmetros digitais para estudar os impactos futuros do aumento do nível do mar, erosão e atividade sísmica na ilha.
Courtesy of Pete Kelsey, VCTO Labs
Para digitalizar o exterior de "The Rock", Pete combinou múltiplas tecnologias de sensoriamento, incluindo fotogrametria de alta resolução, imagens multiespectrais e LiDAR aéreo. Devido ao volume imenso de dados e à conexão de Internet precária na ilha, processamento em nuvem não era uma opção. Os dados tinham que ser processados local e imediatamente após cada digitalização. Isso significava que Pete e a equipe precisavam garantir que todos os dados fossem captados e estivessem utilizáveis antes de deixar Alcatraz.
Desbloqueando o futuro digital de Alcatraz com o RealityScan 2.0
Parte dos dados foi processada diretamente no RealityScan (anteriormente conhecido como RealityCapture). "Eu sabia que queria usar esta ferramenta porque ela é um dos únicos produtos que conheço que pode integrar dados LiDAR e fotogrametria em um único modelo", lembra Pete. "Nunca vou esquecer aquele dia no escritório em Alcatraz, com o RealityScan processando nossos dados de captura, provavelmente fotogrametria."
Na época, o RealityScan só oferecia suporte à combinação de fotogrametria com LiDAR terrestre. Pete entrou em contato com nossa equipe para ver se poderíamos ajudar a unir as imagens de drone com as digitalizações de LiDAR aéreo. Na equipe do RealityScan, ficamos animados em poder contribuir. O suporte a LiDAR aéreo já estava em desenvolvimento, e o projeto de Alcatraz se tornou o caso de teste no mundo real perfeito para o RealityScan 2.0. Graças a essa colaboração, agora o RealityScan oferece suporte oficial à combinação de fotogrametria com LiDAR terrestre e aéreo.
Processamento de dados no RealityScan 2.0
Pete nos forneceu uma rede de levantamento com 62 pontos de controle no solo, 2.805 imagens captadas por drone e a digitalização de LiDAR aéreo. Os dados de fotogrametria e os pontos de controle no solo foram processados usando o fluxo de trabalho padrão: todas as imagens foram importadas para um projeto no RealityScan e alinhadas. Após o alinhamento inicial, os pontos de controle no solo foram importados e marcados nas imagens, e os metadados de GPS menos precisos do drone foram desabilitados e realinhados para otimizar o resultado.
Desbloqueando o futuro digital de Alcatraz com o RealityScan 2.0
Parte dos dados foi processada diretamente no RealityScan (anteriormente conhecido como RealityCapture). "Eu sabia que queria usar esta ferramenta porque ela é um dos únicos produtos que conheço que pode integrar dados LiDAR e fotogrametria em um único modelo", lembra Pete. "Nunca vou esquecer aquele dia no escritório em Alcatraz, com o RealityScan processando nossos dados de captura, provavelmente fotogrametria."
Na época, o RealityScan só oferecia suporte à combinação de fotogrametria com LiDAR terrestre. Pete entrou em contato com nossa equipe para ver se poderíamos ajudar a unir as imagens de drone com as digitalizações de LiDAR aéreo. Na equipe do RealityScan, ficamos animados em poder contribuir. O suporte a LiDAR aéreo já estava em desenvolvimento, e o projeto de Alcatraz se tornou o caso de teste no mundo real perfeito para o RealityScan 2.0. Graças a essa colaboração, agora o RealityScan oferece suporte oficial à combinação de fotogrametria com LiDAR terrestre e aéreo.
Processamento de dados no RealityScan 2.0
Pete nos forneceu uma rede de levantamento com 62 pontos de controle no solo, 2.805 imagens captadas por drone e a digitalização de LiDAR aéreo. Os dados de fotogrametria e os pontos de controle no solo foram processados usando o fluxo de trabalho padrão: todas as imagens foram importadas para um projeto no RealityScan e alinhadas. Após o alinhamento inicial, os pontos de controle no solo foram importados e marcados nas imagens, e os metadados de GPS menos precisos do drone foram desabilitados e realinhados para otimizar o resultado.
Courtesy of Pete Kelsey, VCTO Labs
Em seguida, importamos os dados de LiDAR aéreo usando a ferramenta Import LiDAR Scan na aba Workflow. O RealityScan reconheceu automaticamente o conjunto de dados como LiDAR aéreo. Durante a importação, o RealityScan gerou câmeras virtuais para renderizar a digitalização a laser, resultando em arquivos .lsp que podem ser usados para alinhamento e geração de malha, assim como no LiDAR terrestre.
Três opções estão disponíveis para gerar câmeras virtuais:
Três opções estão disponíveis para gerar câmeras virtuais:
- De prévias de poses de câmera
- De componentes
- Gerar poses aéreas
Como tínhamos 2.332 imagens alinhadas em um único componente, reutilizá-las seria exagero. Em vez disso, escolhemos a opção Gerar poses aéreas, que criou uma grade regular de câmeras virtuais acima da nuvem de pontos.
Courtesy of Pete Kelsey, VCTO Labs
Como a nuvem de pontos era muito densa, os arquivos .lsp pareciam fotografias reais, facilitando a marcação precisa dos pontos de controle no solo.
Courtesy of Pete Kelsey, VCTO Labs
Marcamos vários GCPs no canal de intensidade, que se mostrou mais preciso do que o canal de cores devido às mudanças de cores típicas no LiDAR aéreo.
Courtesy of Pete Kelsey, VCTO Labs
Após a marcação dos GCPs, realinhamos o projeto e obtivemos um único componente combinando dados de fotogrametria e LiDAR aéreo.
Courtesy of Pete Kelsey, VCTO Labs
O melhor dos dois mundos: LiDAR para geometria, fotogrametria para texturas
Com o conjunto de dados alinhados, usamos os dados do LiDAR aéreo para reconstruir a malha e a fotogrametria para gerar texturas de alta resolução. Os resultados são incríveis. A reconstrução de malha baseada em LiDAR produziu mais de 200 milhões de polígonos, e o RealityScan gerou 21 texturas em 8K para o máximo de detalhe.
Certas superfícies, como estruturas de telhados, bordas e áreas com textura mínima, foram capturadas significativamente melhor com LiDAR do que apenas com a fotogrametria. O fluxo de trabalho híbrido revelou os pontos fortes das duas tecnologias.
Com o conjunto de dados alinhados, usamos os dados do LiDAR aéreo para reconstruir a malha e a fotogrametria para gerar texturas de alta resolução. Os resultados são incríveis. A reconstrução de malha baseada em LiDAR produziu mais de 200 milhões de polígonos, e o RealityScan gerou 21 texturas em 8K para o máximo de detalhe.
Certas superfícies, como estruturas de telhados, bordas e áreas com textura mínima, foram capturadas significativamente melhor com LiDAR do que apenas com a fotogrametria. O fluxo de trabalho híbrido revelou os pontos fortes das duas tecnologias.
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
Para auxiliar nesse projeto, a AMD disponibilizou uma estação de trabalho potente com a CPU Threadripper Pro 7995WX de 96 núcleos. “Abri o Gerenciador de Tarefas e vi 96 quadrados azuis, todos rodando 100% a 4,7 GHz. Não me importo de admitir que gritei de empolgação”, disse Kelsey.
Ainda mais impressionantes foram as métricas de desempenho:
Da digitalização à cena: visualizando Alcatraz na Unreal Engine e no Twinmotion
Como a Epic Games desenvolve ferramentas de renderização poderosas, como a Unreal Engine e o Twinmotion, era natural visualizar a digitalização de Alcatraz. E o resultado foi de tirar o fôlego.
Alcatraz, que fica no meio da baía de São Francisco, foi um tema perfeito. Depois de importar a malha de alta resolução para o Twinmotion, nas opções de Ambience apenas adicionamos um plano oceânico e nuvens volumétricas, e usamos ativos integrados para enriquecer o ambiente. Em poucos minutos, tínhamos um voo livre fotorrealista em tempo real da ilha.
Ainda mais impressionantes foram as métricas de desempenho:
- Cálculo de malha a partir do LiDAR aéreo: 13 minutos e 48 segundos
- Reconstrução fotogramétrica com detalhes normais: 1 hora, 38 minutos e 55 segundos
- Reconstrução fotogramétrica detalhada: 7 horas, 6 minutos e 22 segundos
Da digitalização à cena: visualizando Alcatraz na Unreal Engine e no Twinmotion
Como a Epic Games desenvolve ferramentas de renderização poderosas, como a Unreal Engine e o Twinmotion, era natural visualizar a digitalização de Alcatraz. E o resultado foi de tirar o fôlego.
Alcatraz, que fica no meio da baía de São Francisco, foi um tema perfeito. Depois de importar a malha de alta resolução para o Twinmotion, nas opções de Ambience apenas adicionamos um plano oceânico e nuvens volumétricas, e usamos ativos integrados para enriquecer o ambiente. Em poucos minutos, tínhamos um voo livre fotorrealista em tempo real da ilha.
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
A configuração na Unreal Engine também foi simples. Habilitamos o plugin Water para adicionar o oceano ao redor da ilha e instalamos o plugin Cesium for Unreal para trazer dados geoespaciais do mundo real. Com o Cesium, adicionamos as áreas ao redor, incluindo pontos de referência como a ponte Golden Gate, usando ladrilhos 3D fotorrealistas do Google.
Courtesy of Pete Kelsey, VCTO Labs
Trazendo o passado para o futuro
Alcatraz tem sido uma testemunha silenciosa de alguns dos tempos mais turbulentos da América. Hoje, graças a Pete Kelsey, à equipe dele e à equipe do RealityScan, o projeto também é um marco do que é possível fazer quando a tecnologia de ponta se alia à preservação cultural.
O projeto Alcatraz mostra como o LiDAR e a fotogrametria podem se complementar. E como o pipeline do RealityScan 2.0, junto com o ecossistema da Unreal Engine, capacita criadores a digitalizar, preservar e compartilhar a história como nunca antes.
Ao olharmos para o futuro, nossa missão é clara: ser a base da criação de conteúdo 3D, tornando-se a ferramenta indispensável para que criadores levem o mundo real para o metaverso fotorrealista, oferecendo o software de escaneamento mais avançado, intuitivo e confiável do mercado.
Porque quando você consegue digitalizar a realidade, você pode preservá-la. Você pode entendê-la. E, claro, você pode compartilhá-la.
Alcatraz tem sido uma testemunha silenciosa de alguns dos tempos mais turbulentos da América. Hoje, graças a Pete Kelsey, à equipe dele e à equipe do RealityScan, o projeto também é um marco do que é possível fazer quando a tecnologia de ponta se alia à preservação cultural.
O projeto Alcatraz mostra como o LiDAR e a fotogrametria podem se complementar. E como o pipeline do RealityScan 2.0, junto com o ecossistema da Unreal Engine, capacita criadores a digitalizar, preservar e compartilhar a história como nunca antes.
Ao olharmos para o futuro, nossa missão é clara: ser a base da criação de conteúdo 3D, tornando-se a ferramenta indispensável para que criadores levem o mundo real para o metaverso fotorrealista, oferecendo o software de escaneamento mais avançado, intuitivo e confiável do mercado.
Porque quando você consegue digitalizar a realidade, você pode preservá-la. Você pode entendê-la. E, claro, você pode compartilhá-la.
Baixe o RealityScan
O RealityScan é gratuito para estudantes, educadores, indivíduos e empresas com receita bruta anual inferior a 1 milhão USD.Ultrapassou o limite de 1 milhão USD? Visite nossa página de licenças e veja suas opções de compra.
Baixe o inicializador
Antes de instalar e executar o RealityScan, você precisa baixar e instalar o Inicializador da Epic Games.
Instale o Inicializador da Epic Games
Depois de baixá-lo e instalá-lo, abra o inicializador e inicie a sessão ou crie uma conta da Epic Games.
Está com problemas? Obtenha suporte ou reinicie o download do Inicializador da Epic Games na Etapa 1.
Instale o RealityScan
Após fazer login, acesse a aba RealityScan na seção Unreal Engine e clique no botão "Instalar" para baixar a versão mais recente.