Courtesy of Pete Kelsey, VCTO Labs
"The Rock" digitalisiert: Wie Pete Kelsey und RealityScan 2.0 Alcatraz in das Epic-Ökosystem verfrachteten
Als sich VCTO Labs daran machte, das detaillierteste und umfassendste 3D-Modell der Insel Alcatraz zu erstellen, fiel ihre Wahl für die dafür nötige Technologie auf RealityScan. Damit konnte die Firma mit LiDAR-Luftaufnahmen, Fotos und Cesium-Kacheln eine atemberaubende und sehr detailgetreue digitale Nachbildung erstellen.
Alcatraz erhebt sich aus der Bucht von San Francisco. Die Insel zählt zu den bedeutendsten historischen Stätten in den USA. Berühmt-berüchtigt ist sie für ihr Hochsicherheitsgefängnis, in dem Schwerverbrecher wie Al Capone oder Robert Stroud, der "Birdman von Alcatraz", einsaßen. Die Insel diente aber auch als militärische Festungsanlage und viel später als Symbol für die Proteste der Native Americans, die sie von 1969 bis 1971 besetzten. Heute ist sie ein Denkmal, das vom National Park Service verwaltet wird und jährlich Millionen von Touristen anlockt.
Alcatraz, auch bekannt als "The Rock", ist aber weit mehr als nur ein Touristenmagnet. Es ist ein lebendiges Stück Geschichte. Wie bei vielen anderen kulturell bedeutenden Sehenswürdigkeiten sind die Elemente und die Zeit ihr größter Feind. Deshalb beschloss Pete Kelsey, Gründer von VCTO Labs und seit Langem großer Verfechter für digitale Bewahrung solcher Stätten, ein bahnbrechendes Projekt anzustoßen, um das bis dato umfassendste 3D-Modell von Alcatraz zu erstellen. Sein Ziel: die Erstellung einer digitalen Grundlage, anhand derer man die zukünftigen Einflüsse von Meeresspiegelanstieg, Erosion und seismischen Aktivitäten auf der Insel untersuchen kann.
Alcatraz, auch bekannt als "The Rock", ist aber weit mehr als nur ein Touristenmagnet. Es ist ein lebendiges Stück Geschichte. Wie bei vielen anderen kulturell bedeutenden Sehenswürdigkeiten sind die Elemente und die Zeit ihr größter Feind. Deshalb beschloss Pete Kelsey, Gründer von VCTO Labs und seit Langem großer Verfechter für digitale Bewahrung solcher Stätten, ein bahnbrechendes Projekt anzustoßen, um das bis dato umfassendste 3D-Modell von Alcatraz zu erstellen. Sein Ziel: die Erstellung einer digitalen Grundlage, anhand derer man die zukünftigen Einflüsse von Meeresspiegelanstieg, Erosion und seismischen Aktivitäten auf der Insel untersuchen kann.
Courtesy of Pete Kelsey, VCTO Labs
Für die Digitalisierung des äußeren Erscheinungsbilds von "The Rock" kombinierte Pete mehrere Technologien, darunter hochaufgelöste Fotogrammetrie, Multispektrum-Fotografie und LiDAR-Luftaufnahmen. Aufgrund der ungeheuren Datenmenge und schlechten Internetverbindung auf der Insel kam die Cloud-Verarbeitung der Daten nicht infrage. Die Daten mussten direkt nach den Scans vor Ort auf der Insel verarbeitet werden. Pete und sein Team mussten somit sicherstellen, dass alle Daten erfasst und verwendbar waren, bevor sie Alcatraz verließen.
Entfesselung der digitalen Zukunft von Alcatraz mit RealityScan 2.0
Ein Teil der Daten wurde direkt in RealityScan (dem früheren RealityCapture) verarbeitet. "Ich wollte die Software von Anfang an nutzen, da ich wusste, dass sie eine der wenigen Anwendungen ist, die LiDAR- und Fotogrammetriedaten gleichzeitig in einem Modell verarbeiten kann", erinnert sich Pete. "Ich werde nie den Tag im Büro auf Alcatraz vergessen, als RealityScan unsere erfassten Daten verarbeitete – es waren bestimmt die Fotogrammetriedaten."
Zu dem Zeitpunkt unterstützte RealityScan nur die Kombination aus Fotogrammetrie mit terrestrischen LiDAR-Daten. Pete kontaktierte unser Team, um herauszufinden, ob wir ihm dabei helfen könnten, Drohnenbilder mit LiDAR-Luftaufnahmen zu kombinieren. Wir von RealityScan waren natürlich Feuer und Flamme, einen wichtigen Beitrag für so ein Projekt liefern zu können. Die Unterstützung für LiDAR-Luftaufnahmen hatten wir schon in der aktiven Entwicklung und das Alcatraz-Projekt war die perfekte Testumgebung für RealityScan 2.0. Dank dieser Zusammenarbeit unterstützt RealityScan jetzt offiziell die Kombination aus Fotogrammetriedaten mit LiDAR-Daten von Boden- und Luftaufnahmen.
Datenverarbeitung in RealityScan 2.0
Pete stellte uns ein Vermessungsnetzwerk aus 62 Bodenkontrollpunkten, 2.805 Drohnenfotos und den LiDAR-Luftaufnahmen zur Verfügung. Die Fotogrammetriedaten und Bodenkontrollpunkte wurden mit dem Standard-Workflow verarbeitet: Alle Bilder werden dabei ins RealityScan-Projekt importiert und zueinander ausgerichtet. Nach der ersten Ausrichtung importierten wir die Bodenkontrollpunkte, markierten sie in den Bildern, deaktivierten die ungenaueren GPS-Metadaten von den Drohnen und führten die Ausrichtung erneut durch, um das Endergebnis zu optimieren.
Entfesselung der digitalen Zukunft von Alcatraz mit RealityScan 2.0
Ein Teil der Daten wurde direkt in RealityScan (dem früheren RealityCapture) verarbeitet. "Ich wollte die Software von Anfang an nutzen, da ich wusste, dass sie eine der wenigen Anwendungen ist, die LiDAR- und Fotogrammetriedaten gleichzeitig in einem Modell verarbeiten kann", erinnert sich Pete. "Ich werde nie den Tag im Büro auf Alcatraz vergessen, als RealityScan unsere erfassten Daten verarbeitete – es waren bestimmt die Fotogrammetriedaten."
Zu dem Zeitpunkt unterstützte RealityScan nur die Kombination aus Fotogrammetrie mit terrestrischen LiDAR-Daten. Pete kontaktierte unser Team, um herauszufinden, ob wir ihm dabei helfen könnten, Drohnenbilder mit LiDAR-Luftaufnahmen zu kombinieren. Wir von RealityScan waren natürlich Feuer und Flamme, einen wichtigen Beitrag für so ein Projekt liefern zu können. Die Unterstützung für LiDAR-Luftaufnahmen hatten wir schon in der aktiven Entwicklung und das Alcatraz-Projekt war die perfekte Testumgebung für RealityScan 2.0. Dank dieser Zusammenarbeit unterstützt RealityScan jetzt offiziell die Kombination aus Fotogrammetriedaten mit LiDAR-Daten von Boden- und Luftaufnahmen.
Datenverarbeitung in RealityScan 2.0
Pete stellte uns ein Vermessungsnetzwerk aus 62 Bodenkontrollpunkten, 2.805 Drohnenfotos und den LiDAR-Luftaufnahmen zur Verfügung. Die Fotogrammetriedaten und Bodenkontrollpunkte wurden mit dem Standard-Workflow verarbeitet: Alle Bilder werden dabei ins RealityScan-Projekt importiert und zueinander ausgerichtet. Nach der ersten Ausrichtung importierten wir die Bodenkontrollpunkte, markierten sie in den Bildern, deaktivierten die ungenaueren GPS-Metadaten von den Drohnen und führten die Ausrichtung erneut durch, um das Endergebnis zu optimieren.
Courtesy of Pete Kelsey, VCTO Labs
Anschließend importierten wir die LiDAR-Luftaufnahmen mit dem Werkzeug "Import LiDAR Scan" im Workflow-Tab. RealityScan erkannte das Datenset automatisch als LiDAR-Luftaufnahmen. Beim Importieren erstellte RealityScan virtuelle Kameras, um den Laserscan zu rendern, wobei .LSP-Dateien erstellt wurden. Diese können für die Ausrichtung und Mesh-Erstellung genutzt werden, wie es auch bei LiDAR-Bodendaten gemacht wird.
Für die Erstellung der virtuellen Kameras gibt es drei Optionen:
Für die Erstellung der virtuellen Kameras gibt es drei Optionen:
- Aus vorberechneten Kamerapositionen
- Aus Komponenten
- Positionen in der Luft generieren
Wir hatten 2.332 ausgerichtete Bilder in einer einzigen Komponente – deren Wiederverwendung übertrieben gewesen wäre. Stattdessen entschieden wir uns, die Option "Positionen in der Luft generieren" zu nutzen, die ein regelmäßiges Raster aus Kameras über der Punktwolke erstellte.
Courtesy of Pete Kelsey, VCTO Labs
Da die Punkte in der Punktwolke sehr dicht waren, sahen die .LSP-Dateien aus wie richtige Fotos. So war die Markierung der Bodenkontrollpunkte sehr einfach und auch sehr präzise.
Courtesy of Pete Kelsey, VCTO Labs
Wir markierten mehrere GCPs im Intensitätskanal, die sich aufgrund typischer Farbverschiebungen im Luft-LiDAR als präziser erwiesen als der Farbkanal.
Courtesy of Pete Kelsey, VCTO Labs
Nach der Markierung der GCPs richteten wir das Projekt neu aus und erreichten eine einzige Komponente, in der sowohl Fotogrammetrie als auch Luftraum-LiDAR-Daten vereint wurden.
Courtesy of Pete Kelsey, VCTO Labs
Das Beste aus zwei Welten: LiDAR für Geometrie, Fotogrammetrie für Texturen
Nachdem der Datensatz ausgerichtet war, verwendeten wir die Luftraum-LiDAR-Daten, um das Mesh zu rekonstruieren, und die Fotogrammetrie, um hochauflösende Texturen zu generieren. Die Ergebnisse waren beeindruckend. Die LiDAR-basierte Mesh-Rekonstruktion erzeugte über 200 Millionen Polygone, und RealityScan generierte einundzwanzig 8K-Texturen für maximale Details.
Bestimmte Oberflächen – beispielsweise Dachkonstruktionen, Kanten und Bereiche mit minimaler Textur – ließen sich mit LiDAR deutlich besser erfassen als einzig über die Fotogrammetrie. Dieser hybride Workflow konnte also die Stärken beider Technologien zur Geltung bringen.
Nachdem der Datensatz ausgerichtet war, verwendeten wir die Luftraum-LiDAR-Daten, um das Mesh zu rekonstruieren, und die Fotogrammetrie, um hochauflösende Texturen zu generieren. Die Ergebnisse waren beeindruckend. Die LiDAR-basierte Mesh-Rekonstruktion erzeugte über 200 Millionen Polygone, und RealityScan generierte einundzwanzig 8K-Texturen für maximale Details.
Bestimmte Oberflächen – beispielsweise Dachkonstruktionen, Kanten und Bereiche mit minimaler Textur – ließen sich mit LiDAR deutlich besser erfassen als einzig über die Fotogrammetrie. Dieser hybride Workflow konnte also die Stärken beider Technologien zur Geltung bringen.
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
AMD unterstützte dieses Projekt, steuerte eine leistungsstarke Workstation in Form eines 96-Kern-CPU Threadripper Pro 7995WX bei. "Ich öffnete den Task-Manager und sah 96 blaue Kacheln, die alle mit 100 % Auslastung bei 4,7 GHz liefen. Da gebe ich gerne zu, dass ich vor Aufregung gequietscht habe", so Kelsey.
Die Leistungskennzahlen waren dabei sogar noch beeindruckender:
Vom Scan zur Szene: Visualisierung von Alcatraz in der Unreal Engine und Twinmotion
Da Epic Games mächtige Rendering-Werkzeuge wie die Unreal Engine und Twinmotion entwickelt, war es nur naheliegend, den Alcatraz-Scan zu visualisieren. Und das Ergebnis war atemberaubend.
Alcatraz, mitten in der Bucht von San Francisco gelegen, war einfach ein perfektes Motiv. Nach dem Import des hochauflösenden Meshs in Twinmotion fügten wir in den "Ambience"-Optionen einfach eine Ozeanebene und volumetrische Wolken hinzu und verwendeten integrierte Assets, um die Umgebung zu bereichern. Wir erhielten unseren fotorealistischen Echtzeit-Rundflug über die Insel binnen weniger Minuten.
Die Leistungskennzahlen waren dabei sogar noch beeindruckender:
- Mesh-Berechnung aus dem Luftraum-LiDAR: 13 Minuten, 48 Sekunden
- Fotogrammetrie-Rekonstruktion mit normalen Details: 1 Stunde, 38 Minuten, 55 Sekunden
- Fotogrammetrie-Rekonstruktion mit hohen Details: 7 Stunden, 6 Minuten, 22 Sekunden
Vom Scan zur Szene: Visualisierung von Alcatraz in der Unreal Engine und Twinmotion
Da Epic Games mächtige Rendering-Werkzeuge wie die Unreal Engine und Twinmotion entwickelt, war es nur naheliegend, den Alcatraz-Scan zu visualisieren. Und das Ergebnis war atemberaubend.
Alcatraz, mitten in der Bucht von San Francisco gelegen, war einfach ein perfektes Motiv. Nach dem Import des hochauflösenden Meshs in Twinmotion fügten wir in den "Ambience"-Optionen einfach eine Ozeanebene und volumetrische Wolken hinzu und verwendeten integrierte Assets, um die Umgebung zu bereichern. Wir erhielten unseren fotorealistischen Echtzeit-Rundflug über die Insel binnen weniger Minuten.
Courtesy of Pete Kelsey, VCTO Labs
Courtesy of Pete Kelsey, VCTO Labs
Auch die Einrichtung in der Unreal Engine war denkbar unkompliziert. Wir aktivierten das Wasser-Plugin, um den Ozean rund um die Insel zu ergänzen, und installierten das Plugin Cesium for Unreal, um reale Geodaten einzubringen. Mit Cesium fügten wir dann die Umgebung, einschließlich Sehenswürdigkeiten wie der Golden Gate Bridge, mithilfe von Googles fotorealistischen 3D-Kacheln hinzu.
Courtesy of Pete Kelsey, VCTO Labs
Das Vergangene in die Zukunft führen
Alcatraz war stummer Zeuge einiger der turbulentesten Zeiten Amerikas. Dank Pete Kelsey, seinem erweiterten Team sowie dem Team hinter RealityScan kann es auch heute noch beredtes Zeugnis darüber ablegen, was möglich ist, wenn Spitzentechnologie auf Kulturerhalt trifft.
Das Alcatraz-Projekt veranschaulicht, wie LiDAR und Fotogrammetrie einander ergänzen können – und wie die RealityScan 2.0-Pipeline zusammen mit dem Unreal Engine-Ökosystem es Entwicklern ermöglicht, Geschichte wie nie zuvor zu digitalisieren, zu bewahren und zu teilen.
Wenn wir in die Zukunft blicken, steht unsere Mission fest: als Eckpfeiler der Erstellung von 3D-Inhalten zu fungieren und das unverzichtbare Werkzeug für Creators zu werden, um die reale Welt in das fotorealistische Metaverse zu verfrachten, indem wir die fortschrittlichste, intuitivste und zuverlässigste Scan-Software auf dem Markt anbieten.
Denn wer die Wirklichkeit scannen kann, der kann sie auch erhalten. Kann sie verstehen. Und – was am wichtigsten ist: sie teilen.
Alcatraz war stummer Zeuge einiger der turbulentesten Zeiten Amerikas. Dank Pete Kelsey, seinem erweiterten Team sowie dem Team hinter RealityScan kann es auch heute noch beredtes Zeugnis darüber ablegen, was möglich ist, wenn Spitzentechnologie auf Kulturerhalt trifft.
Das Alcatraz-Projekt veranschaulicht, wie LiDAR und Fotogrammetrie einander ergänzen können – und wie die RealityScan 2.0-Pipeline zusammen mit dem Unreal Engine-Ökosystem es Entwicklern ermöglicht, Geschichte wie nie zuvor zu digitalisieren, zu bewahren und zu teilen.
Wenn wir in die Zukunft blicken, steht unsere Mission fest: als Eckpfeiler der Erstellung von 3D-Inhalten zu fungieren und das unverzichtbare Werkzeug für Creators zu werden, um die reale Welt in das fotorealistische Metaverse zu verfrachten, indem wir die fortschrittlichste, intuitivste und zuverlässigste Scan-Software auf dem Markt anbieten.
Denn wer die Wirklichkeit scannen kann, der kann sie auch erhalten. Kann sie verstehen. Und – was am wichtigsten ist: sie teilen.
RealityScan herunterladen
RealityScan kann von Studierenden, Lehrkräften sowie Einzelpersonen und Unternehmen mit einem jährlichen Bruttoumsatz von weniger als 1 Million US-Dollar kostenlos verwendet werden.Überschreitest du die Schwelle von 1 Mio. $? Dann besuche unsere Lizenzierungsseite, um mehr über deine Kaufoptionen zu erfahren.
Den Launcher herunterladen
Bevor du RealityScan installieren und ausführen kannst, musst du den Epic Games Launcher herunterladen und installieren.
Epic Games Launcher installieren
Öffne den Launcher nach dem Herunterladen und melde dich bei deinem Epic-Games-Konto an oder erstelle ein neues Konto.
Es treten Probleme auf? Erhalte Support oder starte den Download deines Epic Games Launchers wie in Schritt 1 beschrieben neu.
RealityScan installieren
Sobald du eingeloggt bist, navigiere zum Tab "RealityScan" unter "Unreal Engine" und klicke auf die Schaltfläche "Installieren", um die neueste Version herunterzuladen.