Alcatraz erhebt sich aus der Bucht von San Francisco. Die Insel zählt zu den bedeutendsten historischen Stätten in den USA. Berühmt-berüchtigt ist sie für ihr Hochsicherheitsgefängnis, in dem Schwerverbrecher wie Al Capone oder Robert Stroud, der "Birdman von Alcatraz", einsaßen. Die Insel diente aber auch als militärische Festungsanlage und viel später als Symbol für die Proteste der Native Americans, die sie von 1969 bis 1971 besetzten. Heute ist sie ein Denkmal, das vom National Park Service verwaltet wird und jährlich Millionen von Touristen anlockt.
Alcatraz, auch bekannt als "The Rock", ist aber weit mehr als nur ein Touristenmagnet. Es ist ein lebendiges Stück Geschichte. Wie bei vielen anderen kulturell bedeutenden Sehenswürdigkeiten sind die Elemente und die Zeit ihr größter Feind. Deshalb beschloss Pete Kelsey, Gründer von VCTO Labs und seit Langem großer Verfechter für digitale Bewahrung solcher Stätten, ein bahnbrechendes Projekt anzustoßen, um das bis dato umfassendste 3D-Modell von Alcatraz zu erstellen. Sein Ziel: die Erstellung einer digitalen Grundlage, anhand derer man die zukünftigen Einflüsse von Meeresspiegelanstieg, Erosion und seismischen Aktivitäten auf der Insel untersuchen kann.
Für die Digitalisierung des äußeren Erscheinungsbilds von "The Rock" kombinierte Pete mehrere Technologien, darunter hochaufgelöste Fotogrammetrie, Multispektrum-Fotografie und LiDAR-Luftaufnahmen. Aufgrund der ungeheuren Datenmenge und schlechten Internetverbindung auf der Insel kam die Cloud-Verarbeitung der Daten nicht infrage. Die Daten mussten direkt nach den Scans vor Ort auf der Insel verarbeitet werden. Pete und sein Team mussten somit sicherstellen, dass alle Daten erfasst und verwendbar waren, bevor sie Alcatraz verließen.
Entfesselung der digitalen Zukunft von Alcatraz mit RealityScan 2.0
Ein Teil der Daten wurde direkt in RealityScan (dem früheren RealityCapture) verarbeitet. "Ich wollte die Software von Anfang an nutzen, da ich wusste, dass sie eine der wenigen Anwendungen ist, die LiDAR- und Fotogrammetriedaten gleichzeitig in einem Modell verarbeiten kann", erinnert sich Pete. "Ich werde nie den Tag im Büro auf Alcatraz vergessen, als RealityScan unsere erfassten Daten verarbeitete – es waren bestimmt die Fotogrammetriedaten."
Zu dem Zeitpunkt unterstützte RealityScan nur die Kombination aus Fotogrammetrie mit terrestrischen LiDAR-Daten. Pete kontaktierte unser Team, um herauszufinden, ob wir ihm dabei helfen könnten, Drohnenbilder mit LiDAR-Luftaufnahmen zu kombinieren. Wir von RealityScan waren natürlich Feuer und Flamme, einen wichtigen Beitrag für so ein Projekt liefern zu können. Die Unterstützung für LiDAR-Luftaufnahmen hatten wir schon in der aktiven Entwicklung und das Alcatraz-Projekt war die perfekte Testumgebung für RealityScan 2.0. Dank dieser Zusammenarbeit unterstützt RealityScan jetzt offiziell die Kombination aus Fotogrammetriedaten mit LiDAR-Daten von Boden- und Luftaufnahmen.
Datenverarbeitung in RealityScan 2.0
Pete stellte uns ein Vermessungsnetzwerk aus 62 Bodenkontrollpunkten, 2.805 Drohnenfotos und den LiDAR-Luftaufnahmen zur Verfügung. Die Fotogrammetriedaten und Bodenkontrollpunkte wurden mit dem Standard-Workflow verarbeitet: Alle Bilder werden dabei ins RealityScan-Projekt importiert und zueinander ausgerichtet. Nach der ersten Ausrichtung importierten wir die Bodenkontrollpunkte, markierten sie in den Bildern, deaktivierten die ungenaueren GPS-Metadaten von den Drohnen und führten die Ausrichtung erneut durch, um das Endergebnis zu optimieren.
Wir hatten 2.332 ausgerichtete Bilder in einer einzigen Komponente – deren Wiederverwendung übertrieben gewesen wäre. Stattdessen entschieden wir uns, die Option "Positionen in der Luft generieren" zu nutzen, die ein regelmäßiges Raster aus Kameras über der Punktwolke erstellte.
Da die Punkte in der Punktwolke sehr dicht waren, sahen die .LSP-Dateien aus wie richtige Fotos. So war die Markierung der Bodenkontrollpunkte sehr einfach und auch sehr präzise.
Wir markierten mehrere GCPs im Intensitätskanal, die sich aufgrund typischer Farbverschiebungen im Luft-LiDAR als präziser erwiesen als der Farbkanal.
Nach der Markierung der GCPs richteten wir das Projekt neu aus und erreichten eine einzige Komponente, in der sowohl Fotogrammetrie als auch Luftraum-LiDAR-Daten vereint wurden.
Das Beste aus zwei Welten: LiDAR für Geometrie, Fotogrammetrie für Texturen
Nachdem der Datensatz ausgerichtet war, verwendeten wir die Luftraum-LiDAR-Daten, um das Mesh zu rekonstruieren, und die Fotogrammetrie, um hochauflösende Texturen zu generieren. Die Ergebnisse waren beeindruckend. Die LiDAR-basierte Mesh-Rekonstruktion erzeugte über 200 Millionen Polygone, und RealityScan generierte einundzwanzig 8K-Texturen für maximale Details.
Bestimmte Oberflächen – beispielsweise Dachkonstruktionen, Kanten und Bereiche mit minimaler Textur – ließen sich mit LiDAR deutlich besser erfassen als einzig über die Fotogrammetrie. Dieser hybride Workflow konnte also die Stärken beider Technologien zur Geltung bringen.
Auch die Einrichtung in der Unreal Engine war denkbar unkompliziert. Wir aktivierten das Wasser-Plugin, um den Ozean rund um die Insel zu ergänzen, und installierten das Plugin Cesium for Unreal, um reale Geodaten einzubringen. Mit Cesium fügten wir dann die Umgebung, einschließlich Sehenswürdigkeiten wie der Golden Gate Bridge, mithilfe von Googles fotorealistischen 3D-Kacheln hinzu.
Das Vergangene in die Zukunft führen
Alcatraz war stummer Zeuge einiger der turbulentesten Zeiten Amerikas. Dank Pete Kelsey, seinem erweiterten Team sowie dem Team hinter RealityScan kann es auch heute noch beredtes Zeugnis darüber ablegen, was möglich ist, wenn Spitzentechnologie auf Kulturerhalt trifft.
Das Alcatraz-Projekt veranschaulicht, wie LiDAR und Fotogrammetrie einander ergänzen können – und wie die RealityScan 2.0-Pipeline zusammen mit dem Unreal Engine-Ökosystem es Entwicklern ermöglicht, Geschichte wie nie zuvor zu digitalisieren, zu bewahren und zu teilen.
Wenn wir in die Zukunft blicken, steht unsere Mission fest: als Eckpfeiler der Erstellung von 3D-Inhalten zu fungieren und das unverzichtbare Werkzeug für Creators zu werden, um die reale Welt in das fotorealistische Metaverse zu verfrachten, indem wir die fortschrittlichste, intuitivste und zuverlässigste Scan-Software auf dem Markt anbieten.
Denn wer die Wirklichkeit scannen kann, der kann sie auch erhalten. Kann sie verstehen. Und – was am wichtigsten ist: sie teilen.