Courtesy of Historic VR
Spotlights
30. August 2022
Das mittelalterliche Leben in Guildford Castle in VR
Erkunde die Architektur, die Sehenswürdigkeiten und die Farben dieses historischen Wahrzeichens, wie sie vor Hunderten von Jahren existierten – alles dank RealityScan.
Guildford Castle VR ist ein ebenso unterhaltsames wie lehrreiches historisches Erlebnis, das dich durch Raum und Zeit führt, um eine der frühesten Burgen Englands zu erkunden. Das Ganze ist auf Steam verfügbar: als narratives VR-Erlebnis, das zum freien Erkunden einlädt.
Um mehr über Guildford Castle VR zu erfahren, sprachen wir mit einem Vertreter der Schöpfer dieses Projekts: Historic VR, einem Echtzeit-VR-Studio, das sich auf Geschichte, kulturelles Erbe und traditionelle bildende Kunst konzentriert.
Um mehr über Guildford Castle VR zu erfahren, sprachen wir mit einem Vertreter der Schöpfer dieses Projekts: Historic VR, einem Echtzeit-VR-Studio, das sich auf Geschichte, kulturelles Erbe und traditionelle bildende Kunst konzentriert.
Mit freundlicher Genehmigung von Historic VR
Wie sind Sie auf die Idee gekommen, dieses VR-Projekt ins Leben zu rufen?
Die Idee für dieses Projekt entstand durch das Erleben vieler kultureller VR-Titel und durch die Erkenntnis, wie viel enormes Potenzial dieses neue Medium bereithält, Geschichte und Kultur auf völlig neue und immersive Weise zu erleben. Obwohl wir bereits viele ausgezeichnete Erlebnisse kannten, war da stets dieser Wunsch nach mehr, der uns nicht losließ, sowohl in Bezug auf den Grad der Immersion als auch auf die Fülle an historischen Informationen.
Unser einziger Fokus lag darauf, ein umfassenderes und packenderes Erlebnis als je zuvor zu kreieren – eines, in dem sich ein hohes Maß an Realismus in der virtuellen Umgebung, sorgfältig recherchierte historische Rekonstruktionen sowie eine reichhaltige audiovisuelle Erzählung vereinen. Wir setzten uns das Ziel, ein virtuelles Erlebnis zu kreieren, das einem Besuch der Stätte in der Wirklichkeit Konkurrenz machen könnte – mehr noch: das ihn in manchen Belangen sogar übertreffen kann.
Courtesy of Historic VR
Erzählen Sie uns etwas über den Workflow des Projekts.
Unser erster Schwerpunkt lag darauf, die moderne Umgebung aufzunehmen und nachzubilden. Wir verwendeten einen LiDAR-Scanner vom Typ FARO Focus S350, um alles zu scannen und das Modell in RealityScan zu bearbeiten, was uns eine sofortige "White Box" mit Millimetergenauigkeit lieferte. Bei der Gestaltung der modernen Umgebung diente diese als Referenz für die exakte Platzierung und Form sämtlicher Objekte – für große Gebäude, Props und sogar Vegetation.
Mit freundlicher Genehmigung von Historic VR
Wir machten uns mit einem kompromisslosen Ansatz in Sachen Datenerfassung an diese Aufgabe. Durch die Einschränkungen der VR-Hardware ist es nicht möglich, auch nur annähernd an die Qualität des Originals heranzureichen, aber wir waren gespannt, wie weit wir die Qualität der Modelle steigern und sie zugleich für VR optimieren können. Das hieß aber, dass wir eine große Anzahl hochauflösender Fotos aufnehmen mussten – insgesamt über 16.000 Fotos des Bergfrieds, andere Gebäude-Assets und Props aus der Umgebung sowie mehr als 100 LiDAR-Scans auf dem gesamten Gelände.
Für die Festungsanlage (sowohl innen als auch außen) stützten wir uns auf eine Kombination von LiDAR und Photogrammetrie-Daten. Zuerst registrierten wir LiDAR-Scans in der Punktwolken-Software FARO SCENE 3D, bevor wir uns an die Verarbeitung kombinierter Datensätze in RealityScan machten. Die Möglichkeit, LiDAR und Photogrammetrie zu kombinieren, ist wichtig, da die Modelle zunehmend größer und komplexer werden – das ist für uns daher eine wesentliche Funktion.
Wir konzentrieren uns insbesondere auf den Einsatz der Photogrammetrie, um extrem wirklichkeitsgetreue, hochoptimierte Assets zu erstellen, die in dynamischen Spielengine-Umgebungen mit einer Vielzahl von Beleuchtungsszenarien platziert werden können. Das stellt uns vor eine Vielzahl technischer Hürden und gestaltet die Pipelines oft komplex.
Eine qualitativ hochwertige, saubere Datenerfassung bildet dabei das Grundgerüst. Da wir letztendlich nach "abgedunkelten" Assets suchen, sind wir stets darauf bedacht, Photogrammetrie-Daten bei flachen, gleichmäßigen Lichtverhältnissen zu erfassen. Beim Umgang mit sehr großen Objekten im Außenbereich bei variabler Beleuchtung und unter Zeitdruck sind Daten selten perfekt, sodass oft Nachbearbeitungsarbeiten erforderlich sind.
Nach der Datenerfassung sieht unser Workflow wie folgt aus:
Die Photogrammetrie ist ein so unglaubliches Werkzeug zum Erstellen fotorealistischer Objekte, dass sie ein Problem darstellt – sie lässt alles andere schlecht aussehen!
Ursprünglich hatten wir uns vorgenommen, traditionellere Spiele-Workflows für Props und andere Assets zu verwenden, stellten aber schnell fest, dass der erforderliche Aufwand an Zeit, Arbeit und Können, um sie auf ein vergleichbares Qualitätsniveau wie die wichtigsten Photogrammetrie-Elemente zu bringen, nicht machbar war.
Wir verwendeten daher für sämtliche anderen Elemente die gleichen Erfassungsmethoden, jedoch mit einem optimierten Workflow:
Erzählen Sie uns etwas über den Photogrammetrie-Prozess.
Wir konzentrieren uns insbesondere auf den Einsatz der Photogrammetrie, um extrem wirklichkeitsgetreue, hochoptimierte Assets zu erstellen, die in dynamischen Spielengine-Umgebungen mit einer Vielzahl von Beleuchtungsszenarien platziert werden können. Das stellt uns vor eine Vielzahl technischer Hürden und gestaltet die Pipelines oft komplex.
Eine qualitativ hochwertige, saubere Datenerfassung bildet dabei das Grundgerüst. Da wir letztendlich nach "abgedunkelten" Assets suchen, sind wir stets darauf bedacht, Photogrammetrie-Daten bei flachen, gleichmäßigen Lichtverhältnissen zu erfassen. Beim Umgang mit sehr großen Objekten im Außenbereich bei variabler Beleuchtung und unter Zeitdruck sind Daten selten perfekt, sodass oft Nachbearbeitungsarbeiten erforderlich sind.
Wie sieht Ihr Workflow nach der Datenerfassung aus?
Nach der Datenerfassung sieht unser Workflow wie folgt aus:
- Farbkorrektur und Vorverarbeitung der unbearbeiteten Fotos in Lightroom und ein Output in Form von TIFFs oder JPEGs (je nach Asset).
- Die bearbeiteten Fotos werden in RealityScan importiert, wo sie ausgerichtet, gemesht und texturiert werden. (Bei besonders großen Assets verwenden wir stets einen Komponenten-Workflow)
- Die Modelle werden vor dem Exportieren in RealityScan bereinigt.
- Es folgt eine weitere Geometriebereinigung in ZBrush.
- Dann Retopologie und UV-Remapping.
- Die Texturen werden abgedunkelt.
- Und bereinigt.
- Optimierung mittels einer eigens erstellten Pipeline.
Wie lief der Prozess bei der Erstellung von Props und Umgebungs-Assets ab?
Die Photogrammetrie ist ein so unglaubliches Werkzeug zum Erstellen fotorealistischer Objekte, dass sie ein Problem darstellt – sie lässt alles andere schlecht aussehen!
Ursprünglich hatten wir uns vorgenommen, traditionellere Spiele-Workflows für Props und andere Assets zu verwenden, stellten aber schnell fest, dass der erforderliche Aufwand an Zeit, Arbeit und Können, um sie auf ein vergleichbares Qualitätsniveau wie die wichtigsten Photogrammetrie-Elemente zu bringen, nicht machbar war.
Wir verwendeten daher für sämtliche anderen Elemente die gleichen Erfassungsmethoden, jedoch mit einem optimierten Workflow:
- Das Mesh wird in ZBrush bereinigt, gefolgt von der Erstellung einer Low-Poly-Version in 3ds Max oder ZBrush.
- Bei Props für harte Oberflächen, wie beim Tor auf den Bildern, verwenden wir in der Regel 3ds Max, um sehr flache Geometrie von Grund auf neu zu erstellen.
- UVs werden erstellt und optimiert, um Texturen der höchsten Qualität zu erhalten.
- Es folgt eine Neuprojektion der Texturen in RealityScan aus dem Mastermodell.
- Eine Texturverarbeitung in Substance Painter sowie Malen der Rauheits- sowie metallischen Karten von Hand.
Courtesy of Historic VR
Wie haben Sie die gewaltigen Mengen an Vegetation nachgebildet?
Eine der größten Herausforderungen des Projekts war die Nachbildung der Vegetation in den modernen Gärten, die sehr dicht bepflanzt und für ihre aufwendige Blütenpracht bekannt sind.
Wie bei den Props und anderen Assets mussten wir ein Qualitätsniveau erzielen, das mit den fotorealistischen Assets für harte Oberflächen harmoniert, aber dennoch innerhalb der strengen VR-Leistungsgrenzen liegt.
Courtesy of Historic VR
Dies stellte uns vor eine monumentale Aufgabe: Es war so gut wie unmöglich, für den größten Teil der Vegetation Quelldaten hoher Qualität zu finden, also mussten wir in den sauren Apfel beißen und nahmen die Daten für über 60 Arten selbst auf, darunter mehr als 20 einzigartige Blumen.
Courtesy of Historic VR
Für viele der wichtigsten Bäume verwendeten wir eine Kombination aus Photogrammetrie, LiDAR-Daten und unseren eigenen Blatt-Quellbildern, um so nah wie möglich an die tatsächlichen Bäume in den Gärten heranzureichen.
Courtesy of Historic VR
Erzählen Sie uns mehr über die gesamte mittelalterliche Stadt, die in 3D nachgebaut wurde.
Die Nachbildung der mittelalterlichen Stadt nahm ihren Anfang mit dem Burg- und Schlosskomplex – von dem im Erdgeschoss der Burg ein physisches Modell steht. Als wir diesen Raum scannten, erkannten wir, wie nützlich dies sein könnte. Also packten wir die Gelegenheit beim Schopf und machten eine spontane Aufnahme (mit einer Ersatz-Kompaktkamera von Sony, die wir zur Hand hatten). Letztlich mussten wir das Modell auf Basis aktualisierter archäologischer Berichte und Ratschläge unseres Historikers ändern, aber als erste Grundlage erwies es sich als äußerst nützlich.
Um dafür Sorge zu tragen, dass unsere 3D-Modelle der realen Welt entsprechen, haben wir die LiDAR-Daten der erhaltenen Gebäude verwendet, um die Schlossanlage exakt zu kartieren – einschließlich des Burgbogens aus dem Jahr 1256 (der heute noch perfekt intakt ist) und einer Reihe von originalen Außenmauerabschnitten.
Courtesy of Historic VR
Die Landschaft wurde unter Verwendung von LiDAR-Daten aus der Luft erstellt, wobei Elemente auf Grundlage historischer Forschungen an das Mittelalter angepasst wurden (etwa indem der Flusslauf verschoben und moderne urbane Merkmale entfernt wurden).
Die Erschaffung der größeren Stadtbereiche war eine gewaltige Aufgabe, bei der sämtliche architektonischen Elemente – Kirchen, Stadthäuser, Mühlen, Brücken – von Grund auf basierend auf archäologischen Berichten und anderen historischen Quellen modelliert wurden. Wir hätten zwar eine Menge Abkürzungen nehmen und letztlich eine sehr ähnlich aussehende Umgebung erhalten können, aber wir wollten so historisch akkurat arbeiten wie möglich. Unsere Nutzer sollen sicher sein können, dass das, was sie erleben, eine getreue Darstellung der Vergangenheit ist, die dem Realismus auf modernem Niveau entspricht.
Gehen Sie heute durch diese oder eine beliebige andere Burg oder ein mittelalterliches Gebäude in England spazieren, werden Sie nur schlichtes, schmuckloses Mauerwerk erblicken. Daraus ergibt sich ein völlig gegenteiliges Bild dessen, wie diese Orte ursprünglich ausgesehen haben – denn mittelalterliche Innenräume waren reichhaltig, komplex und äußerst farbenfroh. Dies war daher einer der angenehmsten Teile des Projekts und zeigt die zentrale Idee des Erlebnisses: eine radikal andere Vergangenheit vor seinen Augen erscheinen zu sehen.
Wie bei der Nachbildung der mittelalterlichen Stadt war auch hier akribische Recherche vonnöten. English Heritage hat eine exzellente originalgetreue Restaurierung des großen Turms von Dover Castle aus der gleichen Epoche vorgenommen, von der wir uns inspirieren ließen. Wir waren jedoch auch darauf bedacht, jedes einzelne Element unabhängig voneinander zu recherchieren.
Die Gegenstände basieren allesamt auf zeitgenössischen oder nahezu zeitgenössischen Exemplaren, wo immer möglich. Inspirationen lieferten uns auch illustrierte Manuskripte aus dieser Zeit, beispielsweise die Canterbury Tales und der Eadwine-Psalter.
Die Erschaffung der größeren Stadtbereiche war eine gewaltige Aufgabe, bei der sämtliche architektonischen Elemente – Kirchen, Stadthäuser, Mühlen, Brücken – von Grund auf basierend auf archäologischen Berichten und anderen historischen Quellen modelliert wurden. Wir hätten zwar eine Menge Abkürzungen nehmen und letztlich eine sehr ähnlich aussehende Umgebung erhalten können, aber wir wollten so historisch akkurat arbeiten wie möglich. Unsere Nutzer sollen sicher sein können, dass das, was sie erleben, eine getreue Darstellung der Vergangenheit ist, die dem Realismus auf modernem Niveau entspricht.
Wie ist es Ihnen gelungen, das Interieur und die Möbel aus dem 12. Jahrhundert nachzubilden?
Gehen Sie heute durch diese oder eine beliebige andere Burg oder ein mittelalterliches Gebäude in England spazieren, werden Sie nur schlichtes, schmuckloses Mauerwerk erblicken. Daraus ergibt sich ein völlig gegenteiliges Bild dessen, wie diese Orte ursprünglich ausgesehen haben – denn mittelalterliche Innenräume waren reichhaltig, komplex und äußerst farbenfroh. Dies war daher einer der angenehmsten Teile des Projekts und zeigt die zentrale Idee des Erlebnisses: eine radikal andere Vergangenheit vor seinen Augen erscheinen zu sehen.
Wie bei der Nachbildung der mittelalterlichen Stadt war auch hier akribische Recherche vonnöten. English Heritage hat eine exzellente originalgetreue Restaurierung des großen Turms von Dover Castle aus der gleichen Epoche vorgenommen, von der wir uns inspirieren ließen. Wir waren jedoch auch darauf bedacht, jedes einzelne Element unabhängig voneinander zu recherchieren.
Die Gegenstände basieren allesamt auf zeitgenössischen oder nahezu zeitgenössischen Exemplaren, wo immer möglich. Inspirationen lieferten uns auch illustrierte Manuskripte aus dieser Zeit, beispielsweise die Canterbury Tales und der Eadwine-Psalter.
Courtesy of Historic VR
Was sind Ihre weiteren Pläne für das Projekt? Planen Sie, weitere VR-Interaktionen hinzuzufügen?
Unser Ziel bei diesem ersten Projekt war es, die Grundlagen zu schaffen, indem wir sämtliche Workflows für die Environment-Art, die historischen Rekonstruktionen sowie die grundlegende Funktionalität entwickelten. Nach der erfolgreichen Fertigstellung von Guildford Castle VR möchten wir derzeit auf dieser Kernidee aufbauen und Standorte in einem noch viel größeren Maßstab in Angriff nehmen, bei denen wir nun zuversichtlich sind, dass wir noch hochwertigere und optimiertere Umgebungen für eine breitere Palette von Headsets bereitstellen können.
Wir haben auf jeden Fall vor, weitere VR-Interaktionen hinzuzufügen, und dies ist seit dem Start auf Steam ein zentraler interner Entwicklungsschwerpunkt. Für spätere Starts planen wir, den Reichtum der passiven Erzählungselemente zu erweitern und neue, aktive VR-Interaktionen zu ergänzen, die die Nutzer noch mehr ansprechen. Das Hinzufügen mehrsprachiger Funktionen genießt für uns hohe Priorität, damit wir unseren nicht englischsprachigen Nutzern weltweit das volle historische Erlebnis bieten können.
RealityScan herunterladen
RealityScan kann von Studierenden, Lehrkräften sowie Einzelpersonen und Unternehmen mit einem jährlichen Bruttoumsatz von weniger als 1 Million US-Dollar kostenlos verwendet werden.Überschreitest du die Schwelle von 1 Mio. $? Dann besuche unsere Lizenzierungsseite, um mehr über deine Kaufoptionen zu erfahren.
Den Launcher herunterladen
Bevor du RealityScan installieren und ausführen kannst, musst du den Epic Games Launcher herunterladen und installieren.
Epic Games Launcher installieren
Öffne den Launcher nach dem Herunterladen und melde dich bei deinem Epic-Games-Konto an oder erstelle ein neues Konto.
Es treten Probleme auf? Erhalte Support oder starte den Download deines Epic Games Launchers wie in Schritt 1 beschrieben neu.
RealityScan installieren
Sobald du eingeloggt bist, navigiere zum Tab "RealityScan" unter "Unreal Engine" und klicke auf die Schaltfläche "Installieren", um die neueste Version herunterzuladen.