Potenzial von Datenskulpturen in Augmented Reality
Wie sich die Qualitäten von Skulptur und Digitalität kombinieren lassen
von Thiemo Frömberg
(Das in diesem Essay diskutierte Projekt wird von Prof. Tom Duscher betreut)
Was ist eine Datenskulptur?
Im aktuellen Sommersemester 2024 beschäftigt sich der Masterkurs im Interaktiven Informationsdesign an der Muthesius Kunsthochschule bei Prof. Tom Duscher intensiv mit sogenannten „Data Sculptures“. Nachdem interaktives Informationsdesign wesentlich mehr umfasst und leisten kann, als die reine Datenvisualisierung in Print und Digitalmedien, wird der Fokus weg von Screens und Diagrammen und hin zum Raum geführt. Die tägliche Datenflut von der wir umgeben sind und Medialisierung des Alltags, der Arbeit, der Freizeit bewirkt eine Renaissance des Analogen und Manuellen. Handwerklich gefertigte Dinge erhalten eine neue Wertschätzung und werden im Digitalen zitiert, durch Simulation bestimmter Materialien, Sounds und Haptiken. Achtsamkeit und die ungefilterte, bewusste Wahrnehmung der Umgebung, insbesondere der Natur, sind ein hohes Gut. Eine Disziplin, in der in so einem hohen Maße mit Daten gearbeitet wird, wie im Informationsdesign, kommt selten ohne den Computer und digitale Medien aus. Im Fall des Kurses ist das ebenfalls kein Zwang. Die Daten sollen skulptural erlebbar werden und neben der reinen Information zusätzliche Wirkungen erreichen, wie Schockieren, zur Reflexion anregen, Bewusstsein erzeugen, das eigene Verhalten ändern. Dabei wird von einem erweiterten Skulpturbegriff ausgegangen, der sowohl physische, bauliche Ergebnisse im realen Raum, als auch rein digitale im virtuellen Raum und vor allem die Symbiose aus beidem erwünscht. In der Konzeptionsphase werden Beispiele besprochen, in denen zum Beispiel 3D-gedruckte Objekte mit interaktiven Projektionen belebt werden, eingefärbtes Wasser in Flaschen als Balkendiagramm fungiert oder der Müll am Strand nach Farben sortiert und in konzentrische Kreise gelegt wurde. Die Nähe zur Kunst, in die die Objekte, Inszenierungen und Installationen dabei rücken, gibt den zu Grunde liegenden Daten eine ungeahnte Bühne der Aufmerksamkeit. Sie fügt die für Kunst typische Deutungsoffenheit und -pluralität hinzu.
Daher soll zuerst der Begriff der physischen Datenskulptur erläutert und anschließend einige Probleme identifiziert werden. Die Technik von Augmented Reality wird erklärt, um das Potenzial virtueller Datenskulpturen zwischen Realität und Virtualität herauszustellen.
Warum (Daten)Skulpturen Screens ablösen können
Das Ungenügen von rein screenbasierten Ansätzen im Kontext von Datenvisualisierung wird bereits zu Beginn des Papers „Embodiment in Data Sculpture“ benannt: »In this context, the currently pervasive, traditional screen-based approach is relatively limited in the sense that it is unable to capture the rich experiences attributed to physicality, for it lacks the capability to stimulate any other senses than the visual.« (Zhao and Vande Moere, 2006, p. 343). Auch in der Seminarlektüre dem Buch „Making with Data“ von Till Nagel wird die offensichtliche Berechtigung der physisch skulpturalen Ergebnisse erklärt: »Data begin as physical, real stuff in real space and in real time …« (Tversky in Huron et al. 2023, p. 14) »We are tangible beings, not digital. Through human evolution, we have developed sophisticated skills for sensing and manipulating our physical environment through our hands, skins, bodies, and minds. However, most of these skills are not used when interacting with the digital world where interaction is largely confined to the painted bits of graphical user interfaces (GUIs).« (Ishii in Huron et al. 2023, p. 15). Das erklärt die radikale bauliche Umsetzung von Daten als räumliche Skulptur mit einem bestimmten Material und einer bestimmten Dimension – eine Daten Physikalisierung: »A data physicalization (or simply physicalization) is a physical artifact whose geometry or material properties encode data.« (Jansen et al. 2015, p. 3228).
Das Ergebnis lässt sich mit dem Medium der traditionellen Skulptur vergleichen, welches bestimmte Qualitäten mit sich bringt, wie Plastizität – wahrgenommen durch Licht und Schatten, Haptik und/oder Bewegung des Betrachters oder des Objektes selbst. Hinzu kommt Vielansichtigkeit, die auch durch Betrachterbewegung und Eigenbewegung ermöglicht wird und eine flexible Positionierung im Raum (Winter, Schröter and Spies 2006, p. 8). Sofern es erlaubt oder möglich ist, bestätigt unser Tastsinn die reale Existenz des Objektes und damit seine „Faktizität […] wenn nicht gar Wahrheit.“ (Winter, Schröter and Spies 2006, p. 12).
Jansen et al. benennen eine Vielzahl weiterer Vorteile von physischen Datenskulpturen, wie zum Beispiel »Active Perception«, wobei das manuelle Erkunden auch nur mit robusten Objekten, die nicht beschädigt werden können möglich ist. Es werden mehr Sinne angesprochen als rein visuell, sofern die Skulptur zur Erkundung freigegeben ist und Ton oder sogar Geruch mit einbezieht und daraus kann intermodale Wahrnehmung resultieren. Cognitive Benefits, Bringing Data into the Real World and Engaging People werden außerdem aufgeführt (Jansen et al. 2015, p. 3229 f.).
Problematik statischer Objekte, in denen sich handwerkliche Perfektion manifestiert
Viele Beispiele in diesem Paper oder auch im Buch »Making with Data« sind geprägt durch die handwerklichen Fähigkeiten ihrer Schöpfenden. Diese stammen zum Beispiel aus den Bereichen Schreinerei, Schmieden, Glasbläserei, Töpferei oder sind Expert:innen in der Bedienung bestimmter Maschinen, wie CNC-Fräsen, 3D-Drucker, Metallfräsen, usw. Nachdem bereits eine Perfektion ihres Handwerkes erlangt wurde, entsteht die Datenskulptur als willkommene Abwechslung. Als Informationsdesigner, Künstler oder Designstudent lässt sich diese handwerkliche Grundlage allerdings nicht voraussetzen. Der zurückliegende Werdegang ist vielmals grafisch, illustrativ, visuell gestaltend geprägt und angereichert durch Programmier- oder 3D-Software-Kenntnisse. Wie kann in diesem Fall also ein sinnvoller Zugang zur skulpturalen Datenvisualisierung erfolgen um nicht mit handwerklicher Perfektion konkurrieren zu müssen?
Eine weitere Problematik liegt in den konträren Wesen von Daten und Skulpturen. Letztere sind wie zuvor beschrieben meist als einzelnes Werk statisch, abgeschlossen, aufwändig produziert und im exklusiven musealen Raum inszeniert. Daten fallen dagegen häufig in enormer unüberschaubarer Menge an, sind abstrakt, exakt, fließend, wandelbar und veränderlich – zum Teil in Echtzeit, pro Sekunde, Minute oder Stunde. Sie wollen in einen Kontext gestellt und erfahren werden, um Informationen und Wissen zu generieren (Jacobson 1999, p. 271 f.). Eine erfolgreiche Erfahrung muss je nach Zielgruppe, Vorwissen, Bildungsstand und je nach Ort, Land, Raumsituation, Tageszeit oder Lichtverhältnissen unter Umständen anders gestaltet, skaliert, sonifiziert und positioniert sein. Im Extremfall ist die ständige Wandlung, wie in einer Echtzeit-Datenvisualisierung, erforderlich. »Making with Data« nennt diese Kategorie »Actuation« und zeigt hoch komplexe technische Beispiele mit Servo-Motoren und Elektromagnetismus, um die Bewegung physischer Dinge zu realisieren. Aus einer Kosten-Nutzen-Perspektive drängt sich die Frage auf, ob die von Jansen et al. genannten Vorteile wirklich nur durch diesen enormen Aufwand einer baulichen Umsetzung erreicht werden können – auch in Anbetracht der fehlenden handwerklichen, konstruktions-technischen Skills visueller Gestalter.
Meine These lautet, dass durch den aktuellen und in naher Zukunft erreichten technischen Stand von Augmented Reality Ergebnisse erreicht werden können, die die Qualitäten klassischer Skulpturen und digital virtueller Datenvisualisierungen vereinen und ein Feld zusätzlicher Möglichkeiten eröffnen.
Das Prinzip der erweiterten Realität
»Augmentierte Realität ist eine (unmittelbar, interaktive und echtzeitfähige) Erweiterung der Wahrnehmung der realen Umgebung um virtuelle Inhalte (für beliebige Sinne), welche sich in ihrer Ausprägung und Anmutung soweit wie möglich an der Realität orientieren, so dass im Extremfall (so das gewollt ist) eine Unterscheidung zwischen realen und virtuellen (Sinnes-)Eindrücken nicht mehr möglich ist.«(Broll in Dörner et al. 2013, p. 246) Neben dieser wahrnehmungsbasierten Definition taucht häufig der Begriff der Mixed Reality im selben Kontext auf. Damit ist jedoch ein von Paul Milgram et al. (1995) eingeführtes Kontinuum benannt, das sich zwischen reiner Realität und gänzlicher Virtualität erstreckt (siehe Abb. 01). Lösungen mit mehr realen Anteilen werden als »augmentierte Realität« kategorisiert – hauptsächlich virtuelle Inhalte mit einem Rest realer Inhalt als »augmentierte Virtualität«. Eine weit verbreitete Umsetzung dieses Prinzips erfolgt über die Kamera verschiedener Mobile Devices wie Smartphones und Tablets. Diese Video See-Through-Technik filmt die Umgebung und überlagert sie mit virtuellen 3D-Inhalten, deren Räumlichkeit durch Bewegung des Ausgabegerätes oder auch Veränderung des Betrachterstandpunktes zusammen mit dem Endgerät wahrgenommen wird. Ein Vorteil ist die Möglichkeit, viele Personen gleichzeitig zu involvieren, falls das eigene private Gerät genutzt werden kann. Ein die Immersion störender Aspekt ist die ständige Wahrnehmung des Mediums, da das verhältnismäßig kleine Display dauerhaft gehalten werden muss. Die derartig starke Rahmung und Begrenzung der Erfahrung kann keinesfalls mit der ungefilterten Wahrnehmung eines realen skulpturalen Objektes konkurrieren. Daher liegt der Fokus in dieser Arbeit auf AR-Erfahrungen per Head Mounted Displays, die ein hochqualitatives Video See-Through ermöglichen, wie zum Beispiel der Meta Quest 3 oder der Apple Vision Pro. Kameras in diesen HMDs filmen und projizieren die Umgebung auf die Displays für jedes Auge und arbeiten mit so exaktem Tracking, dass eine uneingeschränkte Bewegung ohne Abnehmen des Displays möglich ist. Einen Schritt weiter wäre das optische See-Through per transparentem Display wie in der Microsoft HoloLens zu nennen.
Potenzial der gesteigerten Imaginationsfähigkeit durch Simulation
Wie im Realitäts-Virtualitäts-Kontinuum von Milgram beschrieben, versucht AR also den größtmöglichen Realitätsbezug mit gleichzeitiger partieller Erweiterung herzustellen. Das macht diese Technik zur Arbeit mit Skulpturen besonders reizvoll, da sie den Objektcharakter und die Faktizität hinterfragt, die ihr ursprünglich zugeschrieben wurden: »Eine Bildsäule kann ich umfassen, dass ich vor ihr knie, ihr Freund und Gespiele werden, sie ist gegenwärtig, sie ist da« (Herder 1778, cited in Winter, Schröter and Spies 2006, p. 12). AR-Skulpturen müssen sich im Gegensatz zu den baulichen Datenskulpturen nicht durch mangelnde technische Fähigkeiten oder physikalische Gesetzmäßigkeiten in ihrer Form, Bewegung und Dimension limitieren lassen. Damit wird eine »neue Verwirklichungsform der Einbildungskraft« erreicht, wie Flusser (1992 cited in Winter, Schröter and Spies 2006, p. 188) es beschreibt. Vergleicht man mehrere Arbeiten im Bereich der Augmented Reality Skulpturen, wird das Vermischen von Realität und Virtualität besonders erfolgreich, wenn gewisse physische Eigenschaften, wie eine Masse, ein Gewicht, Materialität, Widerstand und Haptik simuliert werden und nicht zu weit von uns bekannten Äquivalenten in der Realität abweichen. Andernfalls bricht die Illusion zusammen, verliert ihre künstlerische Wirkung und rückt durch weniger Seriosität in den Bereich von effekthaschender Unterhaltung. »Diese angehängte Physik kann, muss aber nicht die Physik der außerbildlichen Realität sein.« Damit erklärt Wiesing (cited in Winter, Schröter and Spies 2006, p. 189) das Prinzip der Simulation, um die es sich handelt, wenn AR Anwendungen diese Kriterien erfüllen.
Gesten erhalten hier eine neue Funktion. Haben wir unseren Tastsinn bisher zur Bestätigung des Wahrheitsgehaltes des visuellen Eindrucks und für ein haptisches Erlebnis verwendet, so dient die Berührung in AR plötzlich als Aktivierung, Trigger, zur Belebung scheinbar statischer Dinge und vor allem dem Informationsabfrage. Materialeigenschaften, wie sie die klassische Skulptur besitzt können zusätzlich vermittel werden, durch Verformen der virtuellen Oberflächen, Verfärbungen, Berührungsgeräusche und sogar Zerbrechen/Auflösen ohne die Sorge einer tatsächlichen Beschädigung des Objektes.
Die körperliche Involviertheit, die sich in Virtual Reality Anwendungen durch Schwindel auch negativ äußern kann, findet auch in AR statt – durch die stete Relation der Dinge zum realen Raum, zu anderen Personen und Gegenständen wird Motion Sickness allerdings minimiert.
Das größte Potenzial scheint in der von Flusser beschriebenen Verwirklichungsform der Einbildungskraft zu liegen und einer »programmatischen Steigerung der Imaginationsfähigkeit […]: das Gedankenexperiment als virtuelles Ereignis.« (Wiesing cited in Winter, Schröter and Spies 2006, p. 190) Was baulich realisiert und an einem bestimmten Ort installiert wurde, kann nun virtuell an exakt diesem Ort erlebt werden. Skulpturen, die sich durch Daten aus ihrer direkten Umgebung in Echtzeit verändern, wie im Beispiel »Digital Atmosphere« vom Studio Above&Below, demonstrieren das neue Spannungsfeld von Raum und Virtualität.
Die Ortsunabhängigkeit und Relation zur Umgebung macht die Technik ebenfalls in kommerziellen Kontexten fruchtbar, indem Produkte betrachtet und ihre Wirkung in der geplanten Umgebung getestet werden kann. Dadurch könnten Ressourcen gespart werden, indem Fehlkäufe und Transportkosten vermieden werden und Prototypen nicht mehr zwingend physisch produziert werden müssten. Ist auch das finale Ergebnis virtuell, wie im Falle der AR-Datenskulpturen, gilt es den Entwurfsprozess und – falls vorhanden – die Abstimmung mit dem Kunden zu reformieren. Wie erfolgen Zwischenpräsentation und Korrekturen über große Distanzen? Zugang zur Technik bildet die Grundvoraussetzung und erleichtert die Abstimmung im Vergleich zur klassischen Skulptur und eröffnet sogar die Möglichkeit zur Kollaboration.
Verlust der Aura, Wertschätzung und Dinstanz
Die bekannte These Walter Benjamins, dass sich das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit befindet und dadurch die Aura des Originals aufgelöst wird (Benjamin 1939, in Winter, Schröter and Spies 2006, p. 231), identifiziert ein Dilemma digitaler Kunstwerke. Beobachtungen der User Interaktion lassen häufig einen Verlust von Respekt und Distanz dem Virtuellen gegenüber erkennen. Mit zunehmender Explorationsdauer wird die Bewegung im Raum und Berührungs-Interaktion schneller, selbstverständlicher, konsumierend und Grenzen auslotend – auf der Suche nach Unterhaltung, eingebauten Überraschungen oder sogar Softwarefehlern. Besonders bei erfahrenen Nutzer:innen von Augmented Reality wird das anfängliche Ausweichen und um die Skulptur herum gehen schnell eingestellt und einfach durch die Objekte hindurch diffundiert. Ein Duktus des Gestaltenden oder Bearbeitungsspuren, die den handwerklichen Aufwand belegen würden, fehlen. Fachfremden wird die Einordnung und Wertschätzung des Arbeitsaufwandes erschwert, was sich gerade in der Finanzierung von Auftragsarbeiten als Problem erweisen wird.
Fazit
Daten in eine räumlich skulpturale Form zu transformieren, ermöglicht wesentlich vielfältigere sinnliche Wirkweisen als es Screens leisten. Der hinzugewonnene Reichtum kann durch den Einsatz von Augmented Reality im Sinne eines simulierten Gedankenexperimentes noch weiter gesteigert werden. Um nicht gänzlich die Authentizität einzubüßen, ist eine Symbiose der AR-Experience mit physischen Dingen im realen Raum besonders reizvoll. Dann lassen sich mit den Data Sculptures die Qualitäten beider Welten verbinden – der traditionellen Skulptur und der digitalen Applikation.
Abb. 01: Realitäts-Virtualitäts-Kontinuum (Milgram)
Abb. 02: Digital Atmosphere, AR Data Sculpure by Studio Above & Below
References
Dörner, R. (2013) Virtual und Augmented Reality (VR/AR) : Grundlagen und Methoden der virtuellen und augmentierten Realität. Berlin [u.a: Springer.
Huron, S. et al. (2023) Making with Data : physical design and craft in a data-driven world. First edition. Boca Raton, FL: CRC Press.
Jacobson, R. E. (1999) Information design. Cambridge, Mass. [u.a: MIT Press.
Jansen, Y. et al. (2015) ‘Opportunities and Challenges for Data Physicalization’, in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. [Online]. 2015 New York, NY, USA: ACM. pp. 3227–3236.
Winter, G. (2006) Skulptur – zwischen Realität und Virtualität. München [u.a: Fink.
Zhao, J. & Moere, A. V. (2008) ‘Embodiment in data sculpture: a model of the physical visualization of information’, in Proceedings of the 3rd international conference on Digital Interactive Media in Entertainment and Arts. [Online]. 2008 New York, NY, USA: ACM. pp. 343–350.
Abb. 01:
https://www.interaction-design.org/literature/topics/virtuality-continuum (05.07.24)
Abb. 02:
https://www.studioaboveandbelow.com/work/digital-atmosphere-2 (05.07.24)
