Zwei S+T+ARTS AIR Stipendien beginnen am HLRS

Foto von zwei Personen, die mit einem Videobildschirm interagieren
Im Januar besuchte die Künstlerin Hiền Hoàng (r) das HLRS, um die Entwicklung eines neuen, immersiven Multimedia-Kunstwerks zu beginnen.

Medienkünstler werden mit dem HLRS an Projekten arbeiten, die sich mit der Interaktion zwischen Mensch und KI sowie der Ökologie in Städten befassen.

Die von der Europäischen Union finanzierte S+T+ARTS-Initiative wurde 2016 ins Leben gerufen, um europaweit Innovationen an der Schnittstelle von Wissenschaft, Technologie und Kunst zu fördern. Durch die Unterstützung von künstlerischen Residenzprogrammen, die Künstler:innen mit Wissenschaftler:innen zusammenbringen, ermöglicht S+T+ARTS multidisziplinäre Kooperationen, die sich mit zentralen Herausforderungen der EU befassen.

Die S+T+ARTS-Initiative wurde 2023 mit dem Beginn eines neuen Stipendiatenprogramms namens S+T+ARTS AIR erweitert. S+T+ARTS AIR wird vom Media Solution Center Baden-Württemberg koordiniert, einer gemeinnützigen Mitgliedsorganisation, die vom Höchstleistungsrechenzentrum Stuttgart (HLRS) mitbegründet wurde, um die Zusammenarbeit zwischen der Kultur- und Kreativwirtschaft sowie Expert:innen für Höchstleistungsrechnen und Visualisierung zu fördern. Das HLRS und sieben weitere Partnerorganisationen aus fünf europäischen Ländern haben sich zu S+T+ARTS AIR zusammengeschlossen, um Künstler:innen mit ihrem Fachwissen und ihren Ressourcen bei der Realisierung neuer Projekte zu unterstützen.

Ausgehend vom Konzept der Luft als metaphorisch reichhaltigem Ausgangspunkt konnten Interessierte während der Ausschreibung von S+T+ARTS AIR Anträge zu zwei Themen einreichen: belastbare, artenübergreifende urbane Ökosysteme und Mensch-KI-Ökosysteme. Insgesamt reichten 127 Künstler:innen und Künstlergruppen Projektanträge ein, wovon zehn Bewerber:innen ausgewählt wurden. Zwei dieser Projekte werden am HLRS durchgeführt, während das Zentrum auch weitere Künstler:innen mit Expertise unterstützen wird. Mitte Januar trafen sich die Künstlerin Hiền Hoàng und das Uncharted Limbo Collective zu ersten Gesprächen mit der Visualisierungsabteilung des HLRS. Ihre Kollaborationen werden bis September andauern.

Ein Experiment zur Zusammenarbeit zwischen Menschen und KI

Das Uncharted Limbo Collective ist ein Team von kreativen Programmierern und bildenden Künstler:innen mit Sitz in Athen und London. Mit einem gemeinsamen Hintergrund in der Architektur spezialisieren sie sich auf die Entwicklung kreativer Projekte mit modernsten digitalen Werkzeugen. In ihrem Projekt Monolith erforschen sie Methoden zur Erleichterung der Kommunikation und Zusammenarbeit zwischen Menschen und dem, was sie als „digitale Wesen“ bezeichnen.

Am HLRS wird Uncharted Limbo Experimente mit Tänzer:innen und Bewegungskünstler:innen durchführen. Ein von ihnen entwickelter Algorithmus wird in der CAVE – der 3D-Visualisierungseinrichtung des HLRS – eine audiovisuelle Umgebung erzeugen, die die Bewegungen der Tänzer:innen anregt. Gleichzeitig wird Uncharted Limbo mithilfe von Sensoren Daten erfassen, die die Bewegungen und den inneren Zustand der Tänzer:innen charakterisieren, z.B. die Herzfrequenz und neuronale Schwingungen. Diese Daten werden im Anschluss mittels tiefer neuronaler Netze analysiert und die Ergebnisse in den Algorithmus zurückgeführt. Bei der Entwicklung dieser Methode will Uncharted Limbo auch mit dem S+T+ARTS AIR-Partner Sony Computer Science Laboratories zusammenarbeiten, der im Bereich der erweiterten Kreativität forscht. Das Team geht davon aus, dass der Algorithmus basierend auf der Sammlung und Analyse vieler Stunden an Daten lernen wird, menschliche Bewegungen und Emotionen vorauszusehen, darauf zu reagieren und sie in einer zunehmend sicheren und bewussten Weise zu fördern.

Uncharted Limbo plant eine Performance mit Tanz und algorithmisch generierten Visuals. (Konzeptbild mit freundlicher Genehmigung von Uncharted Limbo).

Am Ende des Projekts wird das Team eine Aufführung inszenieren, bei der ein oder mehrere Tänzer:innen und das entstehende digitale Wesen gleichberechtigt zusammenarbeiten. Die Menschen werden auf audiovisuelle Impulse reagieren, während der Algorithmus auf ihre Bewegungen eingeht, wodurch ein performativer Dialog zwischen Mensch und Maschine entsteht. Über die Erprobung neuer Technologien für Mensch-KI-Interaktionen hinaus will Uncharted Limbo dazu anregen, über Fragen zur künstlichen Intelligenz, digitalen Präsenz, Dateneigentum und der Allgegenwart digitaler Technologie in der Öffentlichkeit nachzudenken. Weitere Ausstellungen der Ergebnisse sind für die Zukunft geplant.

„S+T+ARTS Air bietet uns die einmalige Gelegenheit, ein Projekt zu entwickeln, über das wir schon seit einiger Zeit diskutieren – den Drang, uns mit den wichtigen Fragen der Handlungsfähigkeit und des aufkommenden Gefühls digitaler Entitäten auseinanderzusetzen“, kommentiert Eleana Polychronaki im Namen von Uncharted Limbo. „Als Künstler:innen mit viel Erfahrung in der Programmierung und künstlerischen Leitung von Echtzeit-Visuals für Tanzperformances und interaktive Installationen haben wir uns gefragt, wie wir die Norm der typischen ‚begleitenden Visuals‘ und der ‚einseitigen Reaktivität‘ durchbrechen können, die man bei den meisten New Media Performances sieht. Von der Zusammenarbeit mit dem HLRS-Team und der Nutzung ihrer Expertise im Bereich Visualisierung sowie dem Zugang zu Höchstleistungsrechnern erhoffen wir uns, einen Beitrag zur Erforschung von Interaktionen zwischen Mensch und Maschine und der sich ständig weiterentwickelnden Dynamik dieser Beziehung leisten zu können.“

Das Innenleben von Stadtbäumen

Die in Hamburg lebende Fotografin und Multimediakünstlerin Hiền Hoàng interessiert sich dafür, wie Menschen die Welt um sich herum wahrnehmen und mit ihr interagieren. In ihrem Projekt Garden of Entanglement wird sie eine immersive virtuelle Umgebung entwickeln, die Teilnehmende dazu anregt, zu erforschen und besser zu verstehen, wie sich menschliche Aktivitäten auf Bäume in Städten auswirken.

Hoàng hat bereits damit begonnen, in Zusammenarbeit mit Wissenschaftlern der TU Harburg die Physiologie von Bäumen und ihre Biomechanik zu untersuchen. Dazu gehören auch 3D- und CT-Scans von Bäumen, um einen Datensatz zu gewinnen, der die Grundlage für das Projekt bildet. In Zusammenarbeit mit dem HLRS und der Association for Culture and Education PiNA in Slowenien wird sie eine immersive Multimediainstallation entwickeln, die solche Scandaten mit anderen Technologien wie der Datensonifikation und der Visualisierung in der virtuellen Realität kombinieren wird.

Matvey Fridman (HLRS, Media Solution Center Baden-Württemberg), Leyla Kern (HLRS), Hiền Hoàng (Künsterin) and Uwe Wössner (HLRS) bei einem Auftakttreffen am HLRS.

Nach der Fertigstellung will Hoàng mit Garden of Entanglement Betrachter:innen eine emotional ansprechende, immersive Erfahrung bieten, bei der sie sich durch das Innere eines Baumes bewegen, während er von der ihn umgebenden städtischen Umwelt umgeworfen wird. Sie schlägt vor, dass dies das Umweltbewusstsein fördern soll, indem es ein ganzheitlicheres Verständnis für die Beziehung zwischen städtischer Entwicklung und der natürlichen Welt vermittelt.

„In der Vergangenheit haben mir Gespräche mit Wissenschaftlern geholfen, die Biologie von Bäumen zu verstehen, aber die Arbeit als Stipendiatin am HLRS ist etwas Besonderes, weil sie die Möglichkeit bietet, direkt mit Experten für Visualisierung und Höchstleistungsrechnen  ein gemeinsames Projekt zu verwirklichen“, sagte Hoàng bei ihrem ersten Besuch im Zentrum. “Ich freue mich darauf, zu sehen, wie wir dieses Projekt verwirklichen und wie es zur Weiterentwicklung meiner zukünftigen künstlerischen Praxis beitragen kann.“

— Christopher Williams