HPC im Wandel: Hunter und Herder bringen Chancen und Herausforderungen

Diese Übergangsphase am HLRS ist sinnbildlich für den aktuellen Wandel in der HPC-Welt. Während sich das Zentrum auf diesem neuen Terrain bewegt, stehen für die Nutzer:innen sowohl aufregende neue Möglichkeiten als auch Herausforderungen bevor.

Warum HPC auf GPUs umgestellt wird

Als Gordon Moore 1975 sein Mooresches Gesetz formulierte, sagte er voraus, dass sich die Anzahl der Komponenten, die in einem integrierten Schaltkreis untergebracht werden können, etwa alle zwei Jahre verdoppeln würde. Jahrzehntelang war der stetige Anstieg der Rechenleistung ein Beleg für diese Vorhersage. Heute sieht die Sache jedoch anders aus: Das Mooresche Gesetz scheint sich seinem Ende zu nähern.

Im Höchstleistungsrechnen wurden die meisten CPU-basierten Supercomputer auf der Grundlage einer sogenannten x86-Architektur gebaut, die jedoch an ihre Grenzen stößt. Mögliche Strategien wie das Hinzufügen weiterer Kerne, das Verkleinern von Komponenten oder das Erhöhen der Prozessorfrequenz sind entweder bereits unmöglich oder werden es wahrscheinlich bald sein. In der Zwischenzeit wäre auch der Bau größerer Supercomputer mit noch mehr CPUs aufgrund der erforderlichen Energie- und Materialressourcen finanziell und ökologisch nicht tragbar.

Computerhersteller sind sich dieser drohenden Grenzen schon seit einiger Zeit bewusst. Daher entwickeln sie neue Architekturen, um dem ständig steigenden Bedarf an höheren Rechengeschwindigkeiten nachzukommen. Eine der populärsten ist die Umstellung von CPUs auf eine Architektur, die Grafikprozessoren (GPUs) als Beschleuniger einsetzt. Die meisten der schnellsten Supercomputer der Welt enthalten inzwischen GPUs, darunter die Systeme Frontier und Aurora von Hewlett Packard Enterprise (HPE) / Cray, die derzeit auf Platz 1 und 2 der Top500-Liste stehen.

GPUs sind einfacher aufgebaut als CPUs, können aber viel schneller und energieeffizienter eine Vielzahl von Berechnungen parallel ausführen. Da die Taktraten von GPUs niedriger sind, benötigen sie weniger Strom als CPUs. Dennoch laufen GPUs schneller, da sie viel mehr Kerne auf jedem Rechenknoten unterbringen, wodurch die Datenübertragung zwischen den Kernen deutlich effizienter wird.

Der kommende Supercomputer Hunter, der bis 2025 in Betrieb gehen soll, wird auf der AMD MI300A Accelerated Processing Unit (APU) basieren, die CPU- und GPU-Prozessoren auf einem einzigen Chip mit gemeinsamem Speicher vereint. Hunter wird gegenüber dem derzeitigen Flaggschiff-Supercomputer des HLRS, Hawk, einen Geschwindigkeitszuwachs von mindestens 50 Prozent bieten. Gleichzeitig wird das HPE Cray EX-4000-System bei Spitzenleistung nur 20 Prozent der Energie von Hawk verbrauchen. Nach der Installation im Jahr 2027 wird Herder das GPU-beschleunigte Konzept von Hunter als deutlich größerer Exascale-Rechner erweitern.

Sobald sie in Produktion gehen, kann das HLRS mithilfe von Hunter und Herder noch leistungsfähigere Simulationen unterstützen. Wissenschaftliche Nutzer:innen können dann komplexe Phänomene mit höherer Genauigkeit untersuchen, größere Systeme als bisher simulieren oder wiederholte Simulationen effizienter durchführen. So ließen sich die Auswirkungen bestimmter Parameter aufzeigen oder eine größere statistische Leistung für die Datenanalyse erzielen. Die auf APU-Chips kombinierten CPUs und GPUs  können auch Simulation und Datenanalyse effizienter als bisher miteinander verbinden. Dies ermöglicht eine Reihe spannender potenzieller Anwendungen.

Chancen an der Schnittstelle von Simulation und KI

Beim konventionellen Höchstleistungsrechnen führen Forschende groß angelegte Simulationen durch, erhalten die Ergebnisse als Daten und suchen dann interessante Merkmale und Muster, indem sie die Daten visualisieren oder weiterverarbeiten. In den meisten Fällen dauert diese Nachbearbeitung der Daten wesentlich länger als die eigentliche Simulation. Diese Herausforderung wird sich verschärfen, wenn sich mit größeren Supercomputern noch umfangreichere Datensätze erstellen lassen.

Dr. Matthias Meinke vom Institut für Aerodynamik (AIA) der RWTH Aachen nutzt die Supercomputer des HLRS seit vielen Jahren, um numerische Simulationen von turbulenten Strömungen durchzuführen. „Die Probleme, die wir untersuchen wollen, werden zunehmend komplex und erzeugen immer größere Datenmengen“, sagt er. „Daher müssen wir untersuchen, wie Höchstleistungsdatenanalyse und künstliche Intelligenz unterstützen können.“

Mithilfe der APUs von Hunter könnten Forschende künstliche Intelligenz in ihre Anwendungen und Arbeitsabläufe integrieren. Hier ließe sich KI einsetzen, um Simulationsdaten in Echtzeit zu durchsuchen. Dadurch verringert sich die Notwendigkeit einer späteren Nachbearbeitung der Daten.

Der Doktorand Xiang Xu vom Institut für Materialwissenschaft der Universität Stuttgart sieht die Vorteile dieses Ansatzes. Kürzlich hat er mit Hawk Molekulardynamiksimulationen von Kristallen aus Nickelaluminid durchgeführt. Superlegierungen auf Ni-Basis sind sehr beliebte Werkstoffe, insbesondere in Flugzeugtriebwerken. Xus Forschung konzentriert sich auf Eigenschaften auf atomarer Ebene, die das mechanische Verhalten solcher Legierungen beeinflussen können. Er sagt, dass Hunter und Herder nicht nur in der Lage sind, größere Atomsysteme zu simulieren, sondern auch viel Zeit bei der Analyse sparen werden.

„Wenn wir Molekulardynamiksimulationen durchführen, brauchen wir nicht alle Daten für alle Atome, sondern suchen nach Hinweisen auf Versetzungen, Leerstellen oder Defekte, die bereits auf der Makroebene gemessen wurden“, sagt Xu. Er geht davon aus, dass Echtzeit-Datenanalysetools dabei helfen werden, interessante Merkmale schneller zu identifizieren und zu isolieren. Dank dieser Tools wird er genau die benötigen Daten herunterladen und speichern können.

Darüber hinaus könnte künstliche Intelligenz bei der Zusammenfassung und Analyse von enormen Datensätze helfen, die sich in einem Labor oder Forschungsinstitut über viele Jahre hinweg ansammeln. KI bietet eine globale Perspektive, die bei der Erforschung spezifischer Probleme oder Parameter oft nicht relevant ist. Das heißt, KI kann verborgene Muster in Datensätzen erkennen, die bei den ursprünglichen Simulationen nicht wichtig waren, aber im Kontext größerer Datensätze interessant werden. Mithilfe von KI könnten die über viele Jahre hinweg gesammelten Daten zu einer reichhaltigen Basis für neue Hypothesen und Entdeckungen werden.

Dr. Meinke freut sich darauf, die Möglichkeiten der Datenanalyse zu erforschen – zum Beispiel bei der Entwicklung von Ersatzmodellen für komplexe Simulationen. Gleichzeitig betont er, dass Ersatzmodelle traditionelle Methoden zwar ergänzen, aber nicht ersetzen können. „Wir müssen mit unseren Erwartungen vorsichtig sein und kritisch prüfen, ob KI eine allgemeine Lösung bietet oder nur unter bestimmten Bedingungen funktioniert“, mahnt er. Die Forschung mit Hunter und Herder könnte dabei helfen, diese Strategien zu testen.

Ersatzmodelle und ihre Herausforderungen

In der Rechenzeitvergabe des HLRS geht der Bärenanteil an Wissenschaftler:innen für die Durchführung von groß angelegten Simulationen. Für Ingenieur:innen aus der Industrie ist es jedoch oft nicht möglich oder sogar wünschenswert, Simulationen in solchen großen Dimensionen durchzuführen. Aus diesem Grund untersuchen Forschende, wie maschinelles Lernen und künstliche Intelligenz eingesetzt werden können, um Ersatzmodelle („Surrogate Models“) komplexer Systeme zu entwickeln. Basierend auf Daten, die aus Simulationen nach den Grundprinzipien gewonnen wurden, bilden Ersatzmodelle relevante Merkmale komplexer Systeme auf vereinfachte Weise ab, die auf einem herkömmlichen Desktop-Computer ausgeführt werden können. Diese Modelle geben Ingenieur:innen praktische Werkzeuge an die Hand, die sich auf theoretische Forschung stützen.

Laut Prof. Bernhard Weigand, Leiter des Instituts für Thermodynamik der Luft- und Raumfahrt (ITLR) der Universität Stuttgart, lassen sich dank der Konvergenz von Supercomputerleistung, neuen experimentellen Techniken und maschinellem Lernen bessere Ersatzmodelle entwickeln. „Die Messtechniken haben sich parallel zu den Berechnungsmethoden und -technologien verbessert, sodass viele Details sichtbar werden, die wir mit numerischen Methoden nicht erkennen konnten“, sagt er. „Die spannende Herausforderung für die kommenden Jahre besteht darin, diese Entwicklungen zu synchronisieren und maschinelles Lernen zu nutzen, um experimentelle Daten und numerische Methoden zu assimilieren und bessere Modelle zu entwickeln.“

Solche Methoden werden auch von einem neuen Ansatz profitieren, der als „physikinformierte neuronale Netze“ bezeichnet wird. Dabei werden grundlegende physikalische Gesetze in die Trainingsalgorithmen einbezogen, um sicherzustellen, dass sie auf der physikalischen Realität basieren. Dieser Ansatz stellt nicht nur sicher, dass die resultierenden Ersatzmodelle schneller sind als herkömmliche Simulationen mit HPC, sondern auch, dass die von ihnen erzeugten Vorhersagen der Realität entsprechen und in unterschiedlichen Situationen zuverlässig sind.

Selbst wenn der KI die Entwicklung breit anwendbarer Ersatzmodelle gelingt, wird das Höchstleistungsrechnen in seiner traditionellen Form nicht verschwinden. Vielmehr werden GPU-beschleunigte Systeme für hochpräzise Simulationen und fortschrittliche KI-Funktionen wichtiger denn je.

Prof. Wolfgang Schröder, Leiter des Instituts für Aerodynamik (AIA) der RWTH Aachen, sieht in KI-Methoden ein großes Potenzial, betont aber, dass numerische Methoden weiterhin der Goldstandard für rechnergestützte Forschung bleiben. Außerdem werden KI-Ansätze ihren Preis haben. „Wenn man sagt, dass in Zukunft alles mit maschinellem Lernen und KI gemacht wird, geht man davon aus, dass die notwendigen Daten vorhanden sind. In der numerischen Strömungsmechanik ist das nicht der Fall“, sagt Schröder. „Wir benötigen große Mengen an Rechenzeit, um genügend Daten zu generieren – in manchen Fällen müssen wir Tausende von Simulationen durchführen, um ein tragfähiges Ersatzmodell zu finden. Das wird nicht von alleine passieren, und das ist ein Grund, warum Physikdisziplinen Exascale-Systeme wie Herder brauchen werden.“

Schulung und User Support helfen beim Übergang zu GPUs

Aus technischen Gründen lassen sich Algorithmen, die für CPU-basierte Architekturen geschrieben wurden, nicht einfach auf GPUs portieren. Stattdessen werden die Nutzer:innen von Hunter und Herder genau darauf achten müssen, wie ihre Codes strukturiert und geschrieben sind, um sicherzustellen, dass sie auf der neuen Hardware mit hoher Leistung arbeiten.

„In den letzten Jahren haben wir unseren Code kontinuierlich optimiert, um seine Leistung auf CPUs zu verbessern“, sagt ITLR-Wissenschaftler Matthias Ibach. „Der Zugang zu GPUs bietet uns Chancen und wird viel effizienter sein. Wir müssen allerdings das volle Potenzial des neuen Systems ausschöpfen. Wenn wir nicht umdenken, könnte dessen Leistung schlechter sein als die des jetzigen.“

Die Nutzer:innen des HLRS werden bei dieser Umstellung nicht im Stich gelassen. Ein wichtiger Aspekt bei der Entscheidung des Zentrums, einen Vertrag mit Hewlett Packard Enterprise für seine Systeme der nächsten Generation abzuschließen, ist das Engagement des Herstellers für den User Support. In den kommenden Jahren werden HPE-Mitarbeiter als Systemexperten in Zusammenarbeit mit dem User Support des HLRS seine Nutzer:innen unterstützen.

Prof. Michael Resch, Direktor des HLRS, weist darauf hin, dass dies nicht das erste Mal ist, dass sich die User Community des Zentrums an eine neue Technologie anpassen muss. „Seit seiner Gründung im Jahr 1996 ist das HLRS in regelmäßigen Abständen auf neue Supercomputing-Architekturen umgestiegen, um an der Spitze des Höchstleistungsrechnens zu bleiben“, erklärt er. „In diesem Sinne ist die Herausforderung, vor der wir derzeit mit den GPUs stehen, nicht neu. Allerdings ist die spezifische Hürde real, weil viele unserer Nutzer:innen diese Art von System noch nie zuvor verwendet haben. Daher ist Hunter als Übergangssystem konzipiert. Für uns ist es unerlässlich, unsere Nutzer:innen bei diesem Sprung zu unterstützen.“

In den vergangenen Jahren hat das HLRS bereits angefangen, die Grundlagen für den Übergang zu GPUs zu schaffen. Das HPC-Schulungsprogramm wurde erweitert, um die notwenden Fähigkeiten und Expertise zu vermitteln. In Zusammenarbeit mit anderen HPC-Zentren in ganz Europa hat das HLRS „Bootcamp“-Kurse angeboten, in denen Programmiermodelle für die Portierung von Codes auf GPUs vorgestellt werden. Weitere Kurse legen den Fokus auf Deep Learning und künstliche Intelligenz.

Während einige Forschungsgruppen schnell feststellen dürften, dass ihre Codes auf GPUs viel schneller laufen, werden andere mehr Unterstützung benötigen. Methoden, die einfach wiederholende Berechnungen ausführen, werden es beispielsweise leichter haben als Algorithmen, die objektorientierte Programmierung verwenden. Mit Blick auf die kommenden Jahre erklärt Dr. Schröder: „Wir müssen eine Spannung zwischen den Erwartungen an unsere Forschung in der Strömungsdynamik und den Erwartungen an die numerische Analyse akzeptieren. Es wird schwierig, aber wir stellen uns gerne der Herausforderung, weil wir wissen, dass die nächste Generation von ‚Superpower-Code‘ sowohl für uns als auch für das HLRS notwendig ist.“

Zuverlässige Ressourcen und Chancen für die Industrie

Viele Wissenschaftler:innen entwickeln aktiv ihre eigenen fortschrittlichen Codes. Allerdings sind industrielle HPC-Nutzer:innen in der Regel auf kommerziell hergestellte Softwarepakete angewiesen, die sie für bestimmte Anwendungen modifizieren. In naher Zukunft könnte diese Situation Herausforderungen bei der Umstellung auf GPUs mit sich bringen. In manchen Fällen existieren bereits problemlos funktionierende Softwarepakete, aber das ist nicht überall der Fall.

Aus diesem Grund wird das HLRS industriellen Anwender:innen weiterhin den Zugang zu x86-Knoten auf seinem Vulcan-Cluster anbieten. Dieses seit Langem bestehende, heterogene System wurde im Laufe der Jahre aktualisiert, um der Industrie Zugriff auf eine Vielzahl von CPU-Prozessor-Generationen zu ermöglichen. Dadurch wird das HLRS auch weiterhin die Innovationskraft seiner industriellen Nutzer:innen, einschließlich kleiner und mittelständischer Unternehmen (KMU), unterstützen.

Gleichzeitig wird die Verfügbarkeit von GPUs auf Hunter und Herder die Türen des HLRS für neue Industriekunden öffnen. Nach dem breiten öffentlichen Interesse an ChatGPT und generativer KI untersuchen derzeit viele Unternehmen, wie KI und Datenanalyse ihre Aktivitäten unterstützen könnten. Einige nutzen bereits Anwendungen, die für den Betrieb auf GPUs ausgelegt sind.

Dr. Bastian Koller, Geschäftsführer des HLRS, begrüßt diese Chancen: „Wir reden schon lange über künstliche Intelligenz, aber mit Hunter und Herder bekommt das HLRS leistungsstarke neue Plattformen dafür. Viele Anwender aus der Industrie sagen, dass sie keine riesigen Systeme brauchen. Schon der Zugriff auf relativ wenige Prozessoren könnte ihre Arbeit stark voranbringen. Der Vorteil unseres Konzepts besteht darin, dass wir in kleinem Rahmen in enger Zusammenarbeit mit unseren Technologieanbietern Lösungen für die spezifischen Probleme unserer Nutzer:innen finden können.“

Bereit für die Zukunft

Mit Hunter und Herder wird das HLRS seiner User Community in erster Linie weiterhin Werkzeuge und Dienste für die rechnergestützte Spitzenforschung anbieten. Auch wenn der Übergang Herausforderungen mit sich bringt, wird die Möglichkeit, Simulationen in größerem Maßstab durchzuführen und gleichzeitig Zugang zu leistungsstarken KI- und Datenanalysefunktionen zu haben, eine flexible Plattform für Wissenschaft, Industrie, Behörden und andere Gemeinschaften bieten.

„Da sich im Bereich des Höchstleistungsrechnens gerade so viel ändert, ist es schwierig, genau vorherzusagen, was unsere Nutzer:innen mit den neuen Systemen machen werden“, sagt Prof. Resch. „Wir sind aber sehr zuversichtlich, dass Hunter und Herder das HLRS auf einen guten Kurs für die Zukunft bringen. Wenn unsere Nutzerinnen und Nutzer mit uns den Übergang zum Exascale Computing vollziehen, können wir uns auf spannende neue Anwendungen und Entdeckungen freuen.“

— Christopher Williams