Parallelisierung ist ein entscheidendes Merkmal des Höchstleistungsrechnens. Jetzt haben Forschende an der Universität Stuttgart sie jedoch auf ein ganz neues Niveau gehoben. Zum ersten Mal haben sie alle drei Bundeshöchstleistungsrechner des Gauss Centre for Supercomputing (GCS) simultan genutzt und so eine „Superfacility“ für eine einzige Simulation geschaffen.
15. Nov 2024
Anwender-Forschung
Systeme & Infrastruktur
Physik
Simulation
Alle Nachrichten
Das Team konzentrierte sich auf ein hochdimensionales Problem, das auf die Bedürfnisse der Plasmaphysik zugeschnitten ist. Unter Verwendung eines Programmieransatzes, die so genannte „Sparse-Grid-Combination-Technique“, verteilten sie Elemente der Simulation auf die Supercomputer JUWELS (Jülich Supercomputing Centre), SuperMUC-NG (Leibniz-Rechenzentrum) und Hawk (Höchstleistungsrechenzentrum Stuttgart) und kombinierten sie neu. Diese Simulation, die die Fähigkeiten der drei größten deutschen Supercomputer nutzte, umfasste 35 Billionen Freiheitsgrade. Das Drei-System-Experiment baute auf einem Zwei-System-Test auf, bei dem JUWELS und SuperMUC-NG eingesetzt wurden. Die frühere Simulation war sogar noch größer und umfasste 46 Billionen Freiheitsgrade.
„Nach unserem Kenntnisstand ist dies die größte Simulation, die jemals auf einer europäischen HPC-Infrastruktur durchgeführt wurde“, sagt Dr. Theresa Pollinger, die vor kurzem am Institut für Parallele und Verteilte Systeme (IPVS) der Universität Stuttgart promovierte und das Experiment leitete. Sie wird auf der kommenden SC24, der weltweit größten Supercomputing-Konferenz von 17. bis 22. November in Atlanta, einen Vortrag über das Projekt halten.
Pollinger erläutert das Experiment: „Unser Kombinieren der drei Supercomputer des Gauss Centre for Supercomputing zeigt, dass mit ausreichender Datenübertragungsbandbreite und koordinierter Ressourcennutzung der Einsatz eines föderierten Supercomputersystem möglich ist. So lassen sich groß angelegte Simulationen durchführen, die den Speicherplatz eines einzelnen Systems übersteigen.“
Bei ihrem Experiment simulierten Pollinger und ihre Kollegen ein System, das von einem Problem der Plasmaphysik und der Untersuchung der Kernfusion inspiriert ist. Da die Kernfusion in Zukunft eine reichhaltige, CO2-freie Energiequelle darstellen könnte, untersuchen Physiker:innen und Ingenieur:innen die beteiligten Prozesse mithilfe von Höchstleistungssimulationen. Aufgrund der enormen Rechenressourcen, die für solche komplexe Simulationen erforderlich sind, müssen die Forschende bei den Berechnungen jedoch von geringeren Auflösungen ausgehen.
Die Simulation der Fusion mit hoher Genauigkeit erfolgt mit mathematischen Modellen, den so genannten Vlasov-Gleichungen. Dabei wird der Raum, in dem sich die Reaktion abspielt, rechnerisch in ein Gitter aus kleinen virtuellen Boxen unterteilt. Innerhalb jeder Box simuliert ein Algorithmus Veränderungen in sehr kurzen Zeitschritten in sechs Dimensionen – drei räumliche Dimensionen und drei Geschwindigkeitsdimensionen. Mit diesem Ansatz können Fusionsreaktionen mit extrem hoher Auflösung simuliert werden. Dabei fallen jedoch schnell enorme Datenmengen an, die die verfügbaren Speicherressourcen überfordern und wegen der erforderlichen Datenübertragung wertvolle Rechenzeit vergeuden. Computerwissenschaftler:innen nennen dies den „Fluch der Dimensionalität“.
Pollinger und ihre Kollegen haben erforscht, wie ein Multiskalen-Computing-Ansatz, die Sparse-Grid-Combination-Technique, dieses Problem lösen könnte. Anstatt jedes der kleinen Kästchen mit hoher Auflösung zu simulieren, fusionieren sie Gruppen von kleinen Kästchen zu größeren Kästchen, wodurch die Auflösung verringert wird. Sie wiederholen diesen Ansatz mehrfach, wobei sie jedes Kästchen mit verschiedenen Gruppen seiner Nachbarn kombinieren. Die Ergebnisse dieser Simulationen mit geringerer Auflösung werden dann zu einem Gesamtergebnis kombiniert. Pollinger erklärt: „Alle Boxen werden schlecht aufgelöst, aber auf unterschiedliche Weise. Indem wir sie auf geschickte Weise addieren, erhalten wir eine gute Annäherung, die in alle Richtungen fein aufgelöst ist.“
In der Vergangenheit haben Wissenschaftler:innen bereits Supercomputer kombiniert, um große Simulationen durchzuführen. Allerdings wurden dabei in der Regel verschiedene Komponenten eines größeren Algorithmus auf Systemen ausgeführt, die dafür am besten geeignet waren. Im Experiment des Teams um Pollinger wurde jedoch eine große Anzahl ähnlicher Operationen auf allen drei GCS-Rechnern parallel ausgeführt.
Das Team implementierte die Sparse-Grid-Combination-Technique mithilfe einer Software namens DisCoTec. Bei diesem Ansatz wurde die Rechenlast verteilt, indem mehrere Varianten der Simulation gleichzeitig auf verschiedenen Supercomputern ausgeführt wurden (d. h. verschiedene niedrig aufgelöste Gruppierungen von Boxen im Rechengitter), während gleichzeitig dieselben Zeitschritte eingehalten wurden. Dies hat den großen Vorteil, dass die Simulationen an den drei HPC-Zentren lose gekoppelt sind und während großer Teile der Gesamtlaufzeit des Algorithmus weitgehend unabhängig voneinander ablaufen. Ein Datenaustausch zwischen ihnen war nur gelegentlich erforderlich, wodurch zeitaufwändige Kommunikationsschritte entfielen. Darüber hinaus bedeutet die Multiskalennatur der Kombinationstechnik, dass nur bestimmte Teile von vergleichsweise groben Daten gemeinsam genutzt und kombiniert werden müssen, um das hochaufgelöste Endergebnis zu erhalten. Dies vereinfacht den Speicherbedarf drastisch und erleichtert die Datenübertragung über das Internet erheblich.
Wenn die Kombinationstechnik auf die drei GCS-Systeme verteilt wird, schreibt jedes System seinen Teil des gemeinsamen Sparse Grid in eine Datei, die dann an die anderen Systeme übertragen wird. Die Abbildung basiert auf Pollinger T, et al. 2024.
Neben der brachialen Rechenleistung stützte sich das Experiment auf das Hochgeschwindigkeits-Forschungsnetz, das die Supercomputer der drei GCS-Zentren miteinander verbindet, sowie auf die Datenübertragungssoftware UFTP des Forschungszentrums Jülich. Diese Infrastruktur wurde 2017 im Rahmen des Projekts InHPC-DE aufgebaut, das vom Bundesministerium für Bildung und Forschung (BMBF) gefördert wird. „Das Tool existierte bereits am GCS, wurde aber so konzipiert, dass es den Nutzern ermöglicht, Datensicherungen zu erstellen oder Daten zu übertragen“, erläutert Pollinger.
In einem ersten Test im September 2023 ließen die Forscher mit SuperMUC-NG und JEWELS eine Simulation mit 46 Billionen Freiheitsgraden laufen. Das ist eine Größenordnung, die die Speicherkapazität von SuperMUC-NG überfordern würde. Im November 2023 wurde ein weiteres Experiment durchgeführt, bei dem etwa 20 Prozent der Rechenknoten auf jedem der drei GCS-Systeme – JUWELS, SuperMUC-NG und Hawk – gleichzeitig genutzt wurden. Mit konventionellen Ansätzen auf einem einzelnen Supercomputer wäre der Datenbedarf einer solchen hochdimensionalen Simulation nicht zu berechnen gewesen. Mithilfe der Sparse-Grid-Kombinationstechnik auf der GCS-Superfacility konnten Pollinger und ihr Team diese Aufgabe jedoch bewältigen.
Die Kombination von drei der größten europäischen Supercomputer brachte eine Reihe von Herausforderungen mit sich. Die erste war organisatorisch. Während des normalen Betriebs führt jedes System mehrere Rechenaufträge von diversen Benutzer:innen gleichzeitig aus. Diese Aufträge werden über unabhängige Warteschlangensysteme in jedem HPC-Zentrum koordiniert. Während der Tests und bei der abschließenden Durchführung der Plasmaphysiksimulationen war es für Pollinger und ihr Team jedoch wichtig, große Mengen an Rechenkapazität auf allen drei Rechnern gleichzeitig zu reservieren.
Außerdem ist die Netzwerkbandbreite auf Supercomputern wie denen in Jülich, Garching und Stuttgart so optimiert, dass Nutzer:innen Dateien zwischen den HPC-Zentren und ihren lokalen Recheninfrastrukturen übertragen können. In diesem Fall wurde fast die gesamte verfügbare Bandbreite von einem einzigen Experiment verbraucht. Dies erforderte eine Abstimmung zwischen dem Forschungsteam und den Systemadministratoren der drei Zentren. In Zukunft würde ein einheitliches Warteschlangensystem, das eine Simulation automatisch über eine föderierte HPC-Superfacility verteilen könnte, diesen Ansatz vereinfachen.
Mitarbeitende von Hewlett Packard Enterprise (HPE), dem Hersteller des Supercomputers Hawk am HLRS, leisteten ebenfalls wichtige Beiträge zu dem Experiment. Philipp Offenhäuser von HPE analysierte die Ein- und Ausgabeleistung (E/A) des Lustre-Dateiverwaltungssystems von Hawk, um Engpässe zu ermitteln. Unter anderem optimierte er, wie Dateien im Voraus geschrieben wurden, um dem E/A-Muster dieser ungewöhnlichen Anwendung zu entsprechen. Die Verbesserung der Systemleistung umfasste auch die Auswahl von Domänen-Dekompositionen, um potenziellen Lastungleichgewichten entgegenzuwirken, und die Erforschung von Komprimierungstechniken, um den Bedarf an Datenübertragung über das Netzwerk weiter zu reduzieren.
Die Nachfrage nach Rechen-, Speicher- und Ablagekapazitäten in extremen Grid-basierten Simulationen steigt. Dieser Testfall demonstrierte eine Strategie, um sie mit einer viel höheren Auflösung auszuführen, als es sonst möglich wäre.
— Christopher Williams
Pollinger T, Van Craen A, Offenhäuser P, Pflüger D. 2024. Realizing joint extreme-scale simulations on multiple supercomputers—two superfacility case studies. In 2024 SC24: International Conference for High Performance Computing, Networking, Storage and Analysis SC, Atlanta, GA, United States. 1568-1584.
Hawk, JUWELS und SuperMUC-NG werden vom Bundesministerium für Bildung und Forschung über das Gauss Centre for Supercomputing (GCS) gefördert. Zusätzlich werden Hawk vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg, JUWELS vom Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen und SuperMUC-NG vom Bayerischen Staatsministerium für Wissenschaft und Kunst gefördert.
