Stuttgart, 11. Oktober 2023 — Wissenschaftler des Höchstleistungsrechenzentrums Stuttgart (HLRS) haben in Zusammenarbeit mit Softwareentwicklern der WIKKI GmbH im Projekt exaFOAM erfolgreich eine neue Methode getestet, die die Nutzbarkeit von OpenFOAM-Anwendungen auf High-Performance-Computing (HPC)-Systemen deutlich verbessert. Basierend auf einem neu entworfenen Konzept, das die Wissenschaftler als „kohärentes Dateiformat“ (Coherent File Format) bezeichnen, vereinfacht der Ansatz die Datenverwaltung für HPC-Dateisysteme während der Simulationen und eliminiert die zeitintensive Vor- und Nachbearbeitung von Daten, die gewöhnliche OpenFOAM-Simulationsworkflows verlangsamen.
11. Okt 2023
Alle Pressemitteilungen
Mit dem Supercomputer Hawk am HLRS hat das exaFOAM-Team erfolgreich eine Benchmark-Simulation der numerischen Strömungsmechanik (CFD) durchgeführt, bei der OpenFOAM hinsichtlich der Eingabe-/Ausgabeleistung (E/A) effizient auf 4.096 Knoten (524.288 CPU-Kerne) skaliert wurde. Diese Zahl ist doppelt so hoch wie die eines Testlaufs, den das HLRS im August 2023 abgeschlossen hat und mehr als viermal so viel wie der bisherige Skalierungsrekord für OpenFOAM.
Das kohärente Dateiformat wurde ursprünglich von Dr. Henrik Rusche, CEO der WIKKI GmbH und einem der Hauptentwickler von OpenFOAM, konzipiert. Es verwendet einen strikten Sortieransatz beim Anlegen des Berechnungsnetzes in einer CFD-Simulation, um ein globales Netzverständnis zu schaffen. Die an einer großen Simulation beteiligten Prozesse werden in Gruppen unterteilt. Jede Gruppe enthält einen einzigen datenaggregierenden Prozess, der sowohl eine feste Beziehung zu den Daten der anderen Prozesse innerhalb der Gruppe hat als auch für deren Ein- und Ausgabeoperationen verantwortlich ist. Auf diese Weise verwandelt das kohärente Dateiformat eine große, fragmentierte Sammlung von Daten, die über Prozessoren verteilt sind, in eine kleinere, besser aufeinander folgende und sinnvollere Menge von „Brocken“, die für das Dateisystem leichter zu verwalten sind.
Für die Nutzer von OpenFOAM – einem kostenlosen, open-source Software-Framework für CFD-Simulationen, das u.a. in der Automobiltechnik, der Fertigung und der Energiewirtschaft weit verbreitet ist – verspricht das kohärente Dateiformat deutlich schnellere Simulationsworkflows, auch auf Pre-Exascale- und Exascale-Systemen. Infolgedessen wird die Simulation auch für Benutzer in Wissenschaft und Industrie zugänglicher, die auf begrenztere Computerressourcen angewiesen sind.
Während die Datenvorverarbeitung bei einer typischen Großsimulation bis zu einer Woche dauern kann, könnten Forschende, die diese neue Methode anwenden, ihre Ergebnisse in nur wenigen Stunden erhalten. Dieser Ansatz vermeidet auch den zeitaufwändigen Schritt der Rekonstruktion der Ergebnisse einzelner Bereiche nach Abschluss der Simulation, da die Struktur des Netzes bereits in der kohärenten Datenstruktur in einem globalen Dateilayout wiedergegeben ist. Auf der Ebene der Systemverwaltung kann dieser Ansatz HPC-Zentren auch helfen, die Zuweisung ihrer Rechenressourcen zu optimieren.
Die Entwickler der kohärenten Datenmethode haben den Code unter https://code.hlrs.de/exaFOAM auf einer freien, quelloffenen Basis der weltweiten OpenFOAM-Gemeinschaft zur Verfügung gestellt. Eine Integration in die zukünftigen Produktionszweige von OpenFOAM ist im Gange und wird von den Entwicklern des kohärenten Datenformats unterstützt. Außerdem planen sie wissenschaftliche Veröffentlichungen, in denen die Logik hinter ihren Methoden, technische Details über den Benchmarking-Prozess und bewährte Praktiken für Benutzer beschrieben werden.
Erfahren Sie mehr unter https://www.hlrs.de/de/news/detail/kohaerentes-dateiformat-beschleunigt-die-zeit-bis-zur-loesung-mit-openfoam.
Weiß RG, Rusche H, Lesnik S, Galeazzo FCC, Ruopp A. Preprint. Coherent mesh representation for parallel I/O of unstructured polyhedral meshes. J Supercomputing.
Das Höchstleistungsrechenzentrum der Universität Stuttgart (HLRS) wurde 1996 als erstes Bundeshöchstleistungsrechenzentrum Deutschlands gegründet. Als Einrichtung der Universität Stuttgart und Mitglied des Gauss Centre for Supercomputing stellt das HLRS seine Rechenkapazitäten Nutzer:innen aus Wissenschaft und Industrie zur Verfügung. Das HLRS betreibt modernste Höchstleistungsrechensysteme und bietet als Experte für neueste Technologien erstklassige Weiterbildung in den Bereichen Programmierung und Simulation. Das Zentrum forscht an wegweisenden Fragestellungen und Technologien rund um die Zukunft des Höchstleistungsrechnens (HPC). Die HLRS- Expertise umfasst unter anderem die Bereiche parallele Programmierung, numerische Methoden für HPC, Visualisierung, Cloud Computing, Höchstleistungsdatenanalyse (HPDA) sowie künstliche Intelligenz. Die Nutzer:innen der Systeme des Zentrums forschen auf ganz unterschiedlichen Forschungsgebieten mit dem Schwerpunkt auf Ingenieurwissenschaften und angewandter Wissenschaft.
Das exaFOAM-Projekt zielt darauf ab, die derzeitigen Grenzen der CFD-Technologie (Computational Fluid Dynamics) zu überwinden, insbesondere bei der Nutzung massiv paralleler HPC-Architekturen. Es entwickelt und validiert eine Reihe von algorithmischen Verbesserungen über die gesamte CFD-Prozesskette (Vorverarbeitung, Simulation, E/A, Nachverarbeitung). Die Wirksamkeit wird anhand einer Reihe von HPC Grand Challenge- und Industrial Application Challenge-Fällen demonstriert, die sich auf Sektoren konzentrieren, in denen der technische Entwurf mittels CFD einen wichtigen Beitrag zur industriellen Wettbewerbsfähigkeit und Nachhaltigkeit geleistet hat. Erfahren Sie mehr unter https://exafoam.eu.
Sophia Honisch, High-Performance Computing Center Stuttgart. Tel.: +49 711 685-68038. sophia.honisch@hlrs.de
ExaFOAM wurde von der European High-Performance Computing Joint Undertaking (JU) unter der Projektnummer 956416 gefördert. Die JU wird vom Forschungs- und Innovationsprogramm Horizon 2020 der Europäischen Union sowie Frankreich, Deutschland, Spanien, Italien, Kroatien, Griechenland und Portugal unterstützt.
Finanzielle Mittel für Hawk stellten das Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg und das Bundesministerium für Bildung und Forschung, unterstützt von dem Gauss Centre for Supercomputing, bereit.
