Höchstleistungsrechnen im COVID-19-Jahr

Anfang März hatte das SARS-CoV-2-Virus begonnen, sich in Deutschland auszubreiten, und schon bald wurden bis dato unvorstellbare Maßnahmen gegen eine neue tödliche Pandemie ergriffen. Am 13. März setzte Baden-Württemberg den Präsenzunterricht an allen Schulen aus, und am 16. März empfahl die Universität Stuttgart allen Mitarbeitern, die nicht vor Ort auf dem Campus sein mussten, von zu Hause aus zu arbeiten. Obwohl die Fallzahlen in Deutschland im Sommer zurückgingen, führten das Fehlen eines wirksamen Impfstoffs und eine noch gefährlichere zweite Krankheitswelle im Herbst dazu, dass viele Einschränkungen für den Rest des Jahres in Kraft blieben. Selbst Ende 2020 waren nur wenige Mitarbeiter täglich vor Ort am HLRS; die meisten arbeiteten von zu Hause aus und vernetzten sich per E-Mail und Videokonferenz.

Die beispiellosen Auswirkungen der COVID-19-Pandemie betrafen das HLRS in vielerlei Hinsicht und zwangen das Zentrum zur schnellen Anpassung an eine neue Realität. Sie verdeutlichten aber auch die wichtige Rolle, die Höchstleistungsrechnen (HPC) und andere fortschrittliche Computertechnologien heute bei der Bewältigung von Gesundheitskrisen spielen. Für das HLRS war 2020 ein Jahr voller neuer Herausforderungen, das aufzeigte, wie sich Höchstleistungsrechnen in den nächsten Jahren entwickeln könnte, um auf andere Krisen vorbereitet zu sein.

Wissenschaftliches Rechnen spielt heute eine wesentliche Rolle in Fachbereichen wie Physiologie, Immunologie, Virologie und Medikamentenentwicklung. Wissenschaftler nutzen heute routinemäßig Simulationen, maschinelles Lernen und Hochleistungsdatenanalyse, um viele Arten von Krankheitserregern und deren Infektionswege zu erforschen und so wichtige Daten für die Entwicklung potenziell wirksamer Medikamente, Impfstoffe und anderer Strategien zur Krankheitsbekämpfung zu sammeln. Mit Algorithmen speziell für Supercomputer erstellen Wissenschaftler überprüfbare Vorhersagen zu biologischen Aktivitäten, die vom Maßstab her zu klein oder zu komplex für rein experimentelle Ansätze sind. Dies wiederum treibt die Forschung voran, da man sich so im Versuchslabor auf die erfolgversprechendsten Hypothesen konzentrieren kann.

2020 setzten Wissenschaftler in vielen Ländern Berechnungsansätze vielseitig gegen die COVID-19-Pandemie ein. Einige nutzten diese etwa, um ein besseres Verständnis der molekularen Eigenschaften des Virus zu erlangen. Andere untersuchten mit großen Datensätzen virtuell Wirkstoffe, um vorherzusagen, welche vorhandenen Wirkstoffe eingesetzt werden könnten, um das Virus unschädlich zu machen. Klinische Forscher analysierten elektronische Krankenakten mit Berechnungsansätzen, um nach wichtigen Datenmerkmalen für personalisiertere Behandlungsstrategien zu suchen. Epidemiologen nutzten die Daten auch, um nachzuverfolgen und vorherzusagen, wie sich die Krankheit in der Bevölkerung ausbreitet, und zeigten so auf, wie sich das öffentliche Gesundheitswesen auf einen Ausbruch vorbereiten und diesen eindämmen kann. Durch eine beispiellose globale Reaktion seitens der Wissenschaft, die diese und andere Ansätze nutzte, konnte schnell umfassendes Wissen zur Suche nach Impfstoffen, Therapien und wirksamen Maßnahmen des öffentlichen Gesundheitswesens erworben werden.

Als der Lockdown im März das HLRS erfasste, bot es der COVID-19-Forschung geballte Rechenkraft. Es tat sich umgehend mit seinen Partnern im Gauss Centre for Supercomputing – dem Zusammenschluss der drei nationalen Höchstleistungsrechenzentren in Deutschland – zusammen und kündigte einen beschleunigten Zugang zu seinen Systemen für Wissenschaftler an, die das Virus und seine Erkrankung untersuchen. Das HLRS mag zwar eher für seine Unterstützung im Bereich Computational Engineering bekannt sein, seine HPC-Infrastruktur eignet sich aber auch für die Gesundheitsforschung. Entsprechend meldeten sich in den folgenden Wochen und Monaten Wissenschaftler, um den Hawk für den Kampf gegen das neuartige Coronavirus zu nutzen. Acht COVID-bezogene Projekte nutzten das HLRS-System im Laufe des Jahres, wobei die Ressourcen des Zentrums auch weiterhin anderen Forschern zur Verfügung stehen.

In mehreren der zugelassenen Projekte erforschten die Wissenschaftler den physischen Aufbau des Virus, einschließlich der Merkmale, welche die Infektion menschlicher Zellen betreffen. Dies umfasste die Forschung zur Modellierung des COVID-19-Spike-Proteins, das eine Infektion auslöst, wenn es mit dem menschlichen ACE2-Rezeptor auf der Zelloberfläche interagiert. Andere setzten auf einen Ansatz namens Molekulardynamik, um mit extrem hoher Auflösung zu simulieren, wie Proteine auf der Oberfläche des Virus ihre Form verändern. Ein besseres Verständnis dieser Phänomene könnte helfen, Medikamente zu entdecken, die die Interaktion zwischen Virus und Mensch beim Eindringen in die Zellen hemmen könnten. Da diese Probleme so komplex sind, erwiesen sich die HLRS-Rechnersysteme als unverzichtbar für diese Forschung.

Mit Beginn der COVID-19-Pandemie konzentrierte sich die deutschlandweite Strategie darauf, die Ausbreitung des Virus einzudämmen, um eine Überfüllung der Krankenhäuser zu verhindern. Dies beinhaltete die Umsetzung und zeitweise Lockerung vieler Maßnahmen, darunter die Schließung von Geschäften, das Verbot öffentlicher Veranstaltungen, die Anordnung, zu Hause zu bleiben, und das Tragen von Schutzmasken in der Öffentlichkeit. Im Gesamtjahr 2020 konnte diese Strategie weitgehend vermeiden, dass die Intensivstationen überfüllt waren, obwohl die zweite Pandemiewelle dem Land wieder neue Restriktionen aufzwang, um eine Flut von schweren Fällen zu verhindern. Solange Impfaktionen noch nicht effektiv genug sind, werden solche Zyklen wahrscheinlich weitergehen.

Um Tools bereitzustellen, mit denen Gesundheitsbehörden und Regierungen bestimmen können, welche Schutzmaßnahmen erforderlich sind, arbeitet HLRS-Forscher Dr. Ralf Schneider mit Wissenschaftlern des Bundesinstituts für Bevölkerungsforschung (BiB) an einer Software zur bis zu achtwöchigen Vorhersage von Nachfragespitzen bei Intensivstationen in Deutschland. Dieser COVID-„Wetterbericht“ könnte dazu beitragen, ein nachhaltiges Gleichgewicht zwischen öffentlichem Gesundheitsschutz und der Minimierung anderer sozialer, wirtschaftlicher und persönlicher Auswirkungen der Pandemie zu finden. Eine Vorabpublikation, die das Tool beschreibt, wurde im Dezember auf dem medRxiv Preprint-Server für Gesundheitswissenschaften veröffentlicht.

Die Software wurde auf dem Hawk-Supercomputer des HLRS entwickelt, kann aber von Datenwissenschaftlern überall genutzt werden. Schneider erklärt: „Das Modell basiert auf epidemiologischen Parametern, die den in Deutschland verfügbaren Daten entsprechen. Der Code ist jedoch so aufgebaut, dass andere Länder ihn an ihre eigene Situation anpassen können, wenn die entsprechenden Daten verfügbar sind.“

Wichtig für den Erfolg dieser Bemühungen war auch EXCELLERAT, ein europäisches Projekt unter HLRS-Leitung, das eigentlich den Maschinenbau auf dem Weg zu Exascale-Supercomputer-Technologien unterstützen soll. HLRS-Mitarbeiter zeigten gemeinsam mit dem EXCELLERAT-Partner SSC-Services, dass Technologien für Ingenieure auch bei Herausforderungen im Gesundheitswesen nützlich sein können. Die Mitarbeiter implementierten ein sicheres Datentransfer-Tool, mit dem BiB-Forscher Daten schnell zwischen dem Hawk und den Systemen in ihren Büros in Wuppertal verschieben können, sodass sie Zugang zur HLRS-Rechnerleistung für groß angelegte Datenanalysen hatten, ohne vor Ort anwesend sein zu müssen.

Das HLRS stellt einzelnen Wissenschaftlern Rechenzeit zur Forschung bereit, arbeitet aber auch in Dutzenden geförderter Forschungsprojekte mit, die sich mit den technischen Herausforderungen des Höchstleistungsrechnens befassen. In einem neuen Projekt, das im Sommer durch das Programm Horizon 2020 der Europäischen Kommission genehmigt wurde, trägt das HLRS zur Entwicklung eines wichtigen Management-Tools für die öffentliche Gesundheit während Pandemien bei.

Seit März 2020 haben medizinische Einrichtungen in Europa und weltweit massenhaft COVID-19-Patientendaten gesammelt, die Patientencharakteristika, Behandlungspläne und Krankheitsverläufe dokumentieren. Anfangs wurden diese Daten jedoch größtenteils von verschiedenen Gesundheitsdienstleistern in ihren eigenen lokalen Datenbanken gesammelt und gespeichert und es gibt dazwischen kaum Verbindungen. Da moderne biomedizinische und epidemiologische Studien durch die Verwendung größerer Datensätze an statistischer Aussagekraft gewinnen, böte die Zusammenführung dieser Informationen den Forschern eine wichtige Ressource.

Das neue Projekt namens ORCHESTRA wird von Prof. Evelina Tacconelli von der Universität Verona geleitet und umfasst 27 Partnereinrichtungen aus 15 Ländern in Europa, Afrika, Südamerika und Asien. Es wird eine vielschichtige Dateninfrastruktur für die Sammlung und den Austausch COVID-bezogener Patientendaten aus ganz Europa und anderen Teilen der Welt entwickeln. Im Zuge dessen kooperiert das HLRS mit Wissenschaftlern der Hochleistungsrechenzentren CINECA (Italien) und CINES (Frankreich), um die Infrastruktur für das Datenmanagement zu entwickeln.

Nach dem ORCHESTRA-Plan werden nationale Daten-Hubs in den teilnehmenden Ländern erfasste Daten zusammentragen. Ein zentrales cloud-basiertes Portal wird es Forschern ermöglichen, auf diese zuzugreifen, sie gemeinsam zu nutzen und miteinander zu verknüpfen. Die sich ergebende virtuelle Kohorte – potenziell aus Hunderttausenden von Patienten – wird multidisziplinäre Studien, unter anderem zur Genetik, Epigenetik, Immunologie und Epidemiologie von COVID-19 ermöglichen.

Das HLRS hilft bei der Infrastrukturentwicklung, bietet aber auch fachliche Unterstützung bei der Standardisierung der Datenerfassung, -speicherung und -kuratierung in allen nationalen Daten-Hubs. Eine solche Harmonisierung ist nötig, damit Datensätze verschiedensten Ursprungs nahtlos so integriert werden können, dass ihr Nutzen und ihre Wirkung maximiert werden.

Das ORCHESTRA-Team rechnet damit, dass diese neue Plattform Studien zur Verbesserung der öffentlichen Gesundheit und von Impfstoffstrategien unterstützen wird. Sie könnte auch ein Modell für die Sammlung und den Austausch von Daten bei zukünftigen Pandemien sein.

Vor Ort wirkte sich die COVID-Krise anders auf den HLRS-Alltag aus. Aufgrund von Vorschriften zur Beschränkung sozialer Kontakte konnte das Zentrum sein umfassendes HPC-Schulungsprogramm nicht mehr im Präsenzformat anbieten. So begannen die Dozenten schon wenige Wochen nach Lockdown-Beginn, die Kurse auf ein Online-Format umzustellen und über die Videokonferenz-Plattform Zoom abzuhalten.

Es war zwar nicht ganz einfach, die Kurse weiterhin praxisnah und interaktiv zu gestalten, aber die Digitalisierung des HLRS-Schulungsprogramms hatte auch einzigartige Vorteile. Das Zentrum konnte einen wesentlichen Rückgang der normalen Teilnehmerzahlen vermeiden und sogar ein geographisch breiteres Publikum als üblich erreichen: 38 % aller Teilnehmer waren aus dem Ausland.

„Obwohl wir uns natürlich wieder auf den Präsenzunterricht freuen, zeigten die Erfahrungen der letzten Monate, wie Online-Kurse den HPC-Wissensstand verbessern können“, so Dr. Rolf Rabenseifner, Leiter des HLRS-Schulungsprogramms. „Derzeit rechnen wir damit, dass das HLRS möglicherweise auch nach Ende der aktuellen Pandemie Online-Kurse parallel zu seinem Haupt-Schulungsprogramm anbieten könnte.“ Dann könnte die Notwendigkeit, sich an COVID-bedingte Einschränkungen anzupassen, unerwartete Vorteile haben.

In ähnlicher Weise musste das HLRS-Nutzer-Supportteam seinen Code-Portierungs- und Skalierungs-Workshop im April schnell auf ein Online-Format umstellen. Mithilfe von Videokonferenz-Software arbeiteten Experten für Computational Science and Engineering am HLRS mit einzelnen Wissenschaftlerteams in Breakout-Sessions zusammen, um Probleme mit ihren Codes zu lösen.

„In Optimierungs-Workshops halten wir nicht nur einen Vortrag oder zeigen einen Foliensatz“, sagt Björn Dick vom HLRS-Nutzer-Supportteam. „Mit diesem neuen Ansatz können wir online zusammenarbeiten, wirklich gemeinsam in den Code einsteigen und Änderungen vornehmen. Per Fernzugriff kann ich kurz die Kontrolle über den Bildschirm eines Nutzers übernehmen, Codebestandteile hinzufügen, um zu erklären, was ich meine, und der andere versteht sofort und kann selbständig weiterarbeiten.“

Der Erfolg der Veranstaltung inspirierte das HLRS-Team auch zum Einsatz von Videokonferenz-Tools in anderen Situationen, in denen persönliche Treffen unmöglich waren. „In gewisser Hinsicht zwang uns COVID zur Anpassung unserer Arbeitsweise“, so PUMA-Abteilungsleiter Dr. Thomas Bönisch, „aber es ermöglichte uns auch, eine Support-Lösung zu entwickeln, die wir vorher nicht in Betracht gezogen hatten. So können wir HLRS-Systemanwendern jetzt auch außerhalb des Leistungsoptimierungs-Workshops helfen.“

COVID-19 wird wohl leider nicht die letzte Pandemie sein, mit der die Menschheit konfrontiert wird. Angesichts globaler atmosphärischer und gesellschaftlicher Instabilitäten, die der Klimawandel bestimmt mit sich bringen wird, der ständigen Gefahr chemischer oder atomarer Unfälle, der Anfälligkeit für Naturkatastrophen und anderer globaler Bedrohungen werden Simulationen und ähnliche Prinzipien wie künstliche Intelligenz eine wichtige Rolle spielen, um schnell auf neuartige Probleme reagieren zu können.

Um das HLRS bei diesen Herausforderungen zu unterstützen, kündigte der Hardwarehersteller AMD, dessen Prozessoren das „Herz“ des Hawk sind, im September 2020 im Rahmen des AMD COVID-19 High Performance Computing Fund eine Spende von zehn neuen Rechenknoten an das HLRS an. Die zusätzliche Rechenleistung aus AMD Radeon Instinct-Grafikprozessoren, die Anfang 2021 ausgeliefert werden sollen, dient ausschließlich der Pandemieforschung. In Zukunft kann das HLRS mit diesen neuen Ressourcen auch dringenden Rechnerbedarf bei plötzlichen Krisen abdecken.

HLRS-Direktor Prof. Michael Resch erklärt: „Die COVID-19-Krise war ein großer Weckruf in Deutschland und Europa und hat gezeigt, dass neue Herausforderungen sehr plötzlich entstehen und gesellschaftsübergreifend große Auswirkungen haben können. Da Höchstleistungsrechnen die Basis von Tools ist, mit denen Wissenschaftler schneller diese Herausforderungen bewältigen können, müssen jetzt ganz klar Investitionen und Vorbereitungen getätigt werden, um für die nächste derartige Herausforderung gewappnet zu sein. Am HLRS und an anderen HPC-Zentren Europas wird davon ausgegangen, dass die Umsetzung neuer Ressourcen und Strategien zur Bewältigung von Notfallsituationen, in denen Simulationen und Datenanalysen helfen können, in den kommenden Jahren ein großer Schwerpunkt sein wird.“

Supercomputer werden niemals ein Allheilmittel für Bedrohungen wie die COVID-19-Pandemie sein. Aber sie werden auch in Zukunft eine wichtige Rolle dabei spielen, diese anzugehen und erfolgreich zu bewältigen.

— Christopher Williams