Wir haben einen Einsteiger-Kurs mit folgenden Inhalten*:

  • Wie nutze ich Software auf dem Cluster? (HPC-Systeme haben eine bestimmte Methode, sogenannte Modulefiles, um über die Lebensdauer eines Clusters aktuelle Software, die sich im wissenschaftlichen Bereich natürlich schnell ändern kann, bereit zu stellen.)
  • Wie nutze ich das batch-System? (In mehreren Teilen mit relativ vielen “hands-on” Teilen, neben anderen aktivierenden Maßnahmen.)
  • ein paar technische Hintergründe zu parallelen Filesystemen und wie CPUs arbeiten (notwendig, um einige Hintergründe zu verstehen)
  • Konzeption von Workflows (das gilt es noch auszubauen; der Hintergrund — für alle mitlesenden Nicht-HPC-NutzerInnen: viele HPC-Programme können “einfach so” genutzt werden und dann hat man eine Antwort (z. B. bei Simulationen**). Ggf. gilt es dann noch Statistiken verschiedener Jobs einzusammeln. Das war’s, die Arbeit ist getan. Doch nicht wenige Nutzer, insb. alle BiologInnen und MedizinerInnen, machen Datenanalytik und die ist immer mehrstufig, also nicht mit einem Job pro Simulation, sondern mit mehreren pro Stufe der Analytik behaftet. Und da steckt der Teufel im Detail, obwohl die batch-Systeme Funktionalität für diese Anforderung bereitstellen – das wird hier noch Thema.)
  • und natürlich ein paar Infos über die Services unserer Gruppe und weitere Kurse

Und weil wir lernen mussten, dass viele potentielle Nutzer das notwendige Verständnis für das Shellskripting nicht mitbringen, was es erst ermöglicht dem eigentlichen Einführungskurs zu folgen, gibt es die Möglichkeit eine Woche vorher einem weiteren zweitägigen Kurs zum Shellskripting zu folgen — genannt “Bash-Crash”.

Das Ziel

Das Ziel ist es zukünftige Nutzer unserer Systeme

  1. in die Lage zu versetzen die Systeme selbsttätig/selbstständig zu nutzen,
  2. die Zahl der Anfängerfragen und den damit verbundenen Aufwand erheblich zu reduzieren

Na, und ich selber denke mir noch: Schön wäre es auch Nutzer zu gewinnen, die etwas zur Wissensallmende beitragen: Ich bin alleine verantwortlich für die BiologInnen und MedizinerInnen, die bei uns rechnen möchten/müssen. Die Physik und Chemie werden durch weitere drei Kollegen betreut. Da ist klar, dass das Fachspezifische bei mir bisweilen zu kurz kommen muss. Umso schöner wäre es, wenn Erfahrungen (z. B. ein Benchmark eines Programms) gesammelt und geteilt würden.

Vor allem aber möchte ich auch den Mehrwert der Clusternutzung für die TeilnehmerInnen vermitteln.

Die Umgebung

Wir operieren mit unserer Lehre nicht im luftleeren Raum — es gibt in Deutschland und Europa u. a.

  • die Supercomputing Akademie, die unter Anwendern bislang Entwicklungsingenieure, CAE-, Berechnungs- und Simulationsingenieure, System-Designer und Simulationsinteressierte versteht. Man erkennt einen Fokus auf IT-Fortgeschritte auch an dem Satz der Webseite “Weitere Voraussetzungen sind grundlegende Programmierkenntnisse in einer der Programmiersprachen C/C++, Fortran oder Python sowie Grundkenntnisse in Linux und Bash.” Bei mir deckt sich die Zielgruppe teilweise — die Kenntnisse kann ich nicht voraussetzen: Ich muss sie vermitteln!
  • oder PRACE, auf europäischer Ebene, mit einem weitgefächerten Trainigsangebot. Die lasse ich erst mal außen vor — schlicht, weil das Angebot so heterogen ist und von verschiedenen Institutionen kommt, dass ich es nicht kategorisieren kann. Aber sicher ist PRACE mal einen eigenen Beitrag wert ….
  • die Kollegen vom HLRS, die unabhängig von der Supercomputing Akademie auch bislang schon sehr aktiv sind — aber das wird mal gesondert Thema.
  • und noch viel mehr, was ich nach und nach mal beleuchten werde — ich freue mich auch über Quellen, die ich noch nicht kenne.

Weiter geht es mit den Themen “Warum Lehre für HPC Anwender manchmal schiefgehen muss!”, den Beitrag des “HPC Certification Forum”, “Dokumentation für Anwender” und einem Ausblick. Und mittelfristig werde ich auch etwas über Workflowsysteme im HPC-Kontext schreiben …

+++++++++++++++++++

* Ich abstrahiere stark, weil viele von Euch wahrscheinlich keine Erfahrung mit HPC-Systemen haben werden.

** Auch hier ist die Realität komplizierter.

flattr this!

1 / 2

Kommentare (6)

  1. #1 bronsteintrivial
    13. Januar 2020

    Guter Artikel!

    Zum ROI von Anwendungen zum Clustered Computing kann ich beitragen, dass eine (12k-zeilige) MPI(CH)2-Anwendung (CGI i.w.S.)– 2009 von mir geschrieben in Fortran95/C++98 – im letzten Jahr ihr 10-jähriges Jubiläum hatte.

    Und zwar ohne Bug-Reports und Wunschlisten ala Alice in Wonderland.

    Das liegt mE nicht daran, dass ich nun solch ein schwerst-genialer Coder oder Systemarchitekt wäre, sondern daran, dass die Dekomposition des Tasks in (i.Ü.i.W. symmetrische) Jobs der Architektur gut getan hat.

    So long && happy hacking!

    • #2 Christian Meesters
      13. Januar 2020

      … im letzten Jahr ihr 10-jähriges Jubiläum hatte.

      Glückwunsch! Das passt vielleicht hier hin.

  2. #3 Susanne Vieser
    München
    15. Januar 2020

    Stoße per Zufall auf den Artikel – der gute Einsichten brachte: Auch das Leibmniz Rechenzentrum in München bietet übrigens viele Kurse rund um HPC und das Coden von Applikationen an. Sichtbar aus den Nutzungszahlen des SuperMUC und des SuperMUC-NG: Nicht mehr nur die klassischen Naturwissenschaften haben viele Daten zu verarbeiten, auch Wirtschafts- und Sprachwissenschaften kommen mit den ersten Riesen-Datensätzen zum Rechnen zu uns. Und Supercomputing oder HPC wird zunehmend wichtig bei der Visualisierung von Daten und Erkenntnissen. Am LRZ entstanden bereits Virtualisierungen von bekannten Sälen, teils von solchen, die nicht mehr betreten werden dürfen. Und ein besonders schönes, datenintensives Projekt ist LEDIZ – die Befragung von Zeitzeugen. Erst in Echt, danach als virtueller dreidimensionaler Film, der sich interaktiv durch die Fragen der Zuschauenden abspulen lässt.

    • #4 Christian Meesters
      15. Januar 2020

      Danke.

      Auch das Leibmniz Rechenzentrum in München bietet übrigens viele Kurse rund um HPC und das Coden von Applikationen an.

      Davon gehe ich aus – leider kenne ich niemanden aus Eurer Gruppe und was / wen ich nicht kenne, mag ich nicht kommentieren.

  3. #5 Karl Mistelberger
    mistelberger.net
    21. Januar 2020

    > leider kenne ich niemanden aus Eurer Gruppe und was / wen ich nicht kenne, mag ich nicht kommentieren.

    Wenn es um Informationstechnik ging war ich immer kompromissloser Opportunist, denn es wurde nicht die Anwesenheitszeit sondern das Ergebnis erfasst. Aus diesem Grund habe ich immer die Selbstdarstellung der Leute überprüft und ein Kennenlernen erst bei positivem Ergebnis erwogen.

    Beim Leibniz-Rechenzentrum in Garching könnte es sich lohnen:

    https://doku.lrz.de/display/PUBLIC/Common+Topics+for+all+HPC+Systems

    • #6 Christian Meesters
      21. Januar 2020

      Sie gehen von der Prämisse aus, dass ich sogar die Seiten der Kollegen nicht kenne? Interessant.