Dask-Graph für eine Rechnung auf Daten, die die Kapazität des Arbeitsspeichers überschreiten.
Ozean- und Klimasimulationen nutzen die volle Rechenkapazität moderner Hochleistungsrechner (HPC) und produzieren dabei Datensätze, die zu den Größten der wisschenschaftlichen Welt gehören. Daten dieses Umfanges (bis zu mehrere Hundert Terabyte je Modellsimulation) zu speichern, zu verwalten und einer Versionskontrolle zu unterziehen ist sehr anspruchsvoll. Darüber hinaus werden auch für die Analyse dieser Datenmengen enorme Ressourcen benötigt.
Um mit solch großen Datensätzen sinnvoll wissenschaftlich arbeiten zu können, entwickeln und nutzen wir Methoden für Marine Big-Data auf großen verteilten Rechnersystemen und entwerfen und betreiben Plattformen für Datenanalyse, auf Servern am GEOMAR, auf HPC-Systemen, und in der Cloud. Da die Entwicklung von Open-Source-Werkzeugen für Big-Data-Analyse eine Aufgabe ist, die gesamte wissenschaftliche Gemeinschaft über verschiedene internationale Arbeitsgruppen umfasst, hat sich die Abteilung für Ozeandynamik eine umfassende Expertise in der Software-Entwicklung und der software-bezogenen Projektleitung erarbeitet.
Diese Erfahrungen geben wir im Rahmen von methodischen und anwendungsbezogenen Weiterbildungen zur Analyse und zum Management von Marine Big Data und zur Softwareentwicklung weiter. So helfen wir anderen GEOMAR-Mitarbeiterinnen und Mitarbeiter und der wissenschaftlichen Gemeinschaft, hohe methodische Standards zu entwickeln und / oder aufrecht zu erhalten.
Die wissenschaftliche Arbeit der Forschungseinheite Ozeandynamik sind an den folgenden Projekten federführend beteiligt:
Helmholtz School for Marine Data Science (MarDATA): defining and educating “marine data scientists”
ExaESM WP4: Interactive Analysis on HPC-Systemen
ESM Virtual Field Campaigns: Developing processing tools and platforms for analysing ocean-model data in observational contexts
