Gekoppeltes Speichersystem für die effiziente Verwaltung selbst-beschreibender Datenformate

Die Informationstechnologie wurde in den vergangenen Jahrzehnten immer wichtiger für die Gesellschaft. Insbesondere in der wissenschaftlichen Forschung können dadurch zunehmend komplexe Probleme gelöst werden, die heutzutage die Rechenleistung von Supercomputern benötigen. Die wachsende Komplexität der Fragestellungen sowie die steigende Rechenleistung führen dabei zu immer größer werdenden Datenmengen; die weltweit produzierte Datenmenge verdoppelt sich ungefähr alle zwei Jahre, was zu einem exponentiellen Wachstum führt. Dies führt zu Problemen, da die Verbesserung der Speicher- und Netzwerktechnologie deutlich langsamer voranschreitet. Das Resultat ist eine immer größer werdende Lücke zwischen der Leistungsfähigkeit von Rechen- und Speichergeräten, die zu einem Flaschenhals bei der Datenverwaltung führt. Dies betrifft insbesondere große Speichersysteme, wie sie im Hochleistungsrechnen genutzt werden. Um diese Situation zu verbessern, wird eine Hierarchie unterschiedlicher Speichergeräte eingesetzt, um sowohl die Kapazitäts- als auch die Geschwindigkeitsanforderungen zu erfüllen. Indem die Vorteile unterschiedlicher Speichertechnologien vereint werden, können einerseits die Leistung erhöht und andererseits die Kosten für Anschaffung, Betrieb und Wartung reduziert werden. Für zukünftige Exascale-Systeme werden sich diese Probleme noch verschärfen, weswegen signifikante Verbesserungen notwendig werden, um die Leistungsfähigkeit solcher Systeme ausnutzen zu können. Die existierende E/A-Softwareumgebung verursacht zusätzliche Probleme bei der Leistungsfähigkeit und Datenverwaltung.
Die produzierten Daten werden typischerweise mithilfe selbst-beschreibender Datenformate gespeichert, um den Austausch und die Analyse in der wissenschaftlichen Gemeinschaft zu ermöglichen. Das Ziel des Projektes ist es, die Vorteile eines Speichersystems, das enger mit solchen Datenformaten gekoppelt ist, zu untersuchen. Im Rahmen des Projektes wird ein neuartiges hybrides Speichersystem entworfen, das Technologien aus dem Hochleistungsrechnen und den Datenbanksystemen nutzt. Durch die Kopplung können strukturelle Informationen genutzt werden, um passende Speichertechnologien und -hierarchiestufen auszuwählen. Da solche Informationen momentan nicht verfügbar sind, müssen existierende Speichersysteme auf Heuristiken zurückgreifen, die zu suboptimaler Leistung und unnötigen Datenbewegungen führen. Darüber hinaus wird das Speichersystem anpassbare E/A-Semantiken unterstützen, um Anwendungs- und Datenformatsanforderungen besser erfüllen zu können. Zusammengenommen werden diese Änderungen neuartige Datenverwaltungsansätze und Leistungssteigerungen ermöglichen. Existierende Abläufe wissenschaftlicher Nutzer werden mithilfe einer Datenanalyseschnittstelle unterstützt. Alle Änderungen werden ausführlich getestet, um Rückwärtskompatibilität zu garantieren. Es werden keine Änderungen notwendig sein, um existierende Anwendungen auf Basis von CoSEMoS auszuführen.