Forschungsdatenverwaltung und Speicherung administrativer Daten
Es wurden zwei Hauptanwendungsfälle bestimmt. Für die Verwaltung von Forschungsdaten als auch die Speicherung rein administrativer Daten zu Audit-Zwecken wird eine standortferne Langzeitdatenspeicher-Lösung benötigt. Für die Verwaltung von Forschungsdaten lassen sich so Speicherpläne definieren, die den gesamten Lebenszyklus der betroffenen Daten abdecken. Die jeweiligen Einrichtungen können dann die nötigen Tools und die Infrastruktur bereitstellen, um eine adäquate Datenverwaltung zu ermöglichen. Über eine Archivierungsanwendung können Nutzer festlegen, welche Daten noch aktiv benötigt werden und welche archiviert werden können. Die archivierten Daten werden dann automatisch in den Langzeitspeicher verschoben, den SWITCH für die Institution bereitstellt.
Wird später ein Teil eines Datensatzes erneut benötigt, lässt sich dieser aus dem Langzeitspeicher abrufen und ohne Strafzahlung für den nochmaligen Abruf nutzen. Damit wird gewährleistet, dass die wissenschaftliche Notwendigkeit entscheidet, wie die Daten genutzt werden und nicht das Kostenmodell des Anbieters.
Für administrative Daten lässt sich die Langzeitspeicherung mit konventionellen Datensicherungslösungen kombinieren. Es werden regelmässige Kopien der Daten erstellt und in den Langzeitspeicher migriert. Zugriffsprotokolle schaffen Transparenz damit im Hinblick auf Audits und Gesetzesvorschriften nachgewiesen werden kann, dass die Daten nicht verändert wurden.
Einheitliche Schnittstelle, standortfremde Speicherung und Datensicherheit
Gemeinsame Anforderungen von beiden Anwendungsfällen sind die Notwendigkeit einer einfachen, einheitlichen Schnittstelle, geografischer Unabhängigkeit vom Primärdatenstandort sowie von Massnahmen zur Gewährleistung der Datensicherheit. Im Vergleich zur Echtzeitdatenspeicherung mit SWITCHengines wurde auch ein günstigeres Preis-Leistungs-Verhältnis für tiefere Performance Anforderungen angestrebt.
Eine einheitliche Schnittstelle ist wichtig, damit die Speicherebene eine grosse Bandbreite möglicher Archivierungs-Tools und -Systeme unterstützt. Standard ist heute ObjectStorage, insbesondere S3 basierend auf AWS. Diese Schnittstelle wurde letztlich als einzige Lösung ausgewählt. Objekte werden auf der Grundlage eines Identifikators gespeichert oder abgerufen und müssen nicht auf einem direkt mit der Anwendung verbundenen Dateisystem platziert werden. Die konventionelle Block- oder Volumenspeicherung mit SWITCHengines ist zwar leistungsfähiger, doch im vorliegenden Fall wird mehr Wert auf Nachhaltigkeit und Skalierbarkeit gelegt. Die Einfachheit einer einzigen Schnittstelle ermöglicht es, Kosten zu reduzieren.
Datensicherheit bedeutet, dass die Datenspeicherung bei der Langzeitspeicherlösung von SWITCH an einem Standort erfolgt, der weder dem Ort der Datengenerierung noch SWITCHengines entspricht. Damit lassen sich Daten von SWITCHengines-Nutzern sicher archivieren, wenn sie nicht mehr aktiv benötigt werden. Die Plattforminfrastruktur bezieht SWITCH von Cloudian und ergänzt Ceph auf SWITCHengines: die Verfügbarkeit beider Softwarelösungen sorgt für optimale Flexibilität und Stabilität. Schliesslich wurde noch ein Erasure-Code-Array gewählt, mit dem sich die Daten auch beim Ausfall mehrerer Festplatten wiederherstellen lassen.
Während der Entwicklungsphase haben die EPFL und das DLCM-Projekt bereits Tests an einer Zwischenlösung durchgeführt. Ende September 2019 soll nun das gesamte System in Betrieb gehen und getestet werden. Pilotnutzer sind noch immer willkommen. Der Dienst wird ab dem vierten Quartal 2019 für den normalen Betrieb angeboten und ist zum Projektpreis erhältlich. Per 2020 wird die Lösung dann als eigenständige Dienstleistung in die Tarifstruktur von SWITCH integriert.
