AWS-Fallbeispiel: The Server Labs

Um Gaia bei der Verwirklichung dieses Ziels zu unterstützen, arbeitet das TSL-Team an der Astrometric Global Iterative Solution (AGIS) mit. Diese Lösung dient der Verarbeitung aller Beobachtungen des Satelliten (1 Milliarde Sterne x 80 Beobachtungen x 10 Ausgaben). Für diese Aufgabe ist eine enorme Datenmenge zu verarbeiten. Ein Beispiel für die Größenordnung dieses Projekts: Wenn die Verarbeitung eines Bildes eine Millisekunde dauert, würde die Verarbeitung dieser Datenmenge mit einem einzigen Prozessor 30 Jahre dauern. Daher entwickelte das Gaia-Team der ESA ein eigenes System für Grid-Computing/Verteiltes Rechnen, das auf Datenverarbeitungsfolgen basiert.

Zunächst testete das Gaia-Team die Technologie auf dem eigenen Cluster der ESA. Nach Schätzungen des Teams würde die interne Verarbeitung der aktuellen Daten etwa 1,5 Mio. EUR kosten. Doch die Datenmenge nahm jeden Monat und jedes Jahr zu. Eine skalierbarere, kostengünstigere Lösung war gefragt.

Paul Parsons, Gründer und CTO von The Server Labs, erklärt: "Bei der Größenordnung der Datenmengen und der nötigen Rechenleistung sowie aufgrund der Tatsache, dass die Verarbeitung für AGIS nicht fortlaufend ist, war dies ein idealer Kandidat für Cloud-Computing. Alle sechs Monate müssen wir alle Beobachtungen schnellstmöglich verarbeiten (in der Regel in zwei Wochen), und AWS konnte uns dabei helfen. Nach sorgfältiger Prüfung haben wir festgestellt, dass Amazon Web Services von allen öffentlichen Clouds die meisten Funktionen zu bieten hatte, und besonders begeistert waren wir vom Self-Service-Aspekt. Außerdem war AWS die einzige Cloud, auf der wir Oracle Database 11g ausführen können, ein wesentlicher Bestandteil unseres Datenverarbeitungssystems.”

The Server Labs schätzte, dass die Datenverarbeitung für 1 Milliarde Sterne mit Daten für 6 Jahre auf AWS 463.929 USD kosten würde. Dagegen würde es 972.147 USD kosten, die für die Analyse derselben Datenmenge in derselben Zeit nötige Anzahl von Servern zu erwerben. Hinzu kämen die Kosten für Bandbreite, Strom und Speicher. Anhand dieser Berechnungen erkannte TSL, dass das On-Demand-Modell von AWS günstiger und effizienter ist, als die Anschaffung und interne Wartung der Hardware.

Parsons erinnert sich an den Migrationsprozess: "Wir brauchten 20 Manntage, um die Software auf Amazon EC2 zu portieren, und der Großteil dieser Zeit entfiel auf die Konfiguration von Oracle. Um die Architektur auf AWS umzustellen, erstellten wir ein 64-Bit Amazon Machine Image (AMI), das Oracle Database 11g Enterprise Edition mit Hilfe von Automated Storage Management (ASM) auf Amazon Elastic Block Store (EBS) ausführte. Für die Grid-Software erstellten wir ein weiteres AMI, das drei verschiedene Arten von in AGIS verwendeten Datenfolgen ausführen kann. Da die gesamte Software in Java geschrieben ist, war dieser Prozess relativ problemlos. Für die Inbetriebnahme mussten wir nur vier Codezeilen ändern, um ein Thread-Synchronisierungsproblem zu beheben, das nur bei virtuellen Rechnern auftrat.”

Mittlerweile hat The Server Labs das gesamte Architekturlabor und die öffentliche Website auf die Cloud verschoben und spart schätzungsweise 60% der monatlichen Infrastrukturkosten. Weitere Informationen zum Gaia-Projekt finden Sie unter http://www.esa.int/science/gaia oder besuchen Sie The Server Labs unter http://www.theserverlabs.com.