Mit Sitz in Exeter, England, ist das Met Office ein national renommierter Wetterdienst in Großbritannien. Als im Department of Business, Energy & Industrial Strategy, angesiedelter Handelsfond stellt die Organisation schon seit mehr als 160 Jahren Wetterinformationen bereit, unter anderem 7-Tages-Wettervorhersagen, Luftdruckkarten, Pollenflugvorhersagen, Langzeitwetterprognosen und vieles mehr. Die Organisation stellt öffentlichen Behörden und Wirtschaftszweigen wie dem Verteidigungsministerium, Verkehr und Energie, Katastrophenschutz und der Luftfahrt wichtige Daten bereit. Darüber hinaus liefert das Met Office international anerkannte Daten zum Klimawandel und ist als solches im Vereinigten Königreich primäre Anlaufstelle der Klimawissenschaft. 

Das Met Office nutzt für den Betrieb zwei operationelle Supercomputer – in Größe und Skalierung stehen diese weltweit an elfter Stelle vergleichbarer Systeme. Diese sind in einer lokalen Umgebung implementiert, in der die Gesetze der Physik in nummerischen Wettermodellen durch täglich mehr als 300 Millionen Wetterbeobachtungen gespeist werden. Täglich führt die Organisation 20 Billiarden Berechnungen aus, durch die mehr als 4 Millionen Vorhersagen generiert werden.

Die meteorologischen Daten werden vor Ort gespeichert und verarbeitet. Allerdings benötigte das Met Office eine agile und kostengünstige Methode, durch die nicht nur Unternehmen und Regierungsbehörden, sondern ein jedermann seine Daten nach Bedarf abrufen konnte. Seine lokale Implementierung ist eine aufwändige Umgebung mit allen Raffinessen, deren Sicherheit und Akkreditierung eine Herausforderung darstellt. "Der schwierige Teil ist die Umsetzung dieser riesigen Datenmengen in brauchbare und kommunizierbare Informationen, die in einer hochsicheren Architektur übertragen werden können", meint James Tomkins, Leiter der unternehmenseigenen IT-Architektur bei Met Office.

Zur Erhöhung der Agilität und Flexibilität seiner lokalen Infrastruktur suchte das Met Office – das lokal ein Exabyte (1018 Bytes) an Archivdaten speichert – eine Möglichkeit, große Datenmengen an Nutzer zu senden, die diese Informationen auf Geräten wie Tablets und Smartphones konsumieren. Die Lösung musste auch dem erhöhten Datenverkehr bei Ereignissen wie Sturmtief "Katie" im März 2016 standhalten können. Dieser Sturm, mit Böen um die 100 km/h über London, aufgrund dessen Dutzende von Flügen storniert werden mussten, bescherte dem Office einen Ansturm von 200 Prozent mehr Besuchern auf seiner Website.

Das Met Office muss auch Anfragen von Dritten bedienen, die Zugang zu atmospherischen und klimatischen Daten benötigen. So ist die Luftfahrtindustrie einer der größten Konsumenten meteorologischer Daten – ohne diese Daten wäre ein Flugbetrieb nicht denkbar. Neben der wachsenden Nachfrage der verschiedensten kommerziellen und öffentlichen Organisationen ist es dem Met Office auch ein Anliegen, große Mengen an Daten mit der überaus kollaborativen meteorologischen Community auszutauschen.

"Innerhalb des letzten Jahrzehnts hat sich die Art, wie die Menschen über Wetterinformationen denken, geradezu revolutioniert", so Tomkins. "Die Menschen beginnen zu verstehen, welche Auswirkung Klimawandel und Wetterereignisse auf ihre Geschäfte haben. Zu den neuen Anwendungsfällen kann alles gehören vom Einzelhandel zu Unternehmen der EE-Branche –Organisationen, die analysieren möchten, wie sich meteorologische Informationen auf das Verhalten in ihrem Marktsektor auswirken." 

Beim Festzurren seiner technologischen Strategie entschied sich das Met Office für Amazon Web Services (AWS) als Unterstützung seiner Weather App für iPhone- und Android-Smartphones. "Die Festlegung auf AWS war zunächst eine taktische Entscheidung", meint Tomkins. "Es war die einzige Möglichkeit, die wir sahen, die diesen Service bereitstellen konnte. Alle Daten, auf die die App zugreift, werden auf AWS bereitgestellt."

Die AWS-Architektur der Organisation umfasst Amazon Elastic Compute Cloud (Amazon EC2), ein automatisch skalierter Web-Service, der Met Office vollständige Kontrolle über seine Rechenressourcen überlässt. Außerdem nutzt das Met Office AWS Lambda, mit dem die Organisation Back-End-Code ohne Bereitstellung eigener Server ausführen kann. Lambda reagiert auf Ereignisse einschließlich dem Hochladen von Objekten in Buckets in Amazon Simple Storage Service (Amazon S3), Tabellenaktualisierungen in Amazon Relational Database Service (Amazon RDS) oder App-interne Aktivitäten.

Um bei wetterabhängigen Spitzenbelastungen auf leseintensive Abfragen reagieren zu können, implementierte das Met Office Amazon ElastiCache, um Daten aus schnellen, verwalteten In-Memory-Caches abrufen zu können. Diese Technologie wird zur Entwicklung verteilter Datenerfassungssysteme sowie zur Verarbeitung von Echtzeitstatistiken und Metadaten aus mobilen Anwendungen genutzt. Sie eignet sich perfekt für Lösungen, die auf komplexe mathematische Berechnungen zurückgreifen, da sie Rechenergebnisse zwischenspeichern kann.

Erst kürzlich begann die Organisation, Amazon API Gateway zu testen. Damit sollen eine Reihe von Daten-APIs erstellt, veröffentlicht, überwacht und geschützt werden, die den dynamischen Austausch von Inhalten wie weltweite standortspezifische 7-Tages-Vorhersagen, syndizierte Inhalte und Wetterwarnungen innerhalb des Vereinigten Königreichs ermöglichen sollen. Dabei erhalten die Nutzer die Möglichkeit, Ihre Prognosen zu personalisieren.

Seit der Live-Schaltung seiner Weather App im Januar 2016 erreichte das Met Office über seine App mehr als eine halbe Millionen Nutzer. "Wir machen uns bereits intensiv Gedanken, wie wir die Cloud strategischer nutzen können", meint Tomkins. "Die APIs, die wir jetzt entwickeln, übersteigen alles, was wir bislang mit unserem FTP-basierten Bereitstellungsmodell erreicht haben."

Als Unterstützung für den Betrieb seiner Weather App engagierte Met Office AWS Premium-Partner Cloudreach. Mithilfe von Amazon Cloud Adoption Framework stellte das Met Office fest, dass sein Spielraum in puncto Cloud-Reife noch groß ist. Daher beauftragte es Cloudreach mit der Optimierung seiner internen Kapazitäten. "Cloudreach unterstützte uns bei der Bereitstellung unserer Services", sagt Tomkins," und so konnten wir unsere Entwicklung in den verschiedensten Disziplinen der Cloud beschleunigen."

Heute verfügt das Met Office über ein Cloud Operations-Team mit fünf Spezialisten. Die Organisation möchte seinen Kostenaufwand noch optimieren und hierzu in den kommenden Monaten die Preismodelle von Amazon EC2 mit Reserved Instances wie auch serverlose Komponenten testen. Hierzu plant sie auch den Einsatz von Amazon EC2 Container Service (Amazon ECS) für die Ausführung von Anwendungen in einem verwalteten Cluster aus Amazon EC2 Instances. In einem nächsten Schritt zur Weiterentwicklung seiner Cloud-Architektur wird sich die Organisation mit der Nutzung von Amazon Direct Connect für die sichere Verbindung ihrer Supercomputer-Ausgaben mit der Cloud befassen.

Durch den Umstieg auf AWS konnte das Met Office – bei gleichzeitiger Kostensenkung – seine Agilität, Geschwindigkeit und Skalierbarkeit erhöhen. Die Infrastrukturbereitstellung ist laut Tomkins innerhalb weniger Minuten möglich – statt bisher Monaten –, und die Datenübertragung an die Kunden dauert statt der bisherigen 10 Minuten nur noch 10 Sekunden. "Unser Datenspeicher skaliert sich nun nahezu linear um 1 000 Prozent. Unsere bisherige Architektur schaffte dagegen nicht einmal eine 50-prozentige Steigerung", erklärt Tomkins. "Durch die Iteration unserer Lösungsarchitektur konnten wir gegenüber unserem ursprünglichen lokalen Lösungskonzept 50 Prozent der Kosten einsparen."

Die Organisation ist zuversichtlich, dass ihre Daten sicher sind, und ihr Akkreditierungsteam ist begeistert über die Überwachungs- und Prüfoptionen der AWS-Tools – die einen Reifegrad bieten, den das Met Office zu diesem Preis auf andere Weise nicht erreicht hätte. "Verschiedene Sicherheitsmuster nach bewährten Verfahren sind bereits über einen einfachen API-Aufruf verfügbar," meint Tomkins. "Scripting und Automatisierung sind mit einem hohen Grad an Konsistenz möglich. Wir können einzelne Systeme isolieren und den Zugriff streng kontrollieren. Diese Features, die in unserer internen Umgebung nur mühsam zu implementieren wären, stehen uns bei AWS standardmäßig zur Verfügung."

Das Met Office nutzt die Vorteile der AWS-Services zur Bereitstellung seiner Infrastruktur und zur Implementierung von Anwendungen innerhalb dieser Infrastruktur. Dank der Automatisierung bislang zeitaufwändiger Arbeitslasten gelang es der Organisation, Iteration und Veröffentlichung neuer Anwendungen um das 30fache zu beschleunigen – eine Opportunity, die die Karten völlig neu mischt. Zudem kann das Met Office seine Kapazitäten im Handumdrehen erweitern und ebenso nicht mehr benötigte Ressourcen wieder stilllegen. "Mit AWS können wir unsere Kapazitäten jederzeit hochskalieren, um große Mengen an Daten zu veröffentlichen und für zahlreiche Computer bereitzustellen", so Tomkins.

Der Umstieg auf AWS bietet dem Met Office auch Experimentiermöglichkeiten, durch die Innovation auf völlig neuem Niveau möglich ist. So gelang es der Organisation beispielsweise innerhalb nur eines Tages, das Leistung und Kosteneffizienz dreier verschiedener AWS-Back-End-Speicherlösungen zu vergleichen. "Aufgrund der langen Vorlaufzeiten wäre ein lokaler Vergleich dieser Optionen unmöglich gewesen", sagt Tomkins. "Mit AWS konnten wir diese Services problemlos bereitstellen, unsere Tests durchführen und die Services anschließend wieder entfernen. Ohne Cloud hätte dies Monate gedauert – aber dann hätten wir es ehrlich gesagt auch gar nicht gemacht. Nun können wir in unsere Tests auch Außenseiter einschließen und unsere Architektur schnell und günstig weiterentwickeln."

In einer Welt technologischer Umwälzungen, mit einer Landschaft neuer Gelegenheiten wie dem Internet of Things, Big Data-Analysen und maschinellem Lernen, ist Innovation auch für das Gebiet der Meteorologie von größtem Interesse. "Wir erfassen und generieren riesige Datenmengen, die den Menschen nur wenig nützen, wenn wir nicht auch Services bieten, die diese Daten als konsumierbare Informationen bereitstellen", meint Tomkins. "Wir sind also zur Innovation gezwungen, wenn wir mit der Art des modernen Datenkonsums Schritt halten möchten. Dabei nutzen wir, um dem breiten Markt anpassbare Wetterinformationen zur Verfügung zu stellen, die AWS-Cloud." 

Weitere Informationen dazu, wie AWS Sie bei der Verwaltung von Big Data unterstützen kann, finden Sie auf unserer Detailseite zu Big Data.