Le Met Office, dont le siège social est situé à Exeter, en Angleterre, est un service météorologique national, reconnu et respecté au Royaume-Uni. Fonds de placement au sein du Département des Affaires, de l'Energie et des Stratégies industrielles, l'organisme fournit des informations météorologiques depuis plus de 160 ans. Les services fournis incluent, notamment, des prévisions sur sept jours, des cartes de pression atmosphérique, des prévisions polliniques, des prévisions météorologiques à long terme et bien plus. Il fournit des informations essentielles aux secteurs de la défense, de l'énergie, des transports, de la sécurité civile et de l'aéronautique. Le Met Office est également une source d'envergure internationale dans le domaine du changement climatique et endosse un rôle épicentrique au Royaume-Uni en matière de climatologie. 

Le Met Office utilise deux superordinateurs (la onzième plus grande installation de ce type au monde), dans un environnement local équipé de modèles météorologiques numériques qui appliquent les lois physiques sur plus de 300 millions d'observations recueillies chaque jour. Chaque jour, l'organisation effectue 20 000 billions de calculs et génère plus de 4 millions de prévisions.

Les données météorologiques sont stockées et traitées sur place. Toutefois, le Met Office recherchait une solution flexible et rentable pour permettre aux citoyens, aux entreprises et aux gouvernements de consommer ses informations à la demande. L'installation locale constitue un environnement particulièrement sophistiqué, complexe à protéger et à accréditer. « Le plus difficile a été de transformer cette quantité astronomique de données en informations utilisables et communicables, qui peuvent être transférées au sein d'une architecture extrêmement sécurisée », explique James Tomkins, Directeur de l'architecture informatique d'entreprise, chez Met Office.

Afin d'améliorer la flexibilité et la souplesse de son infrastructure locale, le Met Office, qui dispose d'un exaoctet (1 000 000 000 000 000 000 octets) de données d'archives en local, a recherché une solution permettant d'envoyer des charges de données aux utilisateurs qui consomment ces informations à l'aide d'appareils tels que les tablettes et smartphones. Il lui fallait alors trouver une solution capable de s'adapter en cas d'événements entraînant un trafic important, comme la tempête Katie, en mars 2016. Cette tempête a frappé Londres avec des bourrasques de vent atteignant 96,5 km/h, provoquant l'annulation de dizaines de vols. Il a entraîné une augmentation de 200 % du trafic de visiteurs sur le site du Met Office.

De plus, le Met Office doit répondre aux demandes d'accès aux données atmosphériques et climatologiques provenant de tierces parties. Par exemple, le secteur de l'aéronautique est l'un des plus gros consommateurs de données météorologiques et ne peut pas fonctionner sans ces dernières. En plus de la demande croissante des diverses entreprises commerciales et gouvernementales, le Met Office doit aussi échanger des quantités importantes de données au sein de la communauté météorologique, qui s'appuie sur une forte collaboration.

« Ces dix dernières années ont nourri une révolution dans la manière dont les gens assimilent les informations météorologiques, déclare James Tomkins. Les gens commencent à réaliser l'impact du changement climatique et des phénomènes météorologiques sur leurs activités. Ces nouveaux cas d'utilisation impliquent notamment des entités variées, comme des sociétés de vente ou des entreprises spécialisées dans les énergies renouvelables, qui souhaitent comprendre l'impact des informations météorologiques sur leur marché. » 

Pendant l'élaboration de sa stratégie en matière de technologie, le Met Office a choisi Amazon Web Services (AWS) pour soutenir l'application Met Office Weather, disponible sur iPhone et téléphones Android. « En choisissant AWS, nous avons procédé de manière tactique, avant tout, affirme James Tomkins. C'était pour nous la seule manière de fournir ce service. Toutes les données accessibles depuis l'application sont hébergées sur AWS. »

L'architecture AWS de l'organisation inclut Amazon Elastic Compute Cloud (Amazon EC2), un service Web qui évolue automatiquement et permet à Met Office de garder le contrôle total de ses ressources de calcul. Le Met Office utilise également AWS Lambda, qui permet d'exécuter un code de backend sans avoir à allouer de serveurs. Lambda répond aux événements, comme l'importation d'objets dans des compartiments dans Amazon Simple Storage Service (Amazon S3), les mises à jour de tables dans Amazon Relational Database Service (Amazon RDS) ou l'activité intégrée à l'application.

Pour répondre aux demandes météorologiques au volume de lecture important dans un contexte de trafic intensif, le Met Office a déployé Amazon ElastiCache, qui récupère les données à partir de caches en mémoire opérés et rapides. Cette technologie est utilisée pour créer des systèmes distribués de collecte de données et gérer les statistiques en temps réel et les métadonnées associées aux applications mobiles. C'est le système idéal pour les solutions impliquant des calculs mathématiques complexes, car il peut mettre en cache des résultats computationnels.

Récemment, l'organisme a commencé à explorer Amazon API Gateway pour créer, publier, surveiller et sécuriser une série d'API de données dont le but est de faciliter le partage dynamique de contenu, comme les prévisions mondiales sur sept jours spécifiques au site, le contenu syndiqué et les alertes en cas d'intempéries violentes au Royaume-Uni. Les utilisateurs peuvent personnaliser leur consommation en matière de prévision.

Depuis son lancement en janvier 2016, l'application Met Office Weather a séduit plus d'un demi-million d'utilisateurs. « Nous réfléchissons sérieusement à une nouvelle solution pour utiliser le Cloud de manière plus stratégique, explique James Tomkins. Les API que nous sommes en train de créer vont soutenir toutes nos activités de transfert de données et seront amenées à remplacer le modèle de transfert basé sur le protocole FTP que nous utilisons habituellement. »

L'organisme a recruté Cloudreach, un partenaire AWS Premier, afin de soutenir les opérations relatives à l'application Met Office Weather. Grâce au framework Amazon relatif à l'adoption du cloud, le Met Office a pu constater qu'il lui restait une certaine marge d'amélioration en termes de maturité de Cloud. L'organisme a donc fait appel aux conseillers de Cloudreach pour optimiser ses capacités internes. « Nous avons fait appel à Cloudreach pour améliorer la prestation de nos services, explique James Tomkins. Nous avons pu accélérer le processus de maturité de nombreux aspects du cloud. »

Désormais, le Met Office dispose d'une équipe chargée des opérations cloud, composée de cinq spécialistes. Au cours des mois à venir, l'organisation cherchera à optimiser les dépenses en explorant les modèles tarifaires des instances réservées Amazon EC2 et les composants sans serveurs. Elle envisage d'adopter Amazon EC2 Container Service (Amazon ECS) pour exécuter ses applications sur un cluster opéré d'instances Amazon EC2. La prochaine architecture cloud itérative de Met Office s'intéressera à l'utilisation d'Amazon Direct Connect pour connecter les sorties de superordinateur au cloud, en toute sécurité.

Grâce à AWS, le Met Office a pu augmenter ses performances en matière de flexibilité, de vitesse et d'évolutivité, tout en réduisant ses coûts. James Tomkins affirme que l'allocation des infrastructures se compte désormais en minutes, alors qu'il fallait plusieurs mois auparavant, et que le transfert des données vers les clients ne prend plus que 10 secondes, contre 10 minutes autrefois. « Le stockage de données peut désormais s'agrandir de manière presque linéaire sur 1 000 %, alors que l'ancienne architecture ne permettait qu'une augmentation de 50 %, ajoute-t-il. En outre, l'itération de notre architecture a permis de réduire de plus de 50 % le coût de design initial de notre solution locale. »

L'organisme fait entièrement confiance au système de protection des données et l'équipe d'accréditation est ravie des performances de surveillance et d'audit des outils d'AWS, pour un niveau de maturité que le Met Office n'aurait pas pu produire à ce prix. « Plusieurs schémas de sécurité conformes aux bonnes pratiques sont possibles en un appel d'API, explique James Tomkins. Nous pouvons scripter et automatiser de façon à atteindre un niveau de cohérence élevé. Il est possible d'isoler les systèmes et d'en contrôler l'accès de manière stricte. Ces capacités sont plus difficiles à atteindre dans notre environnement interne, mais avec AWS, cela est possible grâce à une solution prête à l'emploi. »

Le Met Office tire profit des services AWS pour mettre en service son infrastructure et déployer des applications sur cette infrastructure. L'automatisation des charges de travail normalement chronophages permet d'itérer et de publier de nouvelles applications 30 fois plus souvent. C'est une opportunité révolutionnaire. De plus, le Met Office peut évoluer rapidement en cas d'augmentation de la charge de travail et arrêter les ressources qui ne sont plus utiles. « Avec AWS, nous pouvons nous adapter afin de distribuer et de servir de grandes quantités de données à un grand nombre d'ordinateurs », déclare James Tomkins.

En adoptant AWS, le Met Office a pu innover et expérimenter comme jamais auparavant. Par exemple, en une seule journée, l'organisation a pu facilement comparer les performances et la rentabilité de trois solutions AWS de stockage backend différentes. « Nous n'aurions jamais pu comparer ces trois options localement, en raison des délais requis, explique James Tomkins. Avec AWS, nous pouvons facilement allouer ces services, procéder à des tests et les désactiver. Sans le cloud, il nous aurait fallu des mois (et pour être honnête, nous ne l'aurions même jamais fait). Aujourd'hui, nous pouvons faire des erreurs et essayer de nouvelles architectures, sans conséquence dramatique. »

Dans un monde marqué par les ruptures technologiques, où les nouvelles opportunités incluent l'Internet des objets, les analyses de Big Data et l'apprentissage automatique, le secteur de la météorologie s'intéresse tout particulièrement aux innovations. « Nous recueillons et générons des volumes colossaux de données, dont l'usage reste restreint si nous ne proposons pas de services capables de fournir des informations consommables, explique James Tomkins. Nous devons faire preuve d'innovation pour rester en adéquation avec les personnes qui consomment nos données. Nous utilisons le cloud AWS pour encourager la mise à disposition des informations météorologiques personnalisables pour le grand public. » 

Pour savoir comment AWS peut vous aider à gérer le Big Data, consultez notre page consacrée au Big Data.