Com sede em Exeter, na Inglaterra, o Met Office é um serviço meteorológico nacional altamente respeitado no Reino Unido. Um fundo comercial (trading fund) dentro do Department of Business, Energy & Industrial Strategy, a organização disponibiliza informações meteorológicas há mais de 160 anos, inclusive previsões climáticas durante os sete dias da semana, previsões de pólen, bem como panoramas meteorológicos de longo prazo. Ele disponibiliza dados essenciais para setores como defesa, energia, transporte, contigência civil e aviação. O Met Office também disponibiliza orientações de altíssimo nível sobre a ciência por trás das alterações climáticas e é o foco principal da ciência climática no Reino Unido. 

O Met Office usa dois supercomputadores operacionais (sendo esta a 11ª maior implementação deste tipo no planeta) em um ambiente local que apresenta modelos meteorológicos numéricos que aplicam as leis da física para mais de 300 milhões de observações coletadas diariamente. A cada dia, a organização executa 20 quadrilhões de cálculos e gera mais de quatro milhões de previsões.

Os dados meteorológicos eram armazenados e processados localmente, mas o Met Office precisava de uma maneira ágil e econômica de possibilitar aos cidadãos, às empresas e aos governos o consumo sob demanda de seus dados. Sua implementação local é um ambiente especialmente complexo, além de ser difícil de proteger e credenciar. "A parte difícil é transformar aquela enorme quantidade de dados em informações úteis e comunicáveis que possam ser transferidas em uma arquitetura altamente segura", comenta James Tomkins, Diretor de arquitetura de TI empresarial do Met Office.

Para aumentar a agilidade e a flexibilidade em sua infraestrutura local, o Met Office (que tem um exabyte [1.018 bytes] de dados de arquivo localmente) buscava uma maneira de enviar cargas de dados aos usuários que consumiam informações usando dispositivos, como tablets e smartphones. Ele precisava de uma solução cuja escala pudesse ser ajustada para atender a eventos de tráfego elevado, como a tempestade Katie em março de 2016. Quando houve essa tempestade, que levou a Londres rajadas de ventos de 60 milhas por hora, resultando em dezenas de voos cancelados, o Met Office enfrentou um aumento de 200% no tráfego de visitantes.

O Met Office também precisa responder a terceiros que solicitam acesso a dados atmosféricos e climáticos. Por exemplo, o setor de aviação é um dos maiores consumidores de dados meteorológicos e não pode operar sem eles. Juntamente à demanda crescente de todos os tipos de entidades comerciais e governamentais, o Met Office também precisa trocar grandes quantidades de dados com a comunidade meteorológica, que é considerada altamente colaborativa.

"Na última década, houve uma revolução na maneira como as pessoas pensam sobre as informações meteorológicas", diz Tomkins. "As pessoas estão começando a entender o impacto das alterações climáticas e dos eventos meteorológicos em suas atividades. Os novos casos de uso podem envolver de tudo, abrangendo de operações de varejo a empresas de energia renovável. São empresas que desejam analisar como as informações meteorológicas afetam o comportamento nos seus nichos de mercado." 

Ao determinar sua estratégia tecnológica, o Met Office escolheu a Amazon Web Services (AWS) para apoiar o Met Office Weather App, disponível para telefones iPhone e Android. "A escolha da AWS foi, inicialmente, tática", comenta Tomkins. "Ela era a única saída que conseguíamos enxergar para a disponibilização deste serviço. Todos os dados que podem ser acessados por meio da aplicação estão hospedados na AWS."

A arquitetura da AWS da organização inclui o Amazon Elastic Compute Cloud (Amazon EC2), um web service que ajusta a escala automaticamente e disponibiliza ao Met Office o controle completo de seus recursos de computação. O Met Office também usa o AWS Lambda, o que possibilita que a organização execute código de back-end sem provisionar servidores. O Lambda responde a eventos, como uploads de objetos em buckets no Amazon Simple Storage Service (Amazon S3), atualizações nas tabelas do Amazon Relational Database Service (Amazon RDS), além de atividades na aplicação.

Para responder ao pico nas demandas de consultas relacionadas a condições meteorológicas com uso elevado de leitura, o Met Office implantou o Amazon ElastiCache para recuperar dados de caches rápidos e gerenciados de memória. Esta tecnologia é usada para criar sistemas de coleta de dados, bem como trabalhar com estatísticas em tempo real e metadados associados a aplicações móveis. Ela é ideal para soluções que envolvam cálculos matemáticos complexos, pois tem a capacidade de armazenar os resultados em cache.

Recentemente, a organização começou a explorar o Amazon API Gateway para criar, publicar, monitorar e proteger uma série de APIs de dados que facilitem o compartilhamento dinâmico de conteúdo. Esses dados abrangem previsões com localização específica durante os setes dias da semana para cidades em todo o mundo, conteúdo sindicado e alertas de tempo severo no Reino Unido. Os usuários podem personalizar o consumo da previsão meteorológica.

Desde que foi lançado em janeiro de 2016, o Met Office Weather App já atraiu mais de meio milhão de usuários. "Estamos pensando seriamente em como usar a nuvem mais estrategicamente", diz Tomkins. "As APIs que agora estamos criando vão sustentar toda nossa entrega de dados após migrarmos do nosso antigo modelo de entrega baseado em FTP."

A organização envolveu a Cloudreach, um parceiro Premier da AWS, para apoiar operações do Met Office Weather App. Ao usar o Amazon Cloud Adoption Framework, o Met Office determinou que havia espaço para aumentar a maturidade de sua nuvem, por isso, a organização envolveu os consultores da Cloudreach para otimizar recursos internos. "Usamos a Cloudreach para nos ajudar a disponibilizar nossos serviços", diz Tomkins, "portanto, conseguimos acelerar a maturidade de várias disciplinas no ambiente de nuvem."

Agora, o Met Office tem uma equipe de operações de nuvem com cinco especialistas. A organização pretende otimizar os custos ao explorar os modelos de definição de preço reservado e componentes sem servidor do Amazon EC2 nos próximos meses. Ela planeja adotar o Amazon EC2 Container Service (Amazon ECS) para executar aplicações em um cluster gerenciado de instâncias do Amazon EC2. A próxima arquitetura de nuvem de iteração do Met Office explorará o uso do Amazon Direct Connect para conectar de modo seguro saídas de supercomputador para a nuvem.

Ao usar a AWS, o Met Office conseguiu aumentar a agilidade, a velocidade e a escalabilidade, além de reduzir custos. Tomkins relata que, agora, o provisionamento da infraestrutura deixou de ser feito em meses, sendo concluído em minutos, bem como a obtenção de dados para um cliente é realizada em dez segundos, em vez de em dez minutos. "Nosso armazenamento físico de dados agora tem um ajuste de escala quase que linear de 1.000%, em contraponto à arquitetura anterior que não podia sustentar sequer um aumento de 50%", comenta Tomkins. "Além disso, a iteração da arquitetura da nossa solução removeu mais de 50% do custos do projeto inicial da solução local."

A organização acredita na segurança de seus dados e sua equipe de credenciamento está entusiasmada quanto aos recursos de monitoramento e auditoria disponibilizados por ferramentas da AWS, que apresentam um nível de maturidade que o Met Office não poderia oferecer de modo tão econômico. "Vários padrões de melhores práticas de segurança podem ser atingidos com uma simples chamada de API", diz Tomkins. "Podemos criar o script e automatizar para obter um nível elevado de uniformidade. Também é possível isolar sistemas e controlar rigorosamente o acesso. Esses recursos são mais difíceis de obter no nosso ambiente interno, mas na AWS eles estão disponíveis prontamente."

O Met Office utiliza os Serviços da AWS para provisionar a infraestrutura e implantar aplicações nela. A automação de cargas de trabalho que normalmente são demoradas permite que a organização itere e lance novas aplicações com uma frequência 30 vezes maior, o que significa uma excelente oportunidade. Além disso, o Met Office pode aumentar sua escala rapidamente quando a carga de trabalho aumentar e, depois, desativar recursos que não sejam mais necessários. "Com a AWS, podemos ajustar a escala para distribuir uma grande quantidade de dados para um número elevado de computadores", comenta Tomkins.

Ao adotar a AWS, o Met Office conseguiu inovar e fazer testes em um nível que antes não seria possível. Por exemplo, em um dia, a organização comparou facilmente a performance e a economia de três soluções diferentes de back-end de armazenamento da AWS. "Não poderíamos comparar essas opções localmente devido aos prazos envolvidos", diz Tomkins. "Ao usar a AWS, conseguimos muito facilmente provisionar estes serviços, executar alguns testes e interrompê-los novamente. Sem a nuvem, isso poderia ter levado meses (e, na verdade, nós nem teríamos feito nada disso). Agora, podemos falhar rápido e sem muitos custos ao testarmos arquiteturas diferentes."

Em um mundo de inovação tecnológica, em que o cenário de novas oportunidades inclui a Internet das Coisas, a análise de big data e o aprendizado de máquina, o setor de meteorologia tem total interesse em tornar-se parte desta tendência. "Coletamos e geramos enormes volumes de dados cujo uso será limitado para as pessoas até que possamos disponibilizar serviços que proporcionem informações consumíveis", comenta Tomkins. "Precisamos ser inovadores se quisermos acompanhar a maneira como as pessoas consomem seus dados. Estamos usando a Nuvem AWS para promover a comercialização em massa de informações meteorológicas personalizáveis." 

Para saber mais sobre como a AWS pode ajudar a gerenciar big data, acesse nossa página de big data.