ICRAR_Customer-Reference_Logo@2x

Estudo de caso do International Centre for Radio Astronomy Research (ICRAR)

2014

O International Centre for Radio Astronomy Research (ICRAR) foi fundado em 2009 como um empreendimento conjunto entre a Curtin University e a University of Western Australia. Com base em Perth, na Austrália Ocidental, os 110 funcionários do ICRAR hoje fazem parte do esforço internacional para desenvolver o maior rádio telescópio do mundo, conhecido como Square Kilometre Array (SKA). Durante seus mais de 50 anos de vida, o SKA ampliará o nosso entendimento sobre o universo.

inicie um tutorial de python
CustomerReferences_QuoteMark

A escalabilidade da AWS tem sido muito útil. Posso acrescentar capacidade conforme o necessário com muita facilidade. Usando a AWS, conseguimos processar 150 GB de imagens do céu e armazenar mais de 400 GB de dados de imagens a cada mês."

Kevin Vinsen
Professor de pesquisa associado, ICRAR

O desafio

Depois de tornar-se operacional, a expectativa é de que o SKA reúna e processe um volume de dados por dia que atualmente o mundo produz em um ano. O SKA usará esses dados para fazer mapas do céu que os cientistas possam usar para estudar o universo. Uma única imagem do SKA pode chegar a até 600 TB e cada mapa do céu precisará de milhares de imagens.

"Precisamos solucionar desafios computacionais imensuráveis", diz Kevin Vinsen, Professor associado do setor de pesquisa no ICRAR. "Quando tornar-se totalmente operacional na próxima década, dependendo do processo científico, o SKA poderá coletar entre 500 TB e 1 PB de dados de imagens todos os dias. A enorme quantidade de poder computacional bruta necessária para fazer isso é extraordinária."

Para acumular recursos computacionais para uma série de testes preliminares, o ICRAR formou uma iniciativa de computação comunitária chamada theSkyNet. Essa iniciativa permite que o ICRAR use ciclos de CPU sobressalentes oferecidos pelo público para simular um supercomputador. Vinsen e seus colegas usam o poder computacional gerado pela theSkyNet para analisar imagens de galáxias geradas pelo telescópio Pan-STARRS1 no Havaí, como parte do projeto theSkyNet.

Geralmente, projetos de computação colaborativos enfrentam problemas para corresponder a capacidade dos servidores físicos com a carga de dados recebida. O ICRAR precisava executar testes usando a theSkyNet de um maneira econômica e flexível que permitisse que Vinsen e sua equipe obtivessem resultados rapidamente.

Por que a Amazon Web Services

A natureza escalável e sob demanda da Amazon Web Services (AWS) a tornaram uma escolha lógica para os testes necessários para o projeto do SKA. A AWS pode disponibilizar os recursos que o ICRAR precisa para analisar grandes quantidades de dados de imagens. Vinsen ganhou um subsídio de educação da AWS para iniciar a theSkyNet em 2012 e o projeto aumentou para 40 teraFLOPs no ano passado. Um teraFLOP é o equivalente a um trilhão de operações de ponto de flutuação por segundo.

"Vemos soluções baseadas na nuvem e instalações de supercomputador como complementares e esperamos que ambas desempenhem um papel no processamento, no armazenamento e na disseminação dos enormes volumes de dados criados pela próxima geração de observatórios", diz o Professor associado Vinsen. "Desejamos ser flexíveis e podemos usar facilmente a AWS para os nossos testes em vez de usarmos um supercomputador dedicado."

O ICRAR usa o Amazon Route 53 para rotear todos os usuários externos para seus sites da theSkyNet. Depois disso, os cientistas usam uma instância média do Amazon Elastic Compute Cloud (Amazon EC2) e Amazon Machine Images (Amazon AMIs) sob demanda para processar os ciclos de CPU colaborativos da theSkyNet e outra instância pequena do Amazon EC2 como um servidor de arquivos de rede.

Para armazenar dados de imagens, o ICRAR instalou dois volumes de 60 GB do Amazon Elastic Block Store (Amazon EBS) e arquiva os dados usando o Amazon Glacier. A equipe do ICRAR também usa o Amazon Simple Storage Service (Amazon S3) como um armazenamento principal para mostrar aos voluntários as galáxias que a capacidade de processamento de seus PCs está ajudando a analisar.

ICRAR-arch-diag

Os benefícios

O ICRAR configurou o projeto theSkyNet na AWS em apenas quatro dias. A equipe agora pode rápida e eficientemente expandir a infraestrutura de nuvem conforme o público oferecer mais ciclos de CPU para apoiar a iniciativa.

"A escalabilidade da AWS tem sido muito útil", afirma Vinsen, professor associado. "Posso acrescentar capacidade conforme o necessário com muita facilidade. Usando a AWS, conseguimos processar 150 GB de imagens do céu e armazenar mais de 400 GB de dados de imagens a cada mês."

Ao usar o Amazon S3 como um armazenamento de chave-valor, o ICRAR é capaz de indexar e gerenciar facilmente informações de centenas de milhares de CPUs públicas em todo o mundo. O Amazon ELB ajuda o ICRAR a gerenciar o fluxo de dados para e da comunidade da theSkyNet.

O ICRAR usa o Amazon EBS para armazenar mais de 400 GB de dados de imagens mensalmente conforme eles são processados pela comunidade. O Amazon EC2 disponibiliza capacidade computacional para o ICRAR analisar dados de 400 e 500 galáxias simultaneamente.

O projeto provou ser incrivelmente popular e, logo após migrar para a AWS, comunidades on-line na Rússia, nos EUA e na Austrália sobrecarregaram o servidor da theSkyNet do ICRAR. No entanto, o Professor associado Vinsen levou apenas duas horas para adicionar capacidade extra. "Outros projetos de computação comunitária já levaram dias para se recuperar de sobrecargas, pois precisaram buscar mais recursos de infraestrutura para ativar novos servidores", comenta. "Com a AWS, basta provisionar uma instância maior."

O ICRAR planeja usar a AWS para atender aos requisitos de computação contínuos de futuros testes da theSkyNet.


International Centre for Radio Astronomy Research (ICRAR)

O International Centre for Radio Astronomy Research (ICRAR) foi fundado em 2009 como um empreendimento conjunto entre a Curtin University e a University of Western Australia. 


Serviços da AWS usados

Amazon EC2

O Amazon Elastic Compute Cloud (Amazon EC2) é um web service que disponibiliza capacidade computacional segura e redimensionável na nuvem. Ele foi projetado para facilitar a computação em nuvem na escala da web para os desenvolvedores.

Saiba mais »

Amazon S3

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade líder do setor, disponibilidade de dados, segurança e performance.

Saiba mais »

Amazon Route 53

O Amazon Route 53 é um web service de Domain Name System (DNS) altamente disponível e escalável.

Saiba mais »

Amazon Glacier

O Amazon S3 Glacier e o S3 Glacier Deep Archive são classes de armazenamento em nuvem do Amazon S3 seguro, resiliente e de custo extremamente baixo para arquivamento de dados e backups de longa duração.

Saiba mais »

Amazon AMIs

O Amazon Linux AMI é uma imagem compatível e mantida do Linux fornecida pela Amazon Web Services para uso no Amazon Elastic Compute Cloud (Amazon EC2).

Saiba mais »

Amazon EBS

O Amazon Elastic Block Store (EBS) é um serviço de armazenamento de blocos de alta performance fácil de usar projetado para o uso com o Amazon Elastic Compute Cloud (EC2), tanto para cargas de trabalho com alta taxa de transferência de dados quanto com intenso consumo de transações em qualquer escala.

Saiba mais »


Comece a usar

Empresas de todos os portes em todos os setores estão transformando seus negócios diariamente usando a AWS. Entre em contato com nossos especialistas e inicie sua própria jornada para a Nuvem AWS hoje mesmo.