implantação de referência

Hail na AWS

Análise genômica simplificada no Amazon EMR

Este Início rápido, desenvolvido em colaboração com a Goldfinch Bio, Inc. e a Privo IT, ajuda a simplificar a criação, o gerenciamento e a interação de clusters Hail em sua conta da Amazon Web Services (AWS). O Hail é uma biblioteca de código aberto desenvolvida para Apache Spark para permitir a exploração e a análise de dados escaláveis com ênfase específica em genoma.

Com o Hail, os pesquisadores podem realizar análise genômica aleatória com mais rapidez e eficiência. O Hail facilita o uso de técnicas de programação do Spark para processar dados genéticos (frames de dados genômicos). Também ajuda a simplificar o tratamento de vários formatos de entrada, criando uma estrutura de dados comum (Hail MatrixTable). 

Esta implantação usa o Amazon EMR em combinação com o Apache Spark para escalar grandes conjuntos de dados entre instâncias, como estudos de associação genômica ampla (GWAS) em escala de produção e processos ad hoc com um nó.

Logotipo da Privo

Este Início rápido foi desenvolvido pela Goldfinch Bio, Inc. e pela Privo IT em colaboração com a AWS.
A Privo é um parceiro da AWS.

  •  O que você criará
  • O Início rápido configura o seguinte:

    • Um portfólio do Hail 0.2 AWS Service Catalog, permitindo criar e gerenciar seus clusters do Hail.
    • Quatro pipelines do AWS CodeBuild para dar suporte ao desenvolvimento de várias combinações do Hail versões 0.2.x, versões do preditor do efeito de variação (VEP) e plug-ins do estimador de efeito de transcrição de perda de função (LOFTEE).
    • Uma instância do Amazon SageMaker que permite criar e desfazer um ambiente de bloco de anotações do JupyterLab integrados a clusters do Hail (por meio do Sparkmagic e do Livy).
    • Um cluster do Amazon EMR que permite criar e desfazer clusters do Hail 0.2, conforme necessário.
    • Um bucket do Amazon Simple Storage Service (Amazon S3) Sagemaker para fazer back-up de ambientes de blocos de anotação iniciados.
    • Um bucket do Amazon S3 para preparar artefatos do Hail.
    • Uma Virtual Private Cloud (VPC) opcional configurada com uma sub-rede privada de acordo com as práticas recomendadas da AWS para provisionar sua própria rede virtual na AWS.*
  •  Como implantar
  • Para implantar o Hail, siga as instruções no guia de implantação. O processo de implantação leva aproximadamente dez minutos e inclui as seguintes etapas:

    1. Se você ainda não tem uma conta da AWS, cadastre-se em https://aws.amazon.com e faça login em sua conta.
    2. Execute o Início rápido escolhendo entre as opções a seguir. As duas opções são baseadas no mesmo modelo.
    3. Teste a implantação.

    A Amazon pode compartilhar informações sobre implantações de usuários com o parceiro da AWS que colaborou com a AWS nesta solução de parceiro.  

  •  Custo e licenças
  • Você é responsável pelo custo dos serviços da AWS usados durante essa implantação de referência do Quick Start. Não há custo adicional pelo uso do Quick Start. 

    O modelo do AWS CloudFormation para este Quick Start inclui parâmetros de configuração personalizáveis. Algumas dessas configurações, como o tipo de instância, afetam o custo da implantação. Para as estimativas de custo, consulte as páginas de definição de preço de cada serviço da AWS que você utiliza. Os preços estão sujeitos a alterações.

    Dica: depois de implantar o Início rápido, recomendamos que você habilite o AWS Cost and Usage Report. Esse relatório fornece métricas de faturamento para um bucket do S3 em sua conta. Ele fornece estimativas de custo com base no uso ao longo de cada mês e finaliza os dados no fim do mês. Para obter mais informações sobre o relatório, consulte a documentação da AWS.

    O Hail 0.2 é lançado sob uma licença do MIT.