Estudo de caso do New York University Langone Medical Center

A instalação de computação de alta performance do Center for Health Informatics and Bioinformatics da New York University (NYU) foi fundada em 2009 para disponibilizar recursos de computação de vanguarda para pesquisadores no NYU Langone Medical Center. A instalação permite que pesquisadores de informática e bioinformática clínica acelerem a descoberta e a inovação por meio do acesso a recursos de supercomputador, capacidade computacional, armazenamento físico de dados e compartilhamento de dados com colaboradores em todo o mundo.

O Dr. Stratos Efstathiadis, Diretor técnico da High Performance Computing Facility, descreve as principais atividades da instalação: "Nossa instalação captura grandes volumes de dados de sequenciadores, microscópios, scanners de slides e espectrômetros de massa de próxima geração, entre outros instrumentos de pesquisa. Ela deve armazenar, selecionar, sustentar e permitir a análise desses dados, além de disponibilizar recursos que possam ser usados pelos cientistas para executar simulações e gerar modelos.

Estes trabalhos de análise e simulação geralmente precisam ser conduzidos durante dias ou até mesmo semanas. Desta forma, embora a instalação seja uma das maiores do seu tipo para um centro médico, vez por outra existe a necessidade de recursos computacionais adicionais para que os pesquisadores possam analisar dados mais rapidamente.

Ainda mais problemático do que o tempo necessário para analisar dados, é o tempo exigido para transferi-los. Efstathiadis diz: "A transferência de dados é um grande gargalo, nossos conjuntos de dados são extremamente grandes e, geralmente, passamos mais tempo para transferir dados do que para gerá-los. Como nossos colaboradores estão distribuídos em todo o mundo, se não pudermos transferi-los, não poderemos usá-los".

A Nuvem AWS, combinada com o Globus Online, um serviço gratuito de transferência de arquivos hospedado na AWS, e desenvolvido por ela, oferece uma maneira confiável de transferir grandes conjuntos de dados para o Amazon EC2. A solução tem capacidade para mover arquivos em paralelo a velocidades que chegam a 50 megabytes por segundo. Efstathiadis observa: "Esses números são similares às nossas taxas de transferência locais, ou seja, não há nenhuma diminuição da velocidade".

O Dr. Efstathiadis decidiu usar a AWS graças à seleção de instâncias do Amazon EC2, mas também porque os pesquisadores do centro já conheciam o serviço. "Além disso", acrescenta Efstathiadis, "como o Globus Online facilita a transferência de dados para o Amazon EC2, esta é uma maneira interessante de migrar nossos grandes conjuntos de dados para o ambiente de nuvem, onde os pesquisadores podem acessá-los e usá-los." Outras ferramentas, como o SCP, de acordo com Efstathiadis, "são muito lentas ou bloqueadas por firewalls institucionais, o que limita o tipo de ferramentas que podemos usar. O Globus Online significa uma taxa de transferência melhor sem comprometer a usabilidade."

A instalação também usa o Amazon S3 para armazenamento físico de dados. O Dr. Efstathiadis explica: "O Globus Online facilita a transferência de dados do armazenamento local para o armazenamento do Amazon S3 ao implantar uma imagem de servidor, instalar o endpoint do Globus Online e migrar os dados para lá."

Ao usar a nuvem, a instância da HPC expandiu o conjunto de serviços que pode oferecer para pesquisadores da NYU, que agora podem acessar os recursos necessários, quando for preciso. A nuvem também ajuda os pesquisadores a colaborar. Usando o Amazon S3, eles compartilham facilmente suas descobertas e conjuntos de dados com pesquisadores em todo o mundo.

O compartilhamento de dados é um componente importante. Efstathiadis diz: "Nossos pesquisadores têm muitos colaboradores em outras localidades. Ao fazer o upload de dados no Amazon S3, os pesquisadores em outros locais conseguem acessá-los para seu próprio uso. Com essa solução, os pesquisadores da NYU aceleram seus próprios pipelines de análise, além de ajudar outros pesquisadores a fazer o mesmo."

A instalação HPC do Center for Health Informatics and Bioinformatics da NYU está sempre buscando maneiras de facilitar e tornar menos dispendiosa a realização de pesquisas. O uso da nuvem ajuda a instalação a chegar perto do seu objetivo de obter recursos computacionais que escalem além do que qualquer instalação local por si só poderia disponibilizar.