Esta orientación ayuda a los usuarios a preparar los datos genómicos, clínicos, de mutaciones, de expresión y de imágenes para el análisis a gran escala y a realizar consultas interactivas contra un lago de datos. Incluye la automatización de la infraestructura como código (IaC), la integración y la entrega continuas (CI/CD) para una iteración rápida, una canalización de la ingesta para almacenar y transformar los datos, y cuadernos y paneles para el análisis interactivo. También enseñaremos cómo se almacenan y consultan los datos de variantes y anotaciones genómicas mediante el uso de cuadernos de Amazon Omics, Amazon Athena y Amazon SageMaker. Esta guía se creó en colaboración con Bioteam

Diagrama de la arquitectura

  • Arquitectura
  • Guidance Architecture Diagram for Multi-Omics and Multi-Modal Data Integration and Analysis on AWS - Architecture
  • CI/CD
  • Guidance Architecture Diagram for Multi-Omics and Multi-Modal Data Integration and Analysis on AWS - CI/CD

Pilares de Well-Architected

AWS Well-Architected Framework le permite comprender las ventajas y desventajas de las decisiones que tome durante la creación de sistemas en la nube. Los seis pilares de este marco permiten aprender las prácticas recomendadas arquitectónicas para diseñar y explotar sistemas confiables, seguros, eficientes, rentables y sostenibles. Con la Herramienta de AWS Well-Architected, que se encuentra disponible gratuitamente en la Consola de administración de AWS, puede revisar sus cargas de trabajo con respecto a estas prácticas recomendadas al responder a un conjunto de preguntas para cada pilar.

El diagrama de arquitectura mencionado es un ejemplo de una solución que se creó teniendo en cuenta las prácticas recomendadas de una buena arquitectura. Para tener completamente una buena arquitectura, debe seguir todas las prácticas recomendadas de buena arquitectura posibles.

  • En esta guía, se utilizanCodeBuild y CodePipeline para compilar, empaquetar e implementar todo lo necesario en la solución a fin ingerir y almacenar archivos de llamadas de variantes (VCF) y trabajar con datos multimodales y multiómicos de los conjuntos de datos del Atlas del Genoma del Cáncer (TCGA) y el Atlas de Imágenes Oncológicas (TCIA). Se demuestra la ingesta y el análisis de datos genómicos sin servidor mediante un servicio completamente administrado: Amazon Omics. Los cambios de código que se realicen en el repositorio de CodeCommit de la solución se implementarán a través de la canalización de implementación de CodePipeline proporcionada. 

    Lea el documento técnico sobre excelencia operativa 
  • En esta guía, se utiliza el acceso que se basa en roles con IAM y todos los buckets tienen el cifrado habilitado, son privados y bloquean el acceso público. El catálogo de datos en AWS Glue cuenta con el cifrado habilitado y todos los metadatos escritos por AWS Glue en Amazon S3 se encuentran cifrados. Todos los roles se definen con privilegios mínimos y todas las comunicaciones entre servicios permanecen en la cuenta del cliente. Los administradores pueden controlar el acceso al cuaderno de Jupyter, los datos de almacenes de variantes de Amazon Omics y al catálogo de AWS Glue mediante Lake Formation, y el acceso a los datos de Athena, cuaderno de SageMaker y Amazon QuickSight mediante los roles de IAM proporcionados. 

    Lea el documento técnico de seguridad 
  • AWS Glue, Amazon S3 y Amazon Omics y Athena no tienen servidor y escalarán el rendimiento del acceso a los datos a medida que aumente su volumen de datos. AWS Glue aprovisiona, configura y escala los recursos necesarios para ejecutar sus trabajos de integración de datos. Athena no tiene servidor, por lo que puede realizar consultas en sus datos con rapidez sin tener que configurar ni administrar servidores ni almacenamientos de datos. El almacenamiento en memoria SPICE de QuickSight escalará su exploración de datos a miles de usuarios. 

    Lea el documento de confiabilidad 
  • Mediante el uso de tecnologías sin servidor, solo aprovisiona los recursos exactos que utiliza. Cada trabajo de AWS Glue aprovisionará un clúster de Spark bajo demanda para transformar los datos y desaprovisionar los recursos cuando termine. Si elige agregar conjuntos de datos de TCGA nuevos, puede agregar trabajos de AWS Glue y rastreadores de AWS Glue nuevos que también predicen recursos bajo demanda. Athena ejecuta consultas de manera simultánea automáticamente, por lo que la mayoría de los resultados se obtiene en cuestión de segundos. Amazon Omics optimiza el rendimiento de las consultas de variantes a escala al transformar archivos en Apache Parquet.

    Lea el documento técnico sobre el pilar de la eficacia del rendimiento 
  • Mediante el uso de tecnologías sin servidor que escalan bajo demanda, solo paga por los recursos que utiliza. Para optimizar aún más los costos, puede detener los entornos de cuadernos en SageMaker cuando no se utilicen. El panel de QuickSight también se implementa a través de una plantilla de CloudFormation independiente, por lo que si no tiene la intención de utilizar el panel de visualización, puede optar por no implementarlo a fin de ahorrar costos. Amazon Omics optimiza el costo de almacenamiento de datos variantes a escala. Los costos de las consultas vienen determinados por la cantidad de datos escaneados por Athena y pueden optimizarse al escribir las respectivas consultas.

    Lea el documento técnico sobre el pilar de la optimización de costos 
  • Al utilizar ampliamente los servicios administrados y el escalado dinámico, minimiza el impacto ambiental de los servicios de backend. Un componente fundamental para la sostenibilidad es maximizar el uso de las instancias de servidores de cuadernos. Debería detener los entornos de cuadernos cuando no se utilicen. 

    Lea el documento técnico sobre sostenibilidad 

Consideraciones adicionales

Transformación de datos

En esta arquitectura se eligió AWS Glue para el proceso de extracción, transformación y carga (ETL) necesario a fin de ingerir, preparar y catalogar los conjuntos de datos en la solución para consultas y rendimiento. Puede agregar trabajos de AWS Glue y rastreadores de AWS Glue nuevos para ingerir conjuntos de datos nuevos del Atlas del Genoma del Cáncer (TCGA) y el Atlas de Imágenes Oncológicas (TCIA), según sea necesario. También puede agregar trabajos y rastreadores nuevos para ingerir, preparar y catalogar sus propios conjuntos de datos.

Análisis de datos

En esta arquitectura, se eligieron los cuadernos de SageMaker a fin de proporcionar un entorno de cuadernos de Jupyter para el análisis. Puede agregar cuadernos nuevos al entorno existente o crear entornos nuevos. Si prefiere RStudio a los cuadernos de Jupyter, puede utilizar RStudio en Amazon SageMaker.

Visualización de datos

En esta arquitectura, se eligió QuickSight a fin de proporcionar paneles interactivos para la visualización y exploración de datos. La configuración del panel de QuickSight se realiza a través de una plantilla de CloudFormation independiente, por lo que si no tiene la intención de utilizar el panel, no es necesario que lo aprovisione. En QuickSight, puede crear su propio análisis, explorar filtros o visualizaciones adicionales y compartir conjuntos de datos y análisis con colegas.

Recursos de implementación

Este repositorio crea un entorno escalable en AWS a fin de preparar datos genómicos, clínicos, de mutaciones, de expresión y de imágenes para el análisis a gran escala y realizar consultas interactivas en un lago de datos. La solución muestra cómo 1) utilizar el almacén de variantes y el almacén de anotaciones de Amazon Omics para almacenar datos de variantes genómicas y datos de anotaciones, 2) proporcionar canalizaciones de ingesta de datos sin servidor para la preparación y catalogación de datos multimodales, 3) visualizar y explorar datos clínicos a través de una interfaz interactiva y 4) ejecutar consultas analíticas interactivas en un lago de datos multimodales mediante Amazon Athena y Amazon SageMaker.

Se proporciona una guía detallada para experimentar y utilizar dentro de su cuenta de AWS. Se examina cada etapa de la creación de la guía, incluida la implementación, el uso y la limpieza, con el fin de prepararla para su implementación. 

El código de muestra es un punto de partida. Está validado por el sector, es prescriptivo pero no definitivo, y le permite profundizar en su funcionamiento para que le sea más fácil empezar.

Orientación

Guía para el análisis de datos multimodales con servicios de IA y ML para el sector sanitario en AWS

Esta guía muestra cómo configurar un marco integral para analizar los datos multimodales sanitarios y de ciencias biológicas (HCLS).

Colaboradores

BioTeam es una empresa de consultoría de TI en ciencias biológicas apasionada por acelerar el descubrimiento científico al cerrar la brecha entre lo que los científicos quieren hacer con los datos y lo que pueden hacer. Al trabajar en la intersección de la ciencia, los datos y la tecnología desde 2002, BioTeam tiene las capacidades interdisciplinarias para aplicar estrategias, tecnologías avanzadas y servicios de TI que resuelven los problemas operativos, técnicos y de investigación más desafiantes. Expertos en convertir las necesidades científicas en poderosos ecosistemas de datos científicos, nos enorgullecemos de nuestra capacidad para asociarnos con una amplia gama de líderes en la investigación de las ciencias biológicas, desde empresas emergentes de biotecnología hasta las empresas farmacéuticas más grandes del mundo, desde agencias gubernamentales federales hasta instituciones académicas de investigación.

Descargo de responsabilidad

El código de muestra; las bibliotecas de software; las herramientas de línea de comandos; las pruebas de concepto; las plantillas; o cualquier otra tecnología relacionada (incluida cualquiera de las anteriores que proporcione nuestro personal) se brinda como contenido de AWS bajo el Contrato de cliente de AWS, o el contrato escrito pertinente entre usted y AWS (lo que sea aplicable). No debe utilizar este contenido de AWS en sus cuentas de producción, ni en producción ni en otros datos críticos. Es responsable de probar, proteger y optimizar el contenido de AWS, como el código de muestra, según corresponda para el uso de grado de producción en función de sus prácticas y estándares de control de calidad específicos. La implementación de contenido de AWS puede incurrir en cargos de AWS por crear o utilizar recursos con cargo de AWS, como ejecutar instancias de Amazon EC2 o utilizar el almacenamiento de Amazon S3.