云计算加速组学数据解读

该解决方案包含一个数据传输与交付、智能调度与自动扩展的基因分析集群，是成本控制、组织管理及安全合规的最佳实践；结合业界主流的 Cromwell 和 SGE 工具，生物信息工程师可轻松通过熟悉的 WDL 语言实现任务编排。利用云计算按需付费模式节省大量硬件成本，同时在云端进行 DNA 分析时可利用亚马逊云科技的 Auto Scaling 功能横向自动扩展资源。
我们提供了开发平台的建议和参考架构，包括：1. 将基因组学数据转移到AWS云并建立数据访问模式； 2. 运行二级分析工作流程；3. 用数据湖进行三级分析；4. 用机器学习进行三级分析。这些解决方案利用持续交付 (CD)，允许你开发适合自己组织需求的解决方案。

下载高清架构图

方案优势

• 一键部署：亚马逊云科技云端基因分析方案可一键快速部署在客户自己的公有云环境中。
• 灵活度高：具备高度的灵活性、可定制性以及效率。将管理工具与生产工具有效融合，加强了安全性和规范性，提升了计算资源的使用效率。
• 优化成本：可实现有效的组织管理和精准的成本监控。通过使用 Spot 实例对成本进行优化和精确核算。

本方案基于 Amazon ParallelCluster，HPCWatch Agent，及Grafana，不仅实现线程级动态伸缩容计算节点的资源情况收集、备份，而且构建相对应的监控看板实现可视化，方便用户和自有的监控平台进行集成分析优化。

下载高清架构图

方案优势

• 精细化监控信息：一般的监控方案只能收集到计算节点信息，该方案可以收集任务线程级别的监控信息。
• 灵活的可视化平台：通过 Grafana 可以自由的配置 Dashboard，并且可以创建告警通知，搭建个性化可视平台。
• 自动备份监控信息：自动将监控信息备份到 亚马逊对象存储 S3 的冷存储层中，降低存储成本。
• 一键快速部署：快速部署，通过 CloudFormation 的方式实现一键快速部署。
• 降低成本：采用 AWS Graviton 的方式降低成本。

随着技术的发展，越来越多的用户选择基于容器化的基因分析方案，以实现更小颗粒度管理及监控，从而满足业务的不断发展。本方案，结合亚马逊云科技自身产品特点构建了不同的容器化架构以适用于不同的基因数据分析用户场景。

下载高清架构图

方案优势

• 云原生 ：AWS 高性能计算、存储、网络等各种服务无缝集成，性能优异。
• 高效率：一次递交，流程自动执行，支持串行和并行步骤，减少手工操作；分析结果自动通知。
• 成本优化：计算资源根据实际需求动态分配和回收；流程解耦，每个步骤用最适合的计算资源，不浪费；存储自动生命周期管理。
• 兼容性高：支持第三方的工作流编排引擎，如 Cromwell 和 Nextflow 等。
• 安全合规：网络隔离；满足各种合规性要求，如 SOC、PCI、FedRAMP、HIPAA 等。

下载高清架构图

该解决方案帮助用户准备基因组、临床、突变、表达和成像数据以进行大规模分析，并针对数据湖执行交互式查询，包括作为代码自动化的基础架构、用于转换数据的摄取管道，以及用于交互式分析的笔记本和仪表板。

下载高清架构图

方案优势

• 轻松准备和加载数据 ：通过 Amazon Glue 对来自癌症基因组图谱 (TCGA) 计划、癌症影像档案 (TCIA)、1000 Genomes 项目和 ClinVar 的多组数据集进行准备，方便大规模分析与查询。
• 可视化界面：通过 Amazon QuickSight 中的可视界面分析多模式数据；数据缓存在 SPICE（超快速、并行、内存计算引擎）数据库中，优化查询性能。
• 加速构建与协作：通过 Amazon SageMaker 笔记本环境提供的一键式 Jupyter 笔记本分析数据，几秒钟内立即开始工作；后台自动弹性调节资源，不会造成中断；自动捕获代码依赖项，方便协作与同步。