使用 AWS 后,我们的烦恼减少了,在基础设施上花费的时间和费用也降低了。因此,我们可以将更多的注意力集中在内容和数据质量上,并确保世界各地的研究人员都可以访问我们的可再生能源数据。
Jon Weers 高级网络战略分析师

美国国家可再生能源实验室 (NREL) 的总部设在科罗拉多州戈尔登市,是美国能源部的国家级重点实验室,主要致力于可再生能源和能源效率的研究与开发。该实验室包括国家研究中心和合作研究机构,重点研究 风能、 生物能和光伏 (一种将太阳能转换成直流电的方法)。

自白宫管理与预算办公室于 2009 年发布《开放政府指令》以来,NREL 的 OpenEI.org 开放能源信息门户一直专注于发布和共享从各种来源获得的研究数据。该组织目前托管数十个面向公众的网站,并会不断地使用最新的能源信息来更新这些网站。在科学团体之间共享信息并促进协作 是 NREL 的 长期目标。NREL 的高级云工程师 Chris Webber 说:“我们的许多研究人员希望与该领域的其他科学家共享数据并进行协作。对我们来说,使用基于云的解决方案使得外部数据访问和协作变得更加轻松。”

考虑到需要针对海洋流体动力计划建立一个协作式数据存储库,NREL 希望建立一个安全、协作的平台来收集、管理、存储和共享具有中等敏感度的数据,并将重点放在水力发电研究上。作为这项工作的一部分,NREL 建立了一个已获得《联邦信息安全管理法》(FISMA) 中等操作授权书 (ATO) 认证的环境。使用 FISMA 中等 ATO,NREL 可以贯彻所有具有强制性的网络安全要求,并且能够与其他政府机构和研究实体共同管理和共享具有中等敏感度的数据。

在准备设计新的基础设施时,NREL 深知该基础设施需要具备敏捷性和灵活性。“我们的目标是让分析师和科学家轻松访问和发布数据,但我们不想通过花时间管理基础设施来实现这一点。我们应专注于产品,即数据本身。”Webber 说道。例如,NREL 采用专注于满足客户需求的运维团队方法,并且确保研究元数据已进行过优化,具有可用性。“我们需要确保具有正确的描述符和关键字,以便我们能够轻松地将用户连接到所有其他研究网站。”NREL 的高级网络分析师 Jon Weers 说道,“如果数据不可访问,对研究人员来说就是没用的。”

NREL 还需要使其新的中等环境具有可扩展性。Weers 说:“我们希望任何人都可以使用这个网站,因此它必须具有足够的可扩展性来满足这种完全开放性需求。”另外,由于涉及的数据具有敏感性,所以新的环境必须安全无虞。

为了满足所有这些需求,NREL 意识到云是正确的技术选择。“我们是一个小团队,并且要和预算紧张的客户合作,所以我们要能够利用可扩展的资源,而无需在基础设施上耗费大量投资。”Webber 说道,“因此,在云上构建我们的数据存储库和许多其他网站是明智之举。”

在创建中等 ATO 环境之前,NREL 已经将其开放能源信息计划 (OpenEI.org) 的开源数据平台迁移到了 Amazon Web Services (AWS)。Webber 说:“AWS 使 OpenEI 具有较高的可用性、灵活性和可扩展性,我们相信它也适用于我们的新环境”。此外,亚马逊拥有自己的 FISMA 中等 ATO,这对 NREL 很有吸引力。

在决定扩展其对 AWS 的使用范围后,NREL 在 AWS 中设计并启动了一个中等云环境。除了 OpenEI,这一新的 AWS 环境还托管了新的海洋流体力数据存储库 (MHKDR) 应用程序。能源部使用 MHKDR 来收集与计划相关的数据,在一定时间内安全地保存数据,并允许部门和国家实验室对数据进行受限访问。在数据可供发布之后,公众便可以访问数据,以便进行研究。AWS 的中等云环境还可以托管地热能研究数据库和专注于促进协作和数据访问的其他几个网站。

NREL 使用 300 多个 Amazon Elastic Compute Cloud (Amazon EC2) 实例来支持中等云环境,并且借助 Elastic Load Balancing 来分配该环境的传入网络请求。为了优化该环境中的 Web 应用程序的性能,NREL 使用 Amazon DynamoDB (一项 NoSQL 数据库服务,适合延迟需要低于 10 毫秒的应用程序) 和 Amazon ElastiCache Web 服务来部署和扩展内存缓存。借助 ElastiCache,NREL 可以从快速内存缓存检索信息,而无需依赖于速度较慢的基于磁盘的数据库,从而提高应用程序的性能。

NREL 使用 Amazon Virtual Private Cloud (Amazon VPC) 在该环境中构建安全的专用网。在数据存储方面,该组织使用 Amazon Simple Storage Service (Amazon S3) 存储桶来存储数 TB 的研究数据,并使用 Amazon Elastic Block Storage (Amazon EBS) 来提供用于 MHKDR、OpenEI 和地热能数据库的块存储。

为了构建云环境,NREL 战略能源分析中心的云团队与 CIO 办公室通力合作,来满足 400 多项有关 ATO 的控制要求,同时记录这些控制措施并验证整个系统的安全性。NREL 采用一个界面来共享与数据集相关的开放数据和所有元数据,该界面可以显示要提交的数据的类型、数据描述以及向公众发布数据的时段。预计每月有近 6000 人访问新的 MHKDR 网站。MHKDR 中的元数据可以与开放数据合作伙伴共享,这样一来,用户可以在 science.gov、Thompson Reuters 数据引文索引和 Data.gov 等网站上访问 MHKDR 中的数据。用户可以从这些知名网站中的任一个访问 MHKDR 数据,使 MHKDR 上的下载量呈数量级增加。

新的 AWS 中等云环境使 NREL 的小型战略分析云团队可以轻松地管理其 MHKDR、OpenEI 和地热能网站。Webber 说:“借助 AWS,我可以从一个 API 管理所有方面,包括查看性能、监控成本和创建新的虚拟服务器。”他的团队还可以使用该 API 有效地管理环境。“通过使用 AWS,我们获得了 敏捷性, 这使我们能够快速响应客户需求。”Weers 说道。例如,NREL 可以快速启动新的 Web 服务器来支持新的网站以进行内部分析、原型制作或满足紧急的外部需求。“我们可以在一天内推出新的网站,而与之相反的是,获取存储空间和购买并安装硬件则需要数周时间。我们只需通过执行几次 API 调用即可实现这一点。”

NREL 还具备快速启动虚拟机所需的可扩展性,因为越来越多的研究人员在该组织的网站上共享数据。“我们建立 MHKDR 和地热数据存储库是为了共享数据,借助 AWS,我们能够以可扩展的方式来支持数据共享。”Weers 说道,“通过使用 AWS,我们能够确保所有这些开放数据连接均可用。因此,任何人都可以访问我们的网站,而且我们拥有足够的可扩展性,能够满足这种完全开放性需求。如果明天还有 10 个网站连接到 MHKDR,我们也可以很轻松地容纳它们。”

此外,通过使用 AWS,该组织的开支有所降低。“我们的数据管理员的工作量减少了。”Weers 说道,“以前的环境比较传统,使用了内部虚拟机,因此管理员需要按下很多按钮才能启动并管理这些虚拟机。现在,他们不再需要执行这项任务,因此与之相关的费用减少了高达 30%。”

通过使用 AWS 来管理 MHKDR 环境,NREL 可以将更多精力集中在数据质量方面。“使用 AWS 后,我们的烦恼减少了,在基础设施上花费的时间和费用也降低了。因此,我们可以将更多的注意力集中在内容和数据质量上,并确保世界各地的研究人员都可以访问我们的可再生能源数据。我们的开发人员在对连接和安全协议进行编码方面花费的时间减少了,并将更多时间投入到对重要数据和数据管理措施进行编码方面。”Weers 说道。

AWS 安全控制措施与 NREL 实施的控制措施相结合,使 ATO 环境与内部实验室服务器一样安全。“安全对我们至关重要。能源部批准了这种云环境,因为他们对我们的安全协议很满意。”Webber 说道,“我们的网络安全小组会帮助我们管理所需的 400 多项 ATO 控制措施,并且其中的很多控制措施是由 AWS 通过亚马逊自己的 ATO 认证来处理的。这的确帮助我们加快了这种云的采用过程。”

随着新的中等云环境启动并开始运行之后,NREL 已经将其他 Web 应用程序迁移到该环境中,并将继续这样做。“在使用这一云环境后,我现在每周都会收到有意使用这种环境的研究人员和潜在协作者打来的很多电话。”Weers 说道,“借助这一新环境,我们将迎来指数级发展,而 AWS 则是实现这种发展的主要原因。”

要了解有关 Amazon Web Services 安全认证和其他 AWS 安全实践的更多信息,请访问 AWS 安全中心