Amazon DynamoDB 让海量数据管理变为可能

随着大数据技术的发展，其数据集可以增长的非常庞大，以至于基于传统的关系型数据库管理系统及其工具集很难处理这些庞大的数据集。处理这些问题需要新的工具、框架、软件和服务。与此同时，越来越多的企业需要连续不断地访问数据，从而提高效率，改善用户体验。好的大数据工具集将以较低的成本，接近实时的速度提供可伸缩、高性能的数据管理和分析功能。企业借助于这些工具可以获得更强大的智能及竞争优势。

NoSQL（Not only SQL）非关系型数据库是近年来发展最为迅猛的大数据处理技术之一。在这一领域有非常多的产品和解决方案，包括众多的开源工程。如何选择一款合适的产品往往是困扰企业的难题。此外，企业应用场景各式各样，如何将NoSQL与企业IT融合也是一个重要的课题。如今的企业中，并非所有用例都直观地倾向于使用关系型数据库，或者都需要严格的ACID属性（特别是一致性和隔离性）。以Web为中心的企业中信息管理的新兴模式，使得“非关系型数据库”成为处理这些数据的最佳选择（较之关系型数据库来说）。NoSQL提供了对非结构化数据的支持，拥有支持分区的水平伸缩性，支持高可用性等。常见的NoSQL应用场景包括：日志挖掘、分析社交计算、外部数据聚合、前端订单处理系统、企业内容管理等。

Amazon DynamoDB是一种完全托管的NoSQL数据库服务，提供快速且可预测的性能，能够实现无缝扩展。Amazon DynamoDB可自动将表的数据和流量分布到足够多的服务器中，以处理客户指定的请求容量和数据存储量，同时保持一致的性能和高效的访问。所有数据项目均存储在固态硬盘（SSD）中，并在区域的多个可用区间自动复制，以提供内置的高可用性和数据持久性。例如，您可以使用Amazon DynamoDB创建数据库表，并可在表中存储和检索任意数量的数据和处理任何级别的请求流量。也可以通过AWS管理控制台创建新的Amazon DynamoDB数据库表、扩展或缩小表的请求容量而不导致停机或性能降低，还能查看资源使用率与性能指标。使用Amazon DynamoDB，你可以将操作和扩展分布式数据库的管理工作负担交给AWS服务，无须担心硬件预配置、设置和配置、复制、软件修补或集群扩展等问题。

使用Amazon DynamoDB能带来哪些好处

1    可扩展：Amazon DynamoDB旨在实现吞吐量和存储容量的高效无缝扩展

• 预配置吞吐量：创建表时，只须指定所需的吞吐容量即可。Amazon DynamoDB会为您的表分配专用资源以满足性能要求，并自动将数据分区到足够多的服务器以满足请求容量。如果您的应用程序需求发生变化，只须使用AWS管理控制台或Amazon DynamoDB API调用更新表的吞吐容量即可。在扩展过程中，仍然能够保证之前的吞吐量水平没有下降。
• 自动存储扩展：Amazon DynamoDB表中可存储的数据量没有限制，而且随着您使用Amazon DynamoDB写入API所存储数据量的增加，该服务会自动分配更多存储。
• 完全分布式的无共享架构：Amazon DynamoDB可水平扩展并在数百台服务器中无缝扩展单个表。

2     快速、可预测的性能：Amazon DynamoDB的服务端平均延迟不超过10毫秒。该服务在固态硬盘中运行，其构建方式旨在任何规模均能保证服务性能持续优良，降低延迟。

3     轻松管理：Amazon DynamoDB是完全托管的服务，您只须创建数据库表，其余事情都交由该服务代劳。您无须担心硬件或软件预配置、设置和配置、软件修补、操作可靠的分布式数据库集群，也不必担心随着扩展的需要在多个实例间对数据进行分区等问题。

4     内置容错能力：Amazon DynamoDB内置容错能力，可在某个地区多个可用区域之间自动同步备份数据，以实现高效的可访问性，即使单台机器甚至设施出现死机，防护措施可保证数据万无一失。

5     灵活：Amazon DynamoDB没有固定模式。相反，每个数据项目可以有不同数量的属性。多种数据类型（字符串、数字、二进制数据和集）使数据模型更加丰富。

6     高效的索引：Amazon DynamoDB表中的每个项目均由一个主键标识，让您能够快速高效地访问数据项目。还可以就非键值属性定义二级索引，并使用替代键查询您的数据。

7     强一致性、原子计数器：与许多非关系数据库不同，Amazon DynamoDB允许您对读取操作使用强一致性检验以确保始终读取最新的值，从而使开发更加便捷。Amazon DynamoDB支持多种本地数据类型（数字、字符串、二进制数据和多值属性）。该服务还支持本地原子计数器，允许您通过调用单个API调用自动递增或递减数字属性。

8     安全：Amazon DynamoDB非常安全，采用经过验证的加密方法验证用户身份，以防未授权数据访问。此外，它还与AWS Identity and Access Management集成，为组织内的用户实现精细的访问控制。

9     集成监控：Amazon DynamoDB在AWS管理控制台中为您的表显示关键操作指标。该服务还与CloudWatch集成，以便您查看每个Amazon DynamoDB表的请求吞吐量和延迟，并轻松跟踪您的资源使用情况。

10  Amazon Elastic MapReduce集成：Amazon DynamoDB还与Amazon Elastic MapReduce（Amazon EMR）集成。Amazon EMR允许企业使用AWS服务中托管的即用即付计费Hadoop框架对大型数据集执行复杂分析。依赖Amazon DynamoDB的强大服务能力，客户可轻松使用Amazon EMR分析Amazon DynamoDB中存储的数据集，并在Amazon S3中存档结果，同时在Amazon DynamoDB中保存完整原始数据集。

AdRoll使用Amazon DynamoDB的案例

广告重定向旨在将网站访问者转变为客户。重定向是带动全球在线企业营收的主要因素之一，而AdRoll是该行业的领导者之一，为了有效地服务于广告，AdRoll需要能够灵活快速地增加容量，在极快的响应时间内实时中标，并通过自动化确保系统迅速响应竞价。

通过推出自己的实时竞价基础设施，AdRoll需要为四个大区中的每个用户都同步数据，这大约涉及数亿用户及每秒数万次写入。该公司不仅要应对实时写入海量数据这一艰巨任务，而且，竞价系统对于每个竞价请求有着100毫秒的严格上限，因此，AdRoll需要强力确保读取方面的性能。在评估了多种替代方案后，该公司决定使用Amazon DynamoDB来实现低延迟，确保吞吐量及快速扩展能力。

Amazon DynamoDB表由主键（分区键，或分区键和排序键）和属性组成，如表1所示。无模式设计意味着每个数据项目都可能具有数量不同的属性。多种数据类型（字符串、数字、二进制数据和集合）使数据模型更加丰富。AdRoll表设计为将Cookie用作分区键，将配置文件ID用作排序键，而将时间戳用作属性。AdRoll对所有表都使用了分区键和排序键。

         表1  Amazon DynamoDB表

通过将Amazon DynamoDB与Apache Storm配合使用，AdRoll只需不到50毫秒，即可在保持低成本的同时，复制其遍布世界各地的数据集，同时对竞价和对客户发布广告提供快速的响应时间。AWS服务提供的可扩展性同样使AdRoll获益匪浅。AWS服务使AdRoll能够处理来自Facebook、Google、Yahoo和其他高访问量网站的流量，借此，支持的每日展示次数超过了500亿。