Tag: Amazon DynamoDB

Amazon DynamoDB 拥有十万多的客户，客户身处各种行业，使用案例也各不相同。这些客户依赖于 DynamoDB 在任何规模下都能提供的一致性能和覆盖全球 16 个地理区域的服务网络。最近我们注意到一个趋势，客户正在使用 DynamoDB 来为他们的无服务器应用程序提供支持。这是一个很好的搭配：使用 DynamoDB，您无需考虑配置服务器、执行操作系统和数据库软件修补或跨可用区配置复制以确保高可用性之类的事情 – 您只需创建一些表，然后开始添加数据，其他的交给 DynamoDB 处理。 DynamoDB 提供预置容量模式，可以让您设定您的应用程序所需的读取和写入容量。尽管这让您无需考虑服务器，在 AWS管理控制台中进行简单的 API 调用或按钮单击就可以对表的配置进行更改，但客户已经在询问我们，有没有方法让管理 DynamoDB 容量变得更加轻松。 现在，我们推出了 Auto Scaling for DynamoDB，可帮助您实现表和全局二级索引容量管理的自动化。您只要指定所需的目标使用率，并提供读取和写入容量的上限和下限。之后，DynamoDB 将利用 Amazon Cloudwatch 警报来监控吞吐量占用情况，并根据需要上调或下调预置容量。Auto Scaling 对于所有新表和索引默认启用，您还可以对现有表和索引配置此功能。即使您不在左右，DynamoDB Auto Scaling 也将监控您的表和索引，并根据应用程序流量的变化自动调整吞吐量。这使您可以更加轻松地管理 DynamoDB 数据，帮助您最大程度地提高应用程序的可用性，并帮助您降低 DynamoDB 成本。我们来看看它是如何工作的…… 使用 Auto Scaling 现在当您创建新表时，DynamoDB 控制台会提出一组适宜的默认参数。您可以原样接受它们，也可以取消选中“Use default settings”，然后输入您自己的参数： 以下是您输入自己的参数的方式： 目标使用率以占用容量与预置容量的比值来表示。以上参数将允许提供足够的空间，使占用容量能够在读取或写入请求突增时倍增 (请参阅容量单位计算，了解更多有关 DynamoDB 读取和写入操作与预置容量之间关系的信息)。预置容量的变化是在后台发生的。 Auto Scaling 的实际操作 为了了解这项重要的新功能的实际操作，我按照入门指南中的指示进行了操作。我启动了一个全新的 […]

背景介绍 相信AWS的用户对AWS CloudFormation都不会陌生。AWS CloudFormation是实现IAC（Infrastructure as Code）自动化运维的一项重要服务，可以帮助用户对 AWS资源进行建模和设置，以便能花较少的时间管理这些资源。CloudFormation中有两个重要选项：Mappings段和Parameters段，可以帮助用户组织模板里的参数和映射，让用户更好地自定义堆栈，以实现模板的重用和复用。比方说可以用Mappings管理对应AWS上不同region的AMI ID，或者管理企业内部的不同部门。 但是当用户所在的组织越来越多地采用IAC自动化时，mappings和parameters的数量也会急剧增长，给CloudFormation模板的编写和维护带来复杂度。 解决方案 本文里我们介绍一种方法：用当前流行的Serverless计算AWS Lambda 和Amazon DynamoDB自动地管理AWS CloudFormation模板中的Parameters和Mappings。 本文中主要用到了以下几种 AWS服务： 1、DynamoDB表：Amazon DynamoDB是一个NoSQL数据库，这里我们采用它保存CloudFormation模板中所有的mappings和parameters。不仅可以实现集中存放，而且可以依赖DynamoDB的接口实现方便快速地增删和查找。比方说在我们的sample code中，整个企业采用这样一张表：partition key包括组名（比如说team1、team2等）和环境（比如说development、test、production等），sort key保存应用的名字。这个表里的数据类似这样： 当我们把这些数据都insert到DynamoDB中后，可以在AWS console里看到表中的内容是这样的： 2、Lambda方法：AWS Lambda又称为Serverless的计算，通过它你可以运行你的code而不需要预配置或者管理任何服务器。这里我们采用Lambda方法实现CloudFormation和DynamoDB之间的关联，它从CloudFormation模板接收primary key和sort key作为输入，查找DynamoDB表，并且返回所有的key-value数据。 3、Custom lookup resource：这是CloudFormation里的一个自定义资源，与一个Lambda方法绑定。CloudFormation除了可以定义已有的AWS资源，还支持几种自定义资源，包括这种以Lambda方法作为后端的自定义资源。当这种自定义资源创建、更新或者删除时，CloudFormation自动地向Lambda API发起请求，引发方法并将请求的数据传给Lambda方法，本例中所请求的数据是primary key，返回的数据是key-value数据。通常在一个组织中只需要建立这一个custom resource，所有的CloudFormation模板都可以复用它。下图是sample code里建立的custom resource： 让我们将这几种服务组合起来，并且定义好它们之间的交互顺序，整个解决方案就是下图展示的这样： 那么整个的交互顺序如下： 1、用户创建DynamoDB表，插入所需的mappings和parameters数据。 2、CloudFormation模板中的custom resource调用Lambda方法，用组名和环境名称（“teamname-environment”）作为partition key，用应用名称（”appname”）作为sort key。 3、Lambda方法用partition key和sort key作为输入查询DynamoDB表。 4、DyanamoDB将结果返回给Lambda方法。 5、Lambda方法将这些key-value数据作为结果返回给模板中的custom resource。 6、custom resource拿到数据后，堆栈里的其他资源可以通过Fn::GetAtt的方式获得这些数据。 结论 通过这种方式，可以将我们创建堆栈所需的固定部分保存在模板中，而将可变部分mappings和parameters保存在方便增删改查的DynamoDB中，用Lambda实现两者之间的关联。对于大型组织来说，这样可以提高运维效率，也是使用CloudFormation的一种最佳实践。 参考 可以在我们的网站上下载到相关的sample […]

1. 前言 AWS最近刚刚宣布了一项关于数据库迁移的新feature，支持Mongodb数据库作为源端，迁移到目标端Dynamodb中，这样可以使MongoDB的用户充分利用DynamoDB数据库提供的技术优势，譬如完全托管服务，高性能低延迟（毫秒级），精细化粒度控制等等。由于最近项目中涉及很多数据库迁移的事情，同时也对NOSQL数据库异构平台迁移非常感兴趣，写了这篇文档供大家参考。 2. DMS服务介绍 DMS作为数据迁移服务支持下面三种迁移类型： 迁移源库中存在的数据到目标库 迁移源库中存在的数据并且复制新增加的数据到目标库 只复制新增加的数据库 数据迁移时源端和目标端设置 MongoDB作为源端 AWS DMS支持Mongodb作为源端的版本为2.6.x和3.0.x，MongoDB 作为一个基于文档存储的数据库，数据模式非常灵活，支持JSON和BJSON格式进行存储。当前AWS DMS 支持MongoDB作为源端以两种模式进行迁移，它们分别是文档模式和表模式。在文档模式中，需要设置参数extractDocID＝true和nestingLevel＝none，在复制时不支持collection的重命名。在表模式中需要启用表模式需要设置nestingLevel＝one，另外在选择CDC时它不支持添加新的collection和重名collection。 DynamoDB作为目标端 使用Dynamodb作为目标端时需要配置partion key和Object mapping。 具体注意事项请参考官方文档链接： http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.MongoDB.html 3. 配置步骤 3.1 安装Mongodb 安装Mongodb的方式有多种方法，可以选择Marketplace或者AWS提供的cloudformation以及手动下载Mongodb软件进行安装，我选择手动安装Mongodb2.6.12版本。 A、登录EC2，获取如下软件： ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org_2.6.12_amd64.deb ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-mongos_2.6.12_amd64.deb ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-tools_2.6.12_amd64.deb ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-server_2.6.12_amd64.deb ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-shell_2.6.12_amd64.deb B、安装软件包： ubuntu@ip-172-31-60-214:~$ sudo dpkg -i mongodb-org* C、创建数据目录和日志目录： ubuntu@ip-172-31-60-214:~$ sudo mkdir /data /log […]

相信大家已经都知道，Amazon DynamoDB 是一项全托管的NoSQL 数据库服务，适合所有需要一致性且延迟低于 10 毫秒的任意规模的应用程序，支持文档和键值存储模型。使用DynamoDB，可创建数据库表来存储和检索任意量级的数据，并提供任意级别的请求流量。现在，DynamoDB还提供了Auto-Scaling的功能，即可以通过你预先设置的阈值自动扩展和缩减表的吞吐量，做到完全弹性自动伸缩的目的，真正达到让你的数据库按实际吞吐量进行付费。 这么高的并发量却依然可以保持服务器的平均延迟在个位数毫秒，这让DynamoDB受到了非常多用户的青睐。然而随着大数据时代的数据暴增，很多客户的场景比较特殊，他们对数据库的响应时间越来越苛刻，甚至需要达到微秒的级别！这无疑给DynamoDB数据库又带来了一个难题。甚至也有客户会提到，能不能在DynamoDB前面放一层类似Redis的Cache服务呢？如果这样做的话，需要自己搭建缓存数据库，并且解决DynamoDB和Redis之间的数据同步问题；同时还要重写代码实现业务逻辑，比如如果数据在缓存中，则立即返回，如果数据没有在缓存中，则必须从数据库里面读取，将数据写入到缓存中，然后再返回。 当用户还带着这样的担心时，现在，Amazon DynamoDB已经整合了这一特性，推出了一个新的功能，即Amazon DynamoDB Accelerator，简称DAX。这是一种完全托管并且高度可靠的内存缓存，即使每秒种的请求量达到数百万，却依然可以将Amazon DynamoDB的响应时间从数毫秒缩短到数微秒！其实在很多场景都可以用到DAX，比如实时竞拍、秒杀、电商、社交游戏等场景，DAX可以提供快速的内存读取性能；再比如在产品促销日，读取访问量会明显上升，但是销售日结束访问量就会回归正常，诸如此类读取密集型的工作负载但同时又对成本敏感的应用都可以使用DAX服务。像类似于Expedia、Twilio、Genesys、eyeview等客户都已经率先用上了DAX服务 目前，DAX还是处于预览版，您可以点击链接进行申请。接下来，让我们创建一个DAX集群，赶紧体验一下微秒级别的响应测试吧！ 1. DAX集群的原理 上图中可以看到，DAX起了一组缓存的节点（目前最多可以是10个节点），并将这些节点置放在VPC内部，应用程序部署在EC2上，这样EC2和DAX Cluster通过内网直接访问。关于DAX的内存缓存，主要是DynamoDB的读和写操作： （1）最终一致性的读取操作，支持GetItem、BatchGetItem、Query、Scan接口，如果读取在DAX缓存中命中，将直接从DAX集群里读取；如果是第一次读取没有命中，那就从DyanmoDB里面读取。 （2）写入操作支持BatchWriteItem、UpdateItem、DeleteItem、PutItem接口，写入的时候数据先写入到DynamoDB表，确认写入成功之后，然后再写到DAX集群（item cache），这个操作只有在DynamoDB表和DAX集群都写入了数据的时候才算成功。如果由于一些原因这个操作失败了，那么这个item将不会缓存到DAX里面，并且会抛出一个exception。这种方式可以让缓存和数据库的数据保持一致性和完整性，不会出现过期数据在缓存里面。 （3）如果DAX有多个节点时，会选取一个主节点（primary node），多个从节点（read replica node），数据最终会分布到所有节点上，但对于客户端来说，只需要关心唯一的DAX连接地址，已经内置了负载均衡和路由策略，并且自动执行故障检测、故障恢复、软件修补等管理任务。 接下去，我们将模拟这一过程，进行实际测试。 2. 启动DAX集群 首先启动一个DAX集群，指定集群的节点数（目前节点最多为10个），我们建议您在生产环节中启用两个以上的节点，并将这些节点置放在不同的可用区中，从而提高高可用。设置好相应的IAM Role和Policy。Policy可以配置“只读”权限，或者“读和写”权限。更多关于权限配置可以参考: http://s3.amazonaws.com/dynamodb-preview-dax/DAX.access-control.html 接下去设置DAX集群的子网组，DAX集群的节点会部署在这些子网里面。选定VPC和相对应的子网，并设置安全组。安全组入站需要打开DAX所用到的8111端口。 接下去配置DAX的参数组，指定Cache的Query TTL和Item TTL值。TTL的时间小到可以是“秒”，大到可以到“天”。 也可以自定义选定维护窗口，如果需要的话可以再加一个SNS通知，这样只要集群有维护就会立刻以短信，或者邮件等形式通知到您。 到这里，DAX集群就创建成功了。DAX集群会有一个唯一的endpoint地址，例如，这里是 dax-cluster-demo.bnsilv.clustercfg.dax.usw2.cache.amazonaws.com:8111 另外可以看到在这个例子中DAX集群启动了3个节点。 DAX集群具体的3个节点 3. 启动EC2 ，作为应用程序的server，同时作为DAX的client 如果仅作为测试，可以启动一台t2.micro的小型机器（Amazon Linux）。 EC2通过监控检查，启动成功。 4. 安装Java应用程序 （1）首先通过客户端连接到这台Amazon Linux EC2 （2）安装Java SDK sudo yum install […]

随着大数据技术的发展，其数据集可以增长的非常庞大，以至于基于传统的关系型数据库管理系统及其工具集很难处理这些庞大的数据集。处理这些问题需要新的工具、框架、软件和服务。与此同时，越来越多的企业需要连续不断地访问数据，从而提高效率，改善用户体验。好的大数据工具集将以较低的成本，接近实时的速度提供可伸缩、高性能的数据管理和分析功能。企业借助于这些工具可以获得更强大的智能及竞争优势。 NoSQL（Not only SQL）非关系型数据库是近年来发展最为迅猛的大数据处理技术之一。在这一领域有非常多的产品和解决方案，包括众多的开源工程。如何选择一款合适的产品往往是困扰企业的难题。此外，企业应用场景各式各样，如何将NoSQL与企业IT融合也是一个重要的课题。如今的企业中，并非所有用例都直观地倾向于使用关系型数据库，或者都需要严格的ACID属性（特别是一致性和隔离性）。以Web为中心的企业中信息管理的新兴模式，使得“非关系型数据库”成为处理这些数据的最佳选择（较之关系型数据库来说）。NoSQL提供了对非结构化数据的支持，拥有支持分区的水平伸缩性，支持高可用性等。常见的NoSQL应用场景包括：日志挖掘、分析社交计算、外部数据聚合、前端订单处理系统、企业内容管理等。 Amazon DynamoDB是一种完全托管的NoSQL数据库服务，提供快速且可预测的性能，能够实现无缝扩展。Amazon DynamoDB可自动将表的数据和流量分布到足够多的服务器中，以处理客户指定的请求容量和数据存储量，同时保持一致的性能和高效的访问。所有数据项目均存储在固态硬盘（SSD）中，并在区域的多个可用区间自动复制，以提供内置的高可用性和数据持久性。例如，您可以使用Amazon DynamoDB创建数据库表，并可在表中存储和检索任意数量的数据和处理任何级别的请求流量。也可以通过AWS管理控制台创建新的Amazon DynamoDB数据库表、扩展或缩小表的请求容量而不导致停机或性能降低，还能查看资源使用率与性能指标。使用Amazon DynamoDB，你可以将操作和扩展分布式数据库的管理工作负担交给AWS服务，无须担心硬件预配置、设置和配置、复制、软件修补或集群扩展等问题。 使用Amazon DynamoDB能带来哪些好处 1    可扩展：Amazon DynamoDB旨在实现吞吐量和存储容量的高效无缝扩展 预配置吞吐量：创建表时，只须指定所需的吞吐容量即可。Amazon DynamoDB会为您的表分配专用资源以满足性能要求，并自动将数据分区到足够多的服务器以满足请求容量。如果您的应用程序需求发生变化，只须使用AWS管理控制台或Amazon DynamoDB API调用更新表的吞吐容量即可。在扩展过程中，仍然能够保证之前的吞吐量水平没有下降。 自动存储扩展：Amazon DynamoDB表中可存储的数据量没有限制，而且随着您使用Amazon DynamoDB写入API所存储数据量的增加，该服务会自动分配更多存储。 完全分布式的无共享架构：Amazon DynamoDB可水平扩展并在数百台服务器中无缝扩展单个表。 2     快速、可预测的性能：Amazon DynamoDB的服务端平均延迟不超过10毫秒。该服务在固态硬盘中运行，其构建方式旨在任何规模均能保证服务性能持续优良，降低延迟。 3     轻松管理：Amazon DynamoDB是完全托管的服务，您只须创建数据库表，其余事情都交由该服务代劳。您无须担心硬件或软件预配置、设置和配置、软件修补、操作可靠的分布式数据库集群，也不必担心随着扩展的需要在多个实例间对数据进行分区等问题。 4     内置容错能力：Amazon DynamoDB内置容错能力，可在某个地区多个可用区域之间自动同步备份数据，以实现高效的可访问性，即使单台机器甚至设施出现死机，防护措施可保证数据万无一失。 5     灵活：Amazon DynamoDB没有固定模式。相反，每个数据项目可以有不同数量的属性。多种数据类型（字符串、数字、二进制数据和集）使数据模型更加丰富。 6     高效的索引：Amazon DynamoDB表中的每个项目均由一个主键标识，让您能够快速高效地访问数据项目。还可以就非键值属性定义二级索引，并使用替代键查询您的数据。 7     强一致性、原子计数器：与许多非关系数据库不同，Amazon DynamoDB允许您对读取操作使用强一致性检验以确保始终读取最新的值，从而使开发更加便捷。Amazon DynamoDB支持多种本地数据类型（数字、字符串、二进制数据和多值属性）。该服务还支持本地原子计数器，允许您通过调用单个API调用自动递增或递减数字属性。 8     安全：Amazon DynamoDB非常安全，采用经过验证的加密方法验证用户身份，以防未授权数据访问。此外，它还与AWS Identity and […]