Tag: Amazon RDS

本期我们将探讨一下RDS（Oracle）与Oracle Golden Gate（OGG）的常见部署模式。OGG被广泛应用在实时数据复制，数据多源集成和容灾双活等场景下，OGG的优点是对带宽要求非常低，亚秒级延迟，如果再配合使用压缩技术，对带宽的要求将变得更低，是一款使用十分广泛的数据复制工具。

欧盟通用数据保护条例 (GDPR) 规定了数据处理者和数据控制者的角色，一些客户和 AWS 合作伙伴网络 (APN) 合作伙伴也在询问这将如何影响建立已久的 AWS 责任共担模式。 我想借此机会，帮助大家理解我们和客户在 GDPR 背景下的共担责任。

AWS 责任共担模式在 GDPR 会如何变化？简单来说 — 它不会发生变化。AWS 负责保护支持云和所提供服务的底层基础设施，而作为数据控制者或数据处理者的客户和 APN 合作伙伴则负责保护其放入云中的任何个人数据。责任共担模式说明了 AWS 与客户以及 APN 合作伙伴所承担的不同责任，在 GDPR 下也执行同样的责任划分原则。

随着移动互联网的兴起和大数据的蓬勃发展，系统的数据量正呈几何倍数增长，系统的压力也越来越大，这时最容易出现的问题就是服务器繁忙，我们可以通过增加服务器及改造系统来缓解压力，然后采用负载均衡、动静分离、缓存系统来提高系统的吞吐量。然而，当数据量的增长达到一定程度的时候，增加应用服务器并不能明显地提高系统的效率，因为所有压力都会传导到数据库层面，而大多数系统都是用一个数据库来存储和管理系统数据的，因而一个支持高性能、高并发并且易于扩展的数据库系统变的尤为重要。 Amazon RDS是AWS上托管的关系型数据库服务，目前支持业界主流的MySQL、Oracle、SQL Server、PostgreSQL、MariaDB引擎及AWS提供的Aurora，通过多可用区主备及读副本等技术，能够支持绝大部分的应用场景。 对于更大容量的数据库，可以使用Amazon Aurora，Aurora是一个关系型数据库引擎，结合了高端商用数据库的速度和可用性，同时还具有开源数据库的简单性和成本效益。Amazon Aurora 的设计与 MySQL 5.6 及PostgreSQL 9.6.1兼容，它提供的性能比同一硬件上运行的标准 MySQL 最多高达五倍，比PostgreSQL最多高达二倍。 下表是单个数据库实例能够支持的存储容量大小： RDS数据库引擎 存储容量 MySQL 6TB Oracle 6TB PostgreSQL 6TB MariaDB 6TB SQL Server 4TB Aurora 64TB 不过由于Aurora目前并未在所有region提供，比如中国北京，同时支持的引擎有限，对于中国区用户及使用其他数据库引擎的用户，不得不考虑其他的解决方案。随着近年来海量数据存储、并行计算、异构数据互联等一系列新技术在市场上不断出现。相信数据库行业的很多从业者都对传统关系型数据库的单点故障及容量问题头疼不已，而数据库分库分表也早已成为解决此类问题的基础。 本文要介绍的Mycat是一款面向企业级应用的开源数据库中间件产品，支持事务、ACID，能够对接Oracle、MySQL、DB2、SQL Server、MongoDB、SequoiaDB等数据库，支持透明的读写分离机制，支持各种MySQL集群，包括标准的主从异步集群、MySQL Galera Cluster多主同步集群等，通过大表水平分片方式支持100亿级大表的分布式存储和秒级的并行查询能力，内建数据库集群故障切换机制，实现自动切换，可满足大部分应用的高可用性要求。 配置步骤: 第一步 创建RDS数据库实例 创建一个RDS将会使用的参数组mycat 在分库分表的情况下，Mycat可以通过如下几种方式保证自增主键的全局唯 一: 1. 本地文件方式 在sequence_conf.properties文件中设置主键的当前值，最小值和最大值 2. 数据库方式 在其中一个 MySQL 节点中建立一张表，存放 sequence 的名称，当前值，步长 等信息，并通过存储过程修改更新信息 3. 本地时间戳方式 4. […]

As a managed database service, Amazon RDS takes care of the more routine aspects of setting up, running, and scaling a relational database. We first launched support for SQL Server in 2012. Continuing our effort to add features that have included SSL support, major version upgrades, transparent data encryption, enhanced monitoring and Multi-AZ, we have now added support […]

Amazon RDS作为托管数据库服务，负责关系数据库设置、运行和扩展方面的多种常规工作。我们于 2012 年首次推出对 SQL Server 的支持。之后一直在努力丰富和完善各项功能 (包括 SSL 支持、主要版本升级、透明数据加密、增强监控和多可用区)，现在又增加了对 SQL Server 本机备份/还原的支持。SQL Server 本机备份包括所有数据库对象：表、索引、存储过程和触发器。这些备份通常用于在本地或云中运行的不同 SQL Server 实例间迁移数据库。它们可用于数据提取、灾难恢复等。本机备份还可简化从本地 SQL Server 实例中导入数据和架构的过程，并且便于 SQL Server 数据库管理员了解和使用。 支持本机备份/还原 您现在可以从 RDS 实例中进行本机 SQL Server 数据库备份，并将其存储在 Amazon S3 存储桶中。这些备份可以还原到 SQL Server 的本地副本或另一个支持 RDS 的 SQL Server 实例。您还可以将本地数据库备份复制到 S3，然后再将其还原到 RDS SQL Server 实例。使用 Amazon S3 进行的 SQL Server 本机备份/还原还支持在所有 SQL Server […]

在前面的blog《将Oracle数据库迁移到AWS云的方案》中谈到了多种将Oracle数据库从数据中心迁移到AWS云中的方法。其中 使用DMS服务迁移的方法简单实用，也支持异构数据库的迁移，很多朋友都想使用这种方法完成迁移。但是在北京区域不支持DMS服务，如何实现类似的迁移工作呢？其实在北京区域支持使用Database Migration Tool（DMT)来迁移数据库，DMT工具是DMS服务的前身，它是安装在Windows上的一个软件，迁移前只需要获取DMT工具的AMI，然后简单的配置后，就可以进行数据迁移了。本文主要讨论如何使用DMT将Oracle迁移到Amazon RDS数据库，示例的场景如下图所示： 在建立客户本地数据中心与AWS连接的时候，考虑到安全性问题，我们建议您通过VPN或者企业专线来建立数据库之间的连接，您只需确保您本地数据库端口（例如Oracle端口1521）对外可访问。如果您的业务对安全性要求较高，需要传输的数据量较大，同时，要求以较快速度传输的时候，可以采用专线迁移，但是这种方法成本较高，您需要根据您的业务需求来选择是通过VPN还是企业专线迁移。 在介绍DMT数据库迁移之前，我们首先介绍一下DMT迁移工具支持的数据库类型以及对源和目标数据库的限制：DMT目前支持将Oracle、SQL Server、MySQL、SAP Sybase以及PostgreSQL作为源或目标数据库，您也可以将Amazon Redshift作为您的目标数据库。同时，DMT也支持异构数据库的迁移，例如将Oracle迁移到MySQL。 DMT工具为我们迁移数据库提供了巨大的便利，然而，它也有一些限制条件，下表主要介绍DMT支持的三种常用关系型数据库版本以及相关限制条件。如果您需要了解更多有关DMT迁移数据库信息，请参考DMT用户手册： https://s3.cn-north-1.amazonaws.com.cn/rdmt/RDS+Migration+Tool+User+Guide.pdf 使用DMT迁移主要有下面几个步骤： （1）获取DMT的AMI （2）启动DMT的AMI （3）登陆DMT服务器 （4）配置服务器 （5）访问DMT工具 （6）迁移数据 1.获取DMT的AMI 如果您有数据库数据需要导出或者导入到AWS 北京区域中，首先您需要获取DMT的AMI镜像，然后根据镜像启动EC2服务器。获取DMT的镜像有两种方式： （1）和支持您当前AWS账号的商务人员联系，他能帮您在后台申请访问DMT AMI的权限。 （2）您也可以自己在Support Center 中开case。在AWS Console中访问Support Center的方式如下图所示： 2.启动DMT的AMI 当您有能访问DMT的AMI以后，登陆您的AWS账号，进入Services->EC2->AMI的界面，选择“Private images”列表，就可以看到有一个Amazon_RDS_Migration_Tool的记录，这就是最新的迁移工具，如下图所示： 选择DMT点击上方的“Lunch”按钮，启动一个已经安装好DMT工具的服务器。接下来您需要配置您实例的类型、大小、实例所在VPC以及安全组和密钥等信息。具体配置步骤请参考官方文档：http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/EC2_GetStarted.html 需要注意的是： （1）在选择DMT服务器所在VPC的时候，尽量选择源或者目标数据库所在的VPC创建DMT服务器，这样可以加快迁移的速度。 （2）在配置安全组的时候，您的安全组应该允许RDP协议和https协议。由于DMT服务器是Windows Server服务器，因此您需要使用Windows远程桌面连接访问，此时需要RDP协议，source指定当前需要连接客户端的IP或者IP段。DMT工具可以通过浏览器来访问，因此需要设置https协议的安全组，如下图所示： 3.登陆DMT服务器 启动DMT服务器，并下载私钥后，就可以登陆DMT服务器了，如下图所示，当您的服务器状态显示为running，并且通过健康检查后，您的服务器就可以正常访问了。如下图所示： 选择您的DMT服务器，然后点击Connect，显示如下界面： 在此步骤中，您需要根据下载的私钥获取登陆Windows的密码。点击 get Password,显示如下图所示界面： 输入您前面下载的私钥的文件全部内容，点击 Decrypt Password后，您在界面上可以看到Administrator的密码，请记录下这个密码。下面就可以登陆服务器了。 本例中是使用MAC的Windows远程终端软件来访问DMT服务器，如果您使用Windows客户端，访问过程类似，输入远程DMT服务器的DNS名称，输入用户名和密码并连接。 连接上DMT终端后，您会看到Windows Server 2012的桌面如下图所示，桌面上有DMT工具。 连接到远程终端后，您可以根据需要修改访问Windows的密码，修改密码可以在控制面板中完成，界面如下： 4. 配置服务器 登陆到DMT服务器后，在界面上有Database Migration […]

1.Oracle数据库的迁移方法 如何将Oracle数据库从数据中心迁移到AWS云上是DBA经常遇到的问题，迁移Oracle数据库有多种方式： (1)使用AWS DMS服务迁移 (2)使用Oracle SQL Developer迁移 (3)使用Oracle Data Pump迁移 (4)使用Oracle Export/Import迁移 (5)使用Oracle SQL Loader迁移 如果需要了解不同的迁移方法，可以参考 博客《Oracle数据库迁移到AWS云的方案》 。 2.使用Oracle Data Pump迁移 本文主要讨论使用Oracle Data Pump将Oracle数据库迁移到RDS数据库。示例数据库的信息如图。   下面是模拟在数据中心的Oracle11g源数据库中创建用户和表，并将源数据库迁移到AWS云中RDS Oracle 11g数据库的全过程。 步骤一：初始化源数据库并使用Data Pump导出 (1)使用SQL Plus登录源Oracle数据库 sqlplus / as sysdba (2)创建用户test create user test identified by welcome1; (3)为新创建用户grant权限（实际使用请给用户grant合适的权限) grant dba to test; (4)为用户test创建表 create table test.aa(id varchar(20) not null […]