亚马逊AWS官方博客

Tag: 存储

AWS文件存储网关初体验

1.    背景介绍 AWS Storage Gateway 是一项可以帮助用户实现在混合架构环境中将本地数据中心内设施与AWS云端存储进行无缝集成的服务。通过Storage Gateway可以简化本地IT环境与云端存储间移动数据,将数据存储到AWS云,并且实现备份,存档以及灾难恢复等主要功能。 Storage Gateway家族之前已经包含有基于卷接口以及磁带接口类型的网关设备,帮助用户可以在适当的场景下选择合适的方式去将本地的数据迁移到云端,在去年Las Vegas 举办的re:Invent大会上,AWS更进一步又推出基于文件接口(支持NFS3和NFS4.1)类型的存储网关,给用户提供了更多的选择,方便用户可以通过标准的文件协议将文件作为对象直接存储在Amazon S3上,这样不但可以借助于S3超高的持久性优势对文件进行持久化保存,还可以将S3对象的版本控制,生命周期管理以及跨区域复制等存储策略直接应用到存储对象中。 要使用文件存储网关服务,必须为存储网关下载虚拟机镜像,并从 AWS 管理控制台或存储网关 API 激活它。写入到 NFS 的文件成为 Amazon S3 中的对象, 文件与对象之间存在一对一的映射,对象使用 Amazon S3 托管的加密密钥 (SSE-S3) 在服务器端加密,所有数据传输通过 HTTPS 执行。 文件存储网关服务使用分段并行上传等技术,优化了网关与 AWS 之间的数据传输,以更好利用可用带宽。与缓存卷类似,系统维护本地缓存以提供对最近访问数据的低延迟访问,并减少数据传出成本。 新年伊始,让我们撸起袖子,一起来体验一下新型的存储网关带来的超能力,尝试如果使用文件存储网关这项新的功能来实现对本地文件的云端迁移。 2.    部署与配置存储网关 文件存储网关适用于将数据传入到 S3 以供应用日常使用、备份和存档到 AWS 云上不同类型的存储服务。 图1 在进入具体的安装部署环节之前,我们首先来了解一下使用文件存储网关中涉及到的主要调用流程。用户的应用服务器运行在自有数据中心内,在用户环境中部署文件存储网关(File Gateway),用户或应用服务器通过NFS客户端连接存储网关,利用网关,可以将 S3 中的存储桶作为 NFS 装载点,从而对文件进行写入和访问。 2.1  安装部署文件存储网关 首先登录到AWS Storage Gateway Console https://console.amazonaws.cn/storagegateway/home?region=cn-north-1 […]

Read More

AWS Snowmobile——在数周内将数EB数据迁移至云端

将大规模数据由内部环境迁移至云端往往是业务转移工作中的最大挑战——但这种挑战本不必存在。即使配合高速传输连接,将PB甚至EB规模的影片库、财务记录、卫星图像或者科学数据通过互联网进行转移仍然需要耗时数年甚至数十年。从商业角度来看,添置新型网络或者升级现有连接显然并不现实,特别是考虑到转移完成后数据中心将不再需要这样奢侈的网络资源。 去年我们公布了AWS Snowball服务(具体请参阅AWS Snowball——利用Amazon提供的存储设备在一周内迁移1 PB数据)作为大规模数据迁移的一种可行方案。凭借着80 TB高存储容量,这些设备能够很好地解决大多数客户面临的难题,而且其目前已经得到广泛采用。 然而,对于拥有EB级别内部存储规模的客户,这80 TB容量仍然显得相当可怜。通过计算,他们发现要完成全部数据的迁移需要大量设备,并且需要解决令人头痛的大规模物流寄送问题。 AWS Snowmobile介绍 为了满足此类客户的实际需求,我们在AWS re:Invent 2016上公布了Snowmobile服务。这一安全数据存储车可容纳高达100 PB数据,从而帮助大家在数周之内将EB级别数据迁移至AWS当中(如果必要,您还可以使用多辆存储车)。其设计目标在于帮助来自金融服务、媒体及娱乐、科学乃至其它行业的客户解决问题。Snowmobile可接入您的网络并作为本地NFS挂载式分卷使用。大家可利用现有备份与归档工具将需要上传至Amazon简单存储服务(简称S3)或者Amazon Glacier的数据导入其中。 从物理结构来看地,Snowmobile采用一款坚固耐用且难于侵入的,尺寸为45英尺长、9.6英尺高、8英尺宽海运集装箱作为外壳。Snowmobile具备防水防恶劣天气设计,能够随意停靠在您现有数据中心附近。每台Snowmobile需要使用350千瓦交流电源; 如果大家现场不具备充足电力,我们还可提供发电机供其运作。 在安全层面,Snowmobile将包括从监管追踪到视频监控在内的多个逻辑与物理保护层,并加以结合。用户的数据利用AWS密钥管理服务(简称KMS)提供的密钥进行加密,而后才会被写入设备当中。每套集装箱都配备有GPS追踪,其利用蜂窝或者卫星连接与AWS方面进行通信。我们将在Snowmobile行进过程中安排一辆安保车全程保护。在Snowmobile处于您的内部基础设施附近时,我们还可以提供专门的安保人员进行配合。 每台Snowmobile中包含一根网络线缆,连接在一台高速交换机上,能够通过多条40 Gb/S的连接以1 Tb/S的速率传输数据,从而实现高速数据交换能力。假定大家的现有网络能够在传输速度上达到这一水平,则可在约10天时间内装满一台Snowmobile。 Snowmobile的运作 我个人手头没有EB级别数据中心,我当然也没有足够的空间容纳这一45英尺长的大型集装箱。不过为了帮助大家更好地理解Snowmobile的运作流程,我决定使用自己的乐高组装台,并借此建立起一套缩小模型。我希望大家能够喜欢这种以小见大的解释方式! 下面从客户的数据中心起步。其之前就已经构建完成,而且已经颇有年头。机架中塞满了不同年份的磁盘与磁带驱动器,每一台都包含有珍贵的关键性业务数据。而您和您的同事则不得不将大量时间投入到规划楼层面积、追踪线路排布以及尽可能压榨性能方面: 而管理者则越来越沮丧,不知道这样勉强为之的作法还能持续多久: 幸运的是,一位同事每天都在关注博客,而她借此找到了解决问题的办法: 在与AWS进行通话之后,双方很快安排了一次会议: 大家齐聚AWS办公室,希望了解更多与Snowmobile以及迁移计划相关的细节信息: 大家围在Snowmobile微缩模型周边,连小狗也来凑热闹。管理者则拍下了照片: 一辆Snowmobile出现在您的数据中心附近: AWS Professional Services(专业服务)帮助大家将其与设施对接,从而开始进行数据传输: Snowmobile重新驶回AWS,而您的数据亦按照指定要求导入至云端! Snowmobile在 DigitalGlobe的表现 作为我们的合作伙伴,DigitalGlobe公司利用Snowmobile将100 PB卫星图像数据迁移至AWS当中。以下为Jay Littlepage(前Amazon员工,现任DigitalGlobe公司基础设施与运营副总裁)对于这项服务的评论: 与多数大型企业一样,我们也在努力将IT运营负载由自有数据中心迁移至AWS。我们的地理空间大数据平台GBDX自建立以来始终以AWS作为运行基础。但我们的高分辨率卫星影像已经拥有16年的收集历史,其覆盖地球表面60亿平方公里面积且始终存放在自有设施之内。我们虽然已经开始将归档逐步迁移至AWS,但整个过程缓慢且效率低下。我们的卫星每年都在生成更多地球拍摄影像(10 PB),而其总量甚至超过了以往迁移能力的上限。 我们需要一套解决方案,能够把我们现有的100 PB归档快速迁移至AWS环境当中,但在Snowmobile出现之后并无可行的途径可用。DigitalGlobe公司目前能够将全部原始影像归档直接通过一辆Snowmobile转移至Amazon Glacier存储库内。AWS Snowmobile运营人员提供极为出色的定制化服务,他们协助进行了配置、监控与物流追踪。利用Snowmobile强大的数据传输能力,我们得以越来越快地将影像归档导入至AWS端,这使得我们的客户及合作伙伴能够快速获取海量数据集。通过在GBDX当中使用AWS的弹性计算平台,我们将能够运行分布式图像分析、以前所未有的速度揭示全球范围内的环境变化速度与格局发展趋势,并以较内部设施更具成本效益的方式获得洞察结论。如果没有Snowmobile,我们无法在这么短的时间内传递如此庞大的数据集或者为客户创造新的商业机遇。Snowmobile已经成为真正的游戏规则改变者! 需要了解的情况 以下为大家应当了解的,与Snowmobile相关的一些情况: 数据导出——这项服务的最初目标在于实现面向AWS的数据导入。但我们很清楚,也有一部分客户希望借此实现数据导出,从而建立起更为快速高效的灾难恢复用例。 推出时间——Snowmobile目前已经在全部AWS服务区正式上线。正如在以上章节中所提到,其并不属于自助服务型产品。大家可以同AWS方面的销售人员讨论实际需求以及需要进行导入的具体数据类型与规模。 价格——目前还无法公布确切的定价信息。然而,我们可以保证Snowmobile在速度与实施成本上优于基于网络的数据传输模式。 -Jeff 原文链接: https://aws.amazon.com/cn/blogs/aws/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/

Read More

利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶

背景介绍 Amazon S3是互联网存储解决方案,能让所有开发人员访问同一个具备可扩展性、可靠性、安全性和快速价廉的数据存储基础设施。Amazon S3 提供了一个简单 Web 服务接口,可用于随时在 互联网上的任何位置存储和检索任何数量的数据。开发人员可以利用Amazon提供的REST API接口,命令行接口或者支持不同语言的SDK访问S3服务。 对于原来使用本地目录访问数据的应用程序,比如使用本地磁盘或网络共享盘保存数据的应用系统,如果用户希望把数据放到S3上,则需要修改数据的访问方式,比如修改为使用AWS SDK 或CLI访问S3中存储的数据。为了让用户原来的应用系统能在不做修改的情况下直接使用Amazon S3服务,需要把S3存储桶作为目录挂载到用户服务器的本地操作系统上。常用的挂载工具有S3fs和SubCloud等。本文主要介绍如何利用S3fs将S3存储桶挂载到Amazon EC2 Linux实例上。 S3fs介绍 S3fs是基于FUSE的文件系统,允许Linux和Mac Os X 挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。关于S3fs的详细介绍,请参见:https://github.com/s3fs-fuse/s3fs-fuse 利用S3fs挂载S3存储桶 一、准备 使用拥有足够权限的IAM账号登录AWS控制台。 创建S3存储桶,给存储桶命名如“s3fs-mount-bucket”(如果使用已有存储桶,本步骤可略过)。      3. 创建具有该S3存储桶访问权限的 IAM 用户,并为该IAM用户创建访问密钥。 a) 关于如何创建IAM用户,请参见:http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_users_create.html#id_users_create_console b) 关于如何为IAM用户创建访问密钥,请参见:http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_credentials_access-keys.html c) 关于如何为IAM用户设置权限策略,请参见:http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/access_policies_create.html https://aws.amazon.com/cn/blogs/security/writing-iam-policies-how-to-grant-access-to-an-amazon-s3-bucket/ 4. 创建并启动Amazon EC2 Linux实例 具体过程请参见:http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/launching-instance.html 二、安装和配置S3fs 安装s3fs a) 使用Amazon EC2默认用户“ec2-user”和对应的私钥文件登录启动的Linux实例(请注意将下边例子中的私钥文件和ec2实例域名替换为用户自己的值) ssh -i /path/my-key-pair.pem ec2-user@ec2-198-51-100-1.compute-1.amazonaws.com b) 安装必要的软件包 sudo yum install […]

Read More

New feature launched to AWS China (BJS) region, operated by SINNET – Amazon RDS for SQL Server – Support for Native Backup/Restore to Amazon S3

As a managed database service, Amazon RDS takes care of the more routine aspects of setting up, running, and scaling a relational database. We first launched support for SQL Server in 2012. Continuing our effort to add features that have included SSL support, major version upgrades, transparent data encryption, enhanced monitoring and Multi-AZ, we have now added support […]

Read More

如何使用AWS 命令行分段上传大文件

1.S3上传文件介绍 使用亚马逊云的朋友经常需要上传文件到S3存储,亚马逊S3提供了在单个操作中上传文件和分段上传文件两种方式。使用单个操作上传,每次可以上传最大5GB的文件。如果使用分段上传来上传文件,可以 上传最大大小为5TB的文件。 2.分段上传的概念及其优势 分段上传允许将一个文件分割成多个分段 ,您可以按任意顺序上传这些文件分段。如果任意分段传输失败,可以重新传输该分段且不会影响其他分段。当对象的所有段都上传后,S3 可以使用这些分段创建对象。一般而言,如果您的文件大小达到了 100 MB,您应该考虑使用分段上传,而不是在单个操作中上传文件。 分段上传的优势主要有以下几点: 提高吞吐量 如果需要上传的文件比较大,使用直接上传方式,效率很低。而使用亚马逊S3分段上传功能,通过并行上传分段以提高吞吐量,能充分利用当前的带宽,提高了上传效率。 从网络问题中快速恢复 如果使用分段上传,某个分段失败了,你只需要重新上传这个分段,将上传文件时由于网络错误所产生的影响降至最低。  突破S3单文件上传限制 当文件大于5GB,你只能将文件分片,然后分段上传。 3.S3分段上传的核心规范 S3分段上传的部分指标如下表所示: 4. S3分段上传的权限配置 使用S3分段上传需要适当的权限配置,相比于S3的单文件上传,S3在分段上传时需要部分额外的权限,最低的S3分段上传权限配置如下所示: {     “Version”: “2012-10-17”,     “Statement”: [         {             “Effect”: “Allow”,             “Action”: [                 “s3:AbortMultipartUpload”,                 “s3:GetObject”,                 “s3:ListBucketMultipartUploads”,                 “s3:ListMultipartUploadParts”,                 “s3:PutObject”             ],             “Resource”: [                 “*”             ] […]

Read More