Category: Amazon Simple Storage Service (S3)

Amazon Athena 是一种交互式查询服务，可使用标准 SQL 轻松分析 Amazon Simple Storage Service（Amazon S3）中的数据。Athena 是一种无服务器服务，因此您无需管理任何基础设施，而且只需为所运行的查询付费。2019 年，Athena 增加了对联合查询的支持，以便跨存储在关系、非关系、对象和自定义数据来源中的数据运行 SQL 查询。

本文主要讲述在游戏场景下，根据DynamoDB的限制），在限制下尽可能存储更多的数据和当存储量超出限制时，扩展存储的最大化利用空间。重点描述如何利用DynamoDB+S3保存玩家存档中的大数据量属性，避免数据存在S3上后，在数据写入S3的时发生脏读的情况。同时利用gzip压缩减少数据大小，减少IO的开销提升性能。

本文以土壤微生物宏基因测序为例，演示了如何利用AWS Batch服务调用基于Graviton2处理器的实例用于基因分析，并验证了Graviton2高性价比的特性。

现在，越来越多的中国公司，在AWS海外区域部署业务。利用 S3 作为数据湖，存储海量的数据，包括图片、视频、日志、备份等等。很多场景下，需要把海外的 S3 数据复制到中国，在中国进行进一步分析处理。AWS S3 在海外提供跨区域自动复制功能 (Cross region replication, CRR) 。但是，由于中国和海外区域隔离，不能使用CRR功能。

您可以在将数据上传到 S3 时选择适用的存储类，也可以使用 S3 的生命周期策略告诉 S3 根据对象的创建日期将对象从“标准”转换为“标准 – IA”、“单区 – IA”或“Glacier”。请注意，低冗余存储类仍受支持，但我们建议在新应用程序中使用“单区 – IA”。

在本博文中，我们会向您展示如何使用 Conditions（而非 NotPrincipal 元素），将 S3 存储桶的访问权限限制到一个账户内的特定 IAM 角色或用户。即便相同账户中的另一个用户拥有 Admin 策略或带有 s3:* 的策略，只要未被显式列出，也同样会被拒绝。例如，您可以使用此方法配置存储桶，以供 Auto Scaling 组内的实例访问。您还可以使用此方法，限制对具有高级别安全需求的存储桶的访问。

直到现在，从大量非结构化或半结构化内容中提取价值一直都很困难，并且需要机器学习 (ML) 方面的背景。Amazon Comprehend 消除了这些进入障碍，让数据工程师和开发人员可以轻松访问丰富、持续训练的自然语言处理服务。

您可以通过将来自 Amazon Comprehend 的分析与关系业务信息相结合来构建完整的分析解决方案，从而生成有价值的趋势分析。

背景 在《Amazon S3 深度实践系列之一：S3 CLI深度解析及性能测试》一文中，我们深度剖析了AWS […]