亚马逊AWS官方博客

使用 AWS DMS 和 AWS Glue 持续加载数据湖更改

在 Amazon S3 上构建数据湖可让组织受益无穷。它允许您访问各种数据源,确定独特的关系,构建 AI/ML 模型来提供定制的客户体验,并加速新数据集的管理以供消费。但是,无论是在本地还是在 AWS 上,从运营数据存储中捕获不断变化的更新并将其加载到数据湖,都可能会非常耗时且难以管理。
下文演示了如何部署一个解决方案,将来自热门数据库源(如 Oracle、SQL Server、PostgreSQL 和 MySQL)的持续更改加载到您的数据湖中。该解决方案会将新数据和发生更改的数据流式传输到 Amazon S3。它还会创建和更新相应的数据湖对象,根据您配置的计划提供与数据源类似的数据视图。然后,AWS Glue Data Catalog 公开新更新和经过重复数据删除的数据,以供分析服务使用。

Read More

在 Amazon Elasticsearch Service 中设置警报

4 月 8 日,Amazon ES 推出了事件监控和警报支持。要使用此功能,您可以使用带有触发器(即您设置的特定触发条件,指示监视器何时发送警报)的监控 Monitor(即事先安排的作业)。警报是发生触发条件的通知。触发器触发时,监控 Monitor 将执行特定操作(向目标发送消息)。
本文使用模拟的物联网 Device Farm 生成数据并将数据发送到 Amazon ES。

Read More

如何使用 AWS Step Functions 和 AWS Glue 将 Amazon DynamoDB 表导出至 Amazon S3

不愧是 AWS 的做派,我在 AWS 大数据博客上发表 How Goodreads offloads Amazon DynamoDB tables to Amazon S3 and queries them using Amazon Athena 之后不到一周,AWS Glue 团队就发布了 通过 AWS Glue 爬网程序和 AWS Glue ETL 作业原生读取 DynamoDB 表中数据的功能。我对此兴奋不已。写得代码越少意味着缺陷越少。最初的架构已经存在了至少 18 个月,只需稍加改进即可实现大幅简化。

Read More

使用 Amazon CloudFront 交付应用程序的动态内容 — 入门模板

在本博文中,我们将演示如何使用 CloudFront 来通过单个分发同时交付静态内容和动态内容,满足动态和静态网站以及 Web 应用程序的需要。您将会学习如何通过 CloudFront 连接到自定义的动态内容源(在此例中为一个 Amazon EC2 Web 服务器)和用于静态内容的 Amazon S3 存储桶,从而实现这一目标。

Read More

容器和容器化应用程序的操作见解

我们于今年 7 月在纽约举行的 AWS Summit 上宣布推出作为新集群公开预览版的 Amazon CloudWatch Container Insights,它支持 Amazon ECS 和 AWS Fargate。从今天起,Container Insights 正式发布,现在还增加了监控现有集群的功能。通过容器管理服务(包括 Kubernetes、Amazon Elastic Container Service for Kubernetes、Amazon ECS 和 AWS Fargate),可以轻松获得对新集群和现有集群基础架构和容器化应用程序的计算使用率和故障的即时见解。

Read More

新增功能 — AWS Global Accelerator 的客户端 IP 地址保护

今天,我们宣布推出 AWS Global Accelerator 的一项重要新功能。现在,如果您将流量路由至某个 Application Load Balancer,用户客户端的 IP 地址将可用于在终端节点运行代码,从而执行特定 IP 地址的特定逻辑。例如,您可以使用基于 IP 地址进行筛选的安全组,也可以根据用户的 IP 地址或地理位置向其提供自定义的内容。您还可以使用 IP 地址来收集有关用户地理分布的更准确统计信息。

Read More

如何把设备安全的接入AWS IoT(四)

本系列文章前面三篇介绍了AWS IoT支持的所有协议,认证和授权方式的原理和细节,以及其分别所适应的场景。并介绍了设备使用IAM身份认证,Amazon Cognito身份和X.509身份接入AWS IoT的参考步骤和参考代码。接下来本文介绍设备使用自定义身份验证方式接入AWS IoT的参考步骤和参考代码。
在进行下一步之前,请确保已执行完本系列文档第一篇的第4章,准备工作。

Read More

如何把设备安全的接入 AWS IoT(三)

本系列文章前面两篇介绍了AWS IoT支持的所有协议,认证和授权方式的原理和细节,以及其分别所适应的场景。并介绍了设备使用IAM身份认证和Amazon Cognito身份接入AWS IoT的参考步骤和参考代码。接下来本文介绍设备使用X.509证书身份认证方式接入AWS IoT的参考步骤和参考代码。
在进行下一步之前,请确保已执行完本系列文档第一篇的第4章,准备工作。

Read More

如何把设备安全的接入AWS IoT(二)

本系列文章前面一篇介绍了AWS IoT支持的所有协议,认证和授权方式的原理和细节,以及其分别所适应的场景。并介绍了设备使用IAM身份认证接入AWS IoT的参考步骤和参考代码。接下来本文介绍设备使用Amazon Cognito身份认证方式接入AWS IoT的参考步骤和参考代码。
在进行下一步之前,请确保已执行完本系列文档第一篇的第4章,准备工作。

Read More