Tag: Amazon S3

This article introduces the use of Athena to crop, enrich, repartition, format conversion and other ETL operations

使用AWS PrivateLink的Interface Endpoint方式访问Amazon Simple Storage Service (Amazon S3)，无须在Amazon Virtual Private Cloud (Amazon VPC)内搭建代理，即可从其他Amazon VPC和IDC内发起访问。Interface Endpoint与Gateway Endpoint同时使用可为整个架构提供更高的灵活性和可靠性。

该博客介绍了如何利用亚马逊云科技的服务组件快速搭建电动车电池告警预测平台，包括存储海量测试数据，构建基于Xgboost分类算法的电池故障报警预测模型，推理预测数据以及可视化的数据展示。

本文档介绍的方案是通过利用跨区域间的VPC对等连接和S3的接口终端节点，来实现跨区域私有访问S3。

本文首先简单介绍了ClickHouse及其特性和使用场景，然后介绍了通过与Amazon S3存储的结合，可以为数据分析系统带来的优势：成本优化以及数据湖的应用。接下来，我们又介绍了ClickHouse和S3集成的三种方案，并通过具体示例来展示了各方案的具体实现方法和优劣势。

本文介绍了如何使用AWS DMS，将批处理方案转换为近实时解决方案。这套解决方案大大简化了将记录由Amazon S3迁移至Kinesis并加以分析的过程。Kinesis作为AWS DMS指定的目标，可为多种其他系统提供数据资源。这样一条近实时管道将帮助您快速了解系统内的各类变化，最终提升组织的实际决策能力。

在此博客中，我们介绍了设置AWS Config托管规则以识别未启用版本控制的Amazon S3 存储桶的步骤。我们还将通过使用AWS Systems Manager（SSM）自动化文档在S3存储桶上配置版本控制来实施AWS Config自动修复。

Nextcloud是一款开源免费的云存储网盘项目，配合AWS S3和EFS服务，我们可以快速地构建企业级的云存储网盘。

今天，我们将为 S3 智能分层发布两项新的优化，它们将自动存档很少访问的对象。这些新的优化将减少一次性存档具有不可预测访问模式且数月未访问的对象所需的手动工作量。

本博客介绍了如何使用此参考架构构建自动驾驶数据湖。我们讨论的工作流范围从如何提取数据、为机器学习准备数据、将 ADAS 系统和车辆传感器的输出进行编目、对其进行标注、自动检测场景，到管理那些将其移动到有组织的数据湖构造所需的各种工作流。开发 AWS 自动驾驶和 ADAS 数据湖参考架构之前，我们曾与众多客户合作应对实现这一目标所面临的挑战。