亚马逊AWS官方博客

AWS Team

Author: AWS Team

使用 Serverless 架构快速构建基于 Iceberg 的事务型实时数据湖

目前大部分使用数据湖技术的场景,需要托管大规模的大数据集群,例如 Kafka 集群,Hadoop 集群等等,但是,由于集群的运维复杂度和资源弹性管理需要投入大量的人力。并且如果需要实现从数据库到数据湖的实时同步,需要对数据库事务性的数据变更进行单独的处理,才能够使得数据库与数据湖之间数据保持一致性。因此,本文提出基于 AWS 中相关的 Serverless 服务来构建数据湖,该方案主要利用 AWS 中 MSK Connect,MSK Serverless,Glue,Athena 来构建无服务的数据湖方案。

通过 Bedrock Access Gateway 解决方案快速访问 Amazon Bedrock 的多种大语言模型

亚马逊云科技研发的 Bedrock Access Gateway 解决方案提供了兼容 OpenAI API 的代理功能。本文主要介绍该方案的架构、原理、部署方法,以及如何通过该方案在不修改原应用代码的情况下,将针对 GPT 的 API 请求转发给 Amazon Bedrock,从而快速访问包括 Claude3 在内的多种大语言模型。

如何禁用 Amazon SageMaker Notebook 的下载功能

用户 Jupyter Notebook 允许用户下载原始 .ipynb 文件,甚至提供了一个下载按钮。企业客户出于安全和合规的考虑,希望数据科学家/模型工程师仅从 SageMaker Notebook 实例访问用于机器学习训练的数据,并且希望限制他们将数据下载到本地计算机。本文将演示如何在 Amazon SageMaker Notebook 上禁止用户下载原始文件。