Author: AWS Team

利用 SageMaker Fast File Mode 及构建流式大模型训练

生成式人工智能（GenAI）正在改变企业的运作方式，并加快创新的步伐。总体而言，人工智能正在改变企业利用技术的方式。生成式人工智能技术包括微调和部署大型语言模型（LLM），并允许开发人员访问这些模型以执行提示和对话。负责在 Kubernetes 上制定标准的平台团队可以在 Amazon EKS 上微调和部署大语言模型。本文将通过一个端到端的例子带您了解如何在 Amazon EKS 上构建生成式人工智能系统。

本篇博客介绍了使用 Amazon S3 的 ListObjectsV2 API 实现快速遍历亿级对象存储桶的基本原理。

本文通过对 EMR on EC2 与 EMRServerless 中 Spark 任务的提交、监控、下载日志过程进行抽象并封装成 Python 类库，极大地简化了使用 Spark 的门槛，以及从 EMR on EC2 切换至 EMRServerless 的改造成本。

使用兼容 Amazon Aurora MySQL 的版本在亚马逊云科技云中运行您的关系数据库时，关键要求之一是 […]

本文展示了利用 Mountpoint for Amazon S3 CSI driver 将 S3 存储桶挂载在 Kubernetes 容器下，容器中的 LLM 训练脚本通过读取 Mountpoint for S3 挂载目录的方式直接访问S3存储桶上的数据进行训练。

在传统的 Lambda 自动解压方案中，解压后的上万个文件重新上传回 S3，使用单个线程需要消耗非常长的时间，甚至超过 Lambda 所能运行的最长时间（15 分钟）。您可以在 Lambda 使用多线程的运行，提高大文件解压上传的速度，最大可提高 30 倍。

StarRocks 致力于构建新一代极速全场景 MPP （Massively Parallel Processing）数据库，致力于帮助企业构建极速统一的湖仓分析新范式。从初创公司到企业，组织都在使用 StarRocks on AWS 解决方案进行数据分析和治理。 StarRocks on AWS 让我们的客户可以在全球各地快速可靠地构建自己的数据分析中心。现在，为了让更多用户以更低廉的成本进行数据分析和治理，我们推出了存算分离版本。让我们的用户可以提高资源利用率的同时优化成本。

现代业务系统受到越来越多的韧性相关的挑战，特别是客户要求他们的业务系统 7×24 不间断的运行。因此，韧性对于云的基础设施和应用系统有着至关重要的作用。 亚马逊云科技把韧性视为一项最基本的工作，为了让我们的业务系统能持续优雅地提供服务，从各种故障和灾难中迅速恢复，亚马逊云科技不仅提供了全球高可用的基础设施，也提供了构建韧性系统的最佳实践和方法。

本文介绍了 Clean Rooms 在面临广告行业隐私数据保护需求挑战时提供的解决方案，以及 Clean Rooms 中的分析规则、数据连接和最佳实践等。可以看到，Clean Rooms 为广告行业实现隐私保护的数据协作提供了重要支持，而随着服务的不断完善和新功能的增添，相信它将为企业开启更多高效、安全的协作新模式，实现隐私保护和商业价值的双赢。