亚马逊AWS官方博客

AWS Team

Author: AWS Team

在 Amazon EKS 上使用 AWS Trainium 训练 Llama2

大语言模型和生成式人工智能的规模不断扩大，大大增加了计算需求，导致开发和部署成本不断上升。随着数据规模和模型复杂度的不断增加，训练模型所需的资源也越来越多。这种趋势凸显了类似 Amazon EKS 这类高性价比解决方案的重要性。Amazon EKS 提供了必需的可扩展性和计算能力，可在不产生高昂费用的情况下灵活管理模型训练的工作负载。

手把手教你玩转 Timestream For influxDB 实现时序数据存储和分析

本 blog 将手把手教你玩转 Timestream for influxDB，主要会包含以下几个部分：Timestream for InfluxDB 创建、连接、数据插入，如何采用 influxDB UI 连接和管理 Timestream for influxDB； 以及我们将以 devops 运维数据为示例场景，介绍如何采用 Timesteram for influxDB 来高效插入、存储时序数据；以及如何采用和集成 grafana，实现时序数据丰富和高效的查询、分析和展现。

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（三）EMR Serverless 操作要点、优化以及开放集成测试

在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（二）Apache DolphinScheduler 集成以及 LOB 粒度资源消费分析

在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（一）云上云下数据同步方案设计

在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。

Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

在本篇博客文章中，我们将深入探讨如何利用 CloudWatch 近乎实时地监控 Bedrock 的运行状况。本文设定用户场景，企业级用户使用多个 IAM 用户来使用 Bedrock，管理人员准实时监控每个 IAM 用户的 Token 数，超过阈值的时候剥夺该 IAM 用户的 Bedrock 权限，从而实现对单个 IAM 用户的精细成本管控，避免因为不当使用大语言模型而造成潜在的巨大成本损失。

使用 Serverless 架构快速构建基于 Iceberg 的事务型实时数据湖

目前大部分使用数据湖技术的场景，需要托管大规模的大数据集群，例如 Kafka 集群，Hadoop 集群等等，但是，由于集群的运维复杂度和资源弹性管理需要投入大量的人力。并且如果需要实现从数据库到数据湖的实时同步，需要对数据库事务性的数据变更进行单独的处理，才能够使得数据库与数据湖之间数据保持一致性。因此，本文提出基于 AWS 中相关的 Serverless 服务来构建数据湖，该方案主要利用 AWS 中 MSK Connect，MSK Serverless，Glue，Athena 来构建无服务的数据湖方案。

← Older posts
Newer posts →