亚马逊AWS官方博客

AWS Team

Author: AWS Team

使用 Amazon EC2 Inf2 实例运行大语言模型 GPT-J-6B

在 2019 年的 AWS re:Invent 上,亚马逊云科技发布了 Inferentia 芯片和 Inf1 实例,Inferentia 是一种高性能机器学习推理芯片,由 AWS 定制设计:其目的是提供具有成本效益的大规模低延迟预测。时隔四年,2023 年 4 月亚马逊云科技发布了 Inferentia2 芯片和 Inf2 实例,旨在为大型模型推理提供技术保障。本文将介绍如果使用 Inf2 实例运行 GPT-J-6B 模型。

Global to China 跨国企业 Kubernetes 应用跨境复制和部署方案

很多跨国企业在将他们部署在亚马逊云科技海外区域 Kubernetes 方案复制到北京和宁夏区域的时候,会碰到一些海外镜像仓库访问不稳定的情况,比如共有镜像仓库 Google gcr.io,Red Hat Quay.io 等,又或者需要使用亚马逊云科技海外区域 ECR 存储的镜像。基于这个背景,本文介绍了如何使用亚马逊云科技官网数据传输解决方案结合 Kubernetes Mutating Webhook,端到端地实现从海外镜像库复制镜像到国内,同时在不改变原有 Kubernetes 部署文件的前提下自动更改镜像地址。

使用 Amazon EMR Studio 探索 Apache Hudi 核心概念 (4) – Clustering

本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍,利用 Notebook 提供的统一环境和上下文,我们可以非常生动地观察到 Hudi 的运行机制,并深刻体会到其背后的控制原理,这也正是本系列文章的写作灵感:我们希望借助 Notebook“探索,发现,思考,领悟”的思维模式,带领大家开启一段 Hudi 核心概念的探索之旅。