Amazon Web Services ブログ

AWS Week in Review: 生成系 AI と Amazon EC2、Trn1n、Inf2、CodeWhisperer 向けの新サービスが現在一般公開中 – 2023 年 4 月 17 日

このブログ記事のタイトルは、ほぼ「AWS AI/ML Week in Review」と言えるかもしれません。 […]

大規模言語モデルを Amazon SageMaker 上で学習する際のベストプラクティス

Amazon SageMaker Training で 大規模言語モデル(LLM) の学習を成功させるための Tips とベストプラクティスについて深く掘り下げます。本記事では、LLM 学習ワークロードのすべてのフェーズをカバーし、関連するインフラ機能とベストプラクティスについて説明しています。これらのベストプラクティスにより、SageMaker 上で数千万から数億のパラメータ規模の LLM をトレーニングすることができます。

AWS Elemental MediaConnect Gatewayを用いたオンプレミスのマルチキャストビデオネットワークからクラウドへの接続

本日、アマゾン ウェブ サービス（ AWS ）は、オンプレミスのマルチキャストネットワークと AWS 間でライ […]

AWS Pricing Calculatorの一括インポートでコスト見積もりを迅速に取得

AWS Pricing Calculatorは、構造化されたExcelテンプレートを使用して Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、専有ホスト、 Amazon Elastic Block Store (Amazon EBS) ボリュームを一括インポートする機能に対応しました。この新機能により、 EC2 または EBS ベースのリソース群を短時間で見積もることができ、迅速な繰り返しが可能になります。

Amazon VPC Lattice と AWS Gateway API コントローラーのご紹介：Kubernetes Gateway API の実装

AWS は Amazon Virtual Private Cloud (Amazon VPC) の新機能である Amazon VPC Lattice の一般提供を発表しました。サービス間通信の接続、保護、監視をおこなう一貫した方法が提供されます。Amazon VPC Lattice の提供の一環として、Kubernetes Gateway API の実装である AWS Gateway API コントローラー を紹介します。

大規模モデル推論コンテナを使って AWS Inferentia2 に大規模言語モデルをデプロイ

本稿では、AWS Inferentia2 上で大規模言語モデルをデプロイする方法を解説します。ここでは、AWS Neuron ソフトウェア開発キット (SDK) を使って Inferentia デバイスにアクセスし、その高いパフォーマンスの恩恵を受けます。そして、モデルサービングのソリューションとして、Deep Java Library (DJLServing) を搭載した大規模モデル推論コンテナを使用します。Amazon Elastic Compute Cloud (Amazon EC2) の inf2.48xlarge インスタンスに OPT-13B モデルをデプロイし、これら3つのレイヤーがどのように連携しているかをデモンストレーションします。

← Older posts
Newer posts →