Amazon Web Services ブログ

Amazon VPC Lattice と AWS Gateway API コントローラーのご紹介:Kubernetes Gateway API の実装

AWS は Amazon Virtual Private Cloud (Amazon VPC) の新機能である Amazon VPC Lattice の一般提供を発表しました。サービス間通信の接続、保護、監視をおこなう一貫した方法が提供されます。Amazon VPC Lattice の提供の一環として、Kubernetes Gateway API の実装である AWS Gateway API コントローラー を紹介します。

大規模モデル推論コンテナを使って AWS Inferentia2 に大規模言語モデルをデプロイ

本稿では、AWS Inferentia2 上で大規模言語モデルをデプロイする方法を解説します。ここでは、AWS Neuron ソフトウェア開発キット (SDK) を使って Inferentia デバイスにアクセスし、その高いパフォーマンスの恩恵を受けます。そして、モデルサービングのソリューションとして、Deep Java Library (DJLServing) を搭載した大規模モデル推論コンテナを使用します。Amazon Elastic Compute Cloud (Amazon EC2) の inf2.48xlarge インスタンスに OPT-13B モデルをデプロイし、これら3つのレイヤーがどのように連携しているかをデモンストレーションします。

Weekly aws Japan edition

週刊AWS – 2023/4/10週

週刊AWS 2023/4/10週号: Amazon Bedrockの限定プレビュー開始、Amazon EC2 Inf2/Trn1nインスタンスの一般利用開始、Amazon CodeWispererの一般利用開始と個人開発者への無料化、などなどを取り上げています