Amazon Web Services ブログ

AWS Trainium、AWS Inferentia が AWS 上の Llama 3.1 モデルに高性能と低コストを提供

本日、AWS Trainium と AWS Inferentia による Llama 3.1 モデルのファインチューニングと推論のサポートを発表できることを嬉しく思います。Llama 3.1 ファミリーは、8B(80億)、70B(700億)、405B(4,050億)サイズの事前学習およびインストラクションチューニング済みの多言語大規模言語モデル(LLM)のコレクションです。
以前の投稿では、Amazon SageMaker JumpStart で AWS Trainium と Inferentia ベースのインスタンスに Llama 3 モデルをデプロイする方法について解説しました。今回の投稿では、AWS AI チップ上で そのコストパフォーマンスの利点と共に Llama 3.1 ファミリーのモデルのファインチューニング及びデプロイを実現する方法について概説します。

【開催報告】 オンライン化によって進化する次世代自販機のご紹介

2024 年 6 月 20 日、21 日に開催された AWS Summit Japan の展示から、「新価格体験を実現する次世代自販機」をご紹介します。この展示では、消費財企業にとって重要な Direct to Consumer の販売チャンネルである自販機をオンライン化することによって進化させて、在庫や周囲環境の状況に合わせて販売価格を最適化するダイナミックプライシングのアイデアを紹介しました。

Karpenter を採用することで Slack はどのように業務効率とコスト効率を高めたか

Slack は人々、会話、アプリ、システムを 1 つの場所につなぐ AI を活用した業務用のプラットフォームです。Slack は、コンテナのデプロイや管理をシンプルにするために、”Bedrock” というコードネームの内部コンピューティングオーケストレーションプラットフォームを Amazon Elastic Kubernetes Service (Amazon EKS) を採用して構築しました。Bedrock は、単一の YAML ファイルでビルド、デプロイ、ランタイム環境を処理することで、Slack 内部の開発者の複雑さを大幅に軽減しています。また、Jenkins、FQDN サービスディスカバリー、Nebula overlay network などのツールを活用して効率的な運用を実現しています。Slack のアプリケーションの 80% 以上が Bedrock で稼働しており、テストの精度が向上し、インフラストラクチャの管理が洗練されたことで、開発者はより効率的に作業できるようになりました。

Amazon ECS サービスにおけるソフトウェアバージョンの一貫性の実現

Amazon ECS におけるソフトウェアバージョンの一貫性の実現

Amazon ECS は、アプリケーションのソフトウェアバージョンの一貫性を保証するようになりました。この新機能では、ECS サービスの各バージョン (デプロイメント) において、ECS がコンテナイメージタグをコンテナイメージダイジェストに解決します。これにより、デプロイメントライフサイクル全体で同一のコンテナイメージが使用されることを保証し、アプリケーションのセキュリティと一貫性を向上させることができます。

Weekly aws Japan edition

週刊AWS – 2024/7/15週

Amazon OpenSearch Serverless にスマートキャッシュ機構が追加、Amazon RDS for MariaDB でデータベースプレビュー環境でv 11.4 が利用可能に、AWS Security Hub で 24 の新しいセキュリティコントロールが追加、Amazon Corretto で四半期リリースがダウンロード可能に、SageMaker Canvas でリアルタイム推論エンドポイントに対して、ファインチューンされた Foundation Model (FM) のデプロイがサポート など

AWS Elastic Disaster Recovery を使用した VMware Cloud on AWS の災害対策

この投稿では、VMware Cloud on AWS の仮想マシンに対して、 AWS Elastic Disaster Recovery を使用し、ダウンタイムとデータ損失を最小限に抑えたコスト効率の高い DR ソリューションを解説します。