Amazon Web Services ブログ

週刊生成AI with AWS – 2024/12/23 & 2024/12/30 週

みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。

あけましておめでとうございます。本年も週刊生成AI with AWSと、週刊AWSをよろしくお願いいたします。今年も最新情報をギュッとまとめてお届けしますので、引き続きご期待くださいね。

それでは、12 月 23 日週と 30 日週の生成AI with AWS界隈のニュースを見ていきましょう。

さまざまなニュース

サービスアップデート

    • Amazon Bedrock Agents, Flows, Knowledge Basesがレイテンシ最適化モデルに対応
      AWS re:Invent 2024で発表された推論時のレイテンシーを最適化する機能に、Amazon Bedrock Agents, Flows, Knowledge Basesが対応しました。この最適化機能はAnthropic Claude 3.5 Sonnetと、Meta Llama 3.1 70B/405Bに対応しており、これらのモデルを利用する際に精度を損なうことなく推論時の遅延時間を短縮することでユーザ体験の向上につながります。ちなみにオレゴンリージョンでクロスリージョン推論を介して利用することが可能です。
    • AWS NeuronがTrainium2とNxD Inferenceに対応
      Neuron 2.21が発表され、AWS Trainium 2 チップを搭載したAmazon EC2 Trn2インスタンスと、Trn2 UltraServersがサポートされました。同時に、PyTorch 2.5がサポートされ、NxD Inference(ベータ)とNeuron Profiler 2.0(ベータ)が利用可能になっています。NxD InferenceはvLLMと統合されたPyTorchベースのライブラリで、大規模言語モデルやマルチモーダルモデルのデプロイを簡素化します。
    • Amazon SageMaker JumpStartでMeta Llama 3.3 70Bが利用可能に
      Amazon SageMaker JumpStartを利用してMeta Llama 3.3 70Bモデルを利用できるようになりました。SageMaker JumpStartは数クリックで事前構築済みの機械学習ソリューションを数回のクリックで起動できる機械学習ハブで、最新のモデルを簡単に利用できます。詳細についてはブログ記事が出ていますので、そちらもご覧ください。

著者について

Masato Kobayashi

小林 正人(Masato Kobayashi)

2013年からAWS Japanのソリューションアーキテクト(SA)として、お客様のクラウド活用を技術的な側面・ビジネス的な側面の双方から支援してきました。2024年からは特定のお客様を担当するチームを離れ、技術領域やサービスを担当するスペシャリストSAチームをリードする役割に変わりました。好きな温泉の泉質は、酸性-カルシウム-硫酸塩泉です。