Tag: 生成AIモデル開発を始める

みなさん、こんにちは。事業開発統括本部、ソリューション事業開発本部、SaaS 領域の事業開発をしている三石です […]

カスタマーエクスペリエンスの領域における生成 AI の可能性は魅力的です。一方カスタマーサービスに導入する際、ハルシネーションやバイアス(偏見)などの課題・懸念もあります。この記事では Amazon Connect によって、独自モデルのトレーニングなしで生成 AI を活用したり、ハルシネーションやバイアスの少ない応答を得る方法を紹介します。

生成 AI の概要 生成人工知能 (生成 AI) は、会話、ストリー、画像、動画、音楽など新しいコンテンツやア […]

生成 AI のワークロードで最も有用なアプリケーションパターンの 1 つが Retrieval Augmented Generation (RAG) パターンです。 RAG パターンでは、入力プロンプトに関連する参照コンテンツを探すために、埋め込みベクトル (テキスト文字列の数値表現) に対して類似検索を実行します。埋め込みはテキストの情報内容を捉え、自然言語処理 (NLP) モデルが言語を数値的に処理できるようにします。埋め込みは浮動小数点ベクトルであるため、3 つの重要な質問を用いて分析することができます。参照データは時間とともに変化するか、ユーザーが尋ねる質問は時間とともに変化するか、そして最後に、参照データが尋ねられている質問をどの程度カバーできているかです。

生成 AI の人気が高まる中、企業は基盤モデル (FM) について詳しく調査し、ビジネスにもたらすメリットを実 […]

生成 AI の進化を支える大規模言語モデルの開発及び運用に掛かるコスト、計算機リソースの確保は多くの企業が抱える大きな課題です。AWS では機械学習 (ML) アクセラレーターチップ AWS Trainium、AWS Inferentia2 を自社開発し、これらの課題解決に取り組んでいます。（Anthropic では AWS Trainium、Inferentia の活用を表明しています）
本ブログでは、前半で、AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスを活用した日本語大規模言語モデルの開発事例、大規模分散学習の課題及び実現方法について解説します。
ブログ後半では、公開された日本語大規模モデルを Inferentia2 搭載 Amazon EC2 Inf2 インスタンス上で推論実行する方法について、手順を追って解説します。

AWS では、Extension for Stable Diffusion on AWS というソリューションを提供しています。このソリューションは OSS の Stable Diffusion Web UI の拡張機能で、モデルのファインチューニングと推論をクラウド上のリソースにオフロードすることで、複数ユーザーによる大規模な利用を可能にします。この拡張機能を使用すると、お客様は Amazon SageMaker 上で Stable Diffusion のモデルトレーニング、ファインチューニング、推論を簡単に実行できます。SageMaker のマネージドな分散学習と高性能の GPU インスタンスを活用することで、必要な時だけ高パフォーマンスのリソースを利用できます。また、 CloudFormation テンプレートを使ってリソースをプロビジョニングすることで、手動設定に伴う複雑さやミスを回避できます。

アマゾン ウェブ サービス ジャパン（以下、AWS ジャパン）は 2023 年 7 月 3 日に、日本独自の施 […]

この記事は、Fine-tune and deploy Llama 2 models cost-effectiv […]

生成 AI モデルのトレーニングや推論には、大規模なインフラストラクチャを必要とします。AWS は効率的な生成 AI のモデル構築のために、高性能かつ低レイテンシーのコンピュート、ストレージ、ネットワークを提供します。