Amazon Web Services ブログ

AWS で生成系 AI を使用した構築のための新ツールを発表

※本お知らせは、米国西海岸時間4/13, 5:30AM（日本時間4/13, 9:30PM）に公開されたAWS Machine Learning Blogの日本語翻訳版です。

機械学習のパラダイムシフトは数十年前から続いていますが、スケーラブルなコンピューティングリソースが容易に入手できるようになったこと、データの急増、機械学習技術の急速な進化により、さまざまな業界のお客様がビジネスの変革を進めています。最近、ChatGPT をはじめとしたGenerative AI（以下、生成系AI）が広く注目を集め、人々の想像力をかき立てています。機械学習の活用が広がるなか、刺激的な転換点が訪れていることは間違いありません。お客様の体験とアプリケーションのほとんどが、生成系AI によって新たに作り変えられることになるでしょう。

Amazon では 20 年以上前から AI と 機械学習にフォーカスしており、お客様が Amazon でご利用になる機能の多くが 機械学習によって作動しています。Amazon の 商品推薦は、機械学習によって作動しています。物流センターでロボットがピッキングするルートを最適化しているのも 機械学習であり、サプライチェーンの需要や対応するためのキャパシティの予測や計画もまた機械学習によって提供されています。Prime Air (Amazon のドローン) と Amazon Go (消費者が陳列棚から商品を選んで、レジで清算をせずに、そのまま店を出ることができるタイプの店舗) では、ディープラーニング（深層学習）による画像処理が採用されています。30 種類以上の機械学習システムを搭載した Alexa は、スマートホームの管理、買い物、情報収集、エンターテインメントなどで、1 週あたり数十億回のペースでお客様を支援しています。Amazon では数千人のエンジニアが 機械学習に携わっています。機械学習は Amazon の伝統および現在の企業理念の重要な部分を占めており、それはこの先も変わることはありません。

アマゾン ウェブ サービス (以下、AWS) は、機械学習を誰でもが使うことが出来るように民主化し、10万を超えるさまざまな規模と業界の お客様をはじめ、希望する全員が 機械学習にアクセスできるようにするために重要な役割を果たしてきました。AWS は、費用対効果に優れた機械学習トレーニングと推論を可能にする高性能で拡張性に優れたインフラストラクチャを提供するために、投資と技術革新を進めてきました。例えば、すべての開発者がモデルを簡単に構築し、トレーニングを行い、デプロイするための Amazon SageMaker を開発しました。さらに、シンプルな API 呼び出しにより、画像認識、予測、インテリジェント検索といった AI 機能をアプリケーションに追加していただけるように、さまざまなサービスを提供してきました。Intuit、Thomson Reuters、AstraZeneca、Ferrari、Bundesliga、3M、BMW をはじめとするお客様に加え、世界中の数千のスタートアップや政府機関のお客様が、AWSのAIと機械学習 により自社や業界、およびそれぞれのミッションを変革しています。AWS は、生成系AIに対しても同様のテクノロジーを民主化するアプローチをとっています。研究や実験の領域を超えて、一部のスタートアップや潤沢な資金を持つ大手テクノロジー企業に留まらず、幅広いユーザーにこれらのテクノロジーを利用してもらえるよう、取り組みを進めています。だからこそ本日、生成系AIをビジネスで簡単かつ効果的にご利用いただくための、複数の新たなイノベーションを発表できることをたいへん嬉しく思います。

Building with Generative AI on AWS

Building with Generative AI on AWS

生成系AIと基盤モデル

生成系AIは、会話、ストーリー、画像、動画、音楽などの新しいコンテンツやアイデアを作成できる AI の一種です。すべての AI がそうであるように、生成系AIでも 機械学習モデルが使われています。生成系AIで使用される機械学習モデルとは、膨大な量のデータで事前にトレーニングされた大規模なモデルのことであり、一般に基盤モデル (FM) と呼ばれます。近年の機械学習の進歩 (なかでも、Transformerベースのニューラルネットワークアーキテクチャの発明) により、数十億個のパラメーターを含むモデルが台頭してきています。規模がどのくらい変わったのかというと、2019 年に学習された最大のモデルは 3 億 3,000 万個のパラメーターを有していました。それが現在では、最大規模のモデルのパラメーター数は 5,000 億個を超えています。わずか数年で、1,600 倍にも増大したことになります。大規模言語モデル (LLM) の GPT3.5 や BLOOM といった今日の基盤モデルや、テキストから画像を生成する Stability AI の Stable Diffusion は、ブログ記事の作成や、画像の生成、数学の問題の解決、人との対話、文書に基づく質問への回答など、幅広いタスクを実行することができます。基盤モデルの汎用性は、文章の感情分析や、画像の分類、トレンドの予測といった特定のタスクを実行する従来の機械学習モデルとは異なります。

基盤モデルは非常に多くのパラメーターを有し、複雑な概念の学習が可能なことから、はるかに多くのタスクを実行できます。また、大規模なデータによる事前トレーニングを通じてさまざまな形態や数え切れないほどのパターンに触れることで、幅広いタスクで自らの知識を応用する方法を学びます。事前にトレーニングを行った基盤モデルの能力と、その結果得られる可能性は驚くべきものです。それだけでなく、このような汎用的な能力を持つモデルを、一定の分野に特化した機能を実行するようにカスタマイズし、ビジネスを差別化することも可能であり、きっとお客様に喜んでいただけるはずです。モデルを一からトレーニングするのに比べてわずかなデータとコンピューティングリソースを使うだけで、カスタマイズすることができます。カスタマイズされた基盤モデルにより、銀行、旅行、ヘルスケアなど、さまざまな消費者産業におけるお客様のニーズを形にすることで、独自の顧客体験を生み出すことができます。たとえば、関連するすべての取引から日次で報告書を作成する必要がある金融会社の場合、独自のデータでモデルをカスタマイズし自動生成に活用できます。過去の報告書から、基盤モデルは報告書の解釈の仕方や、どのようなデータを使って報告書が作成されたのかを学習します。

基盤モデルは驚くべき可能性を秘めています。しかし、その利用はまだ始まったばかりです。ChatGPT は、最初の汎用的な生成系AIを活用した体験としてお客様の注目を集めていますが、生成系AIを研究している方のほとんどが、複数の企業が何年も前から基盤モデルに取り組んでおり、独自の強みと特徴を持つ複数の基盤モデルが存在する事実にすぐに気付きました。ここ数年、テクノロジーが目まぐるしく変化し、機械学習が進化するなかで目にしてきたように、物事は急速に変化しています。将来、新しいアーキテクチャーが登場すると予想され、このような基盤モデルの多様性はさらなるイノベーションの波を引き起こすことでしょう。かつてなかった新しいアプリケーション体験を、すでに目にするようになってきています。AWS をご利用のお客様から、企業や組織で基盤モデルや生成系AIを使い始めることで、生産性を新たなレベルにまで引き上げ、製品やサービスを変革するにはどうすればいいのかという声が寄せられています。

基盤モデルで最も簡単に生成系AIアプリケーションの開発や拡張が行える Amazon Bedrock および Amazon Titan モデルを発表

お客様からは、現在直面するいくつかの大きな課題が挙げられました。まず、自分たちの目的に最適で高パフォーマンスな基盤モデルを見つけてアクセスできる方法が必要です。2 つ目に、お客様は巨大なインフラを運用管理したり、膨大なコストを発生させることなく、基盤モデルをシームレスにアプリケーションへ統合したいと考えています。最後に、お客様は基盤モデルを自社データ (量の多少を問わず) を利用してカスタマイズすることで差別化したアプリを構築できるようにしたいと考えています。お客様がカスタマイズに利用したいデータは極めて貴重な IP であるため、処理中に完璧に保護され、安全性や機密性が保たれる必要があり、そうしたデータがどのように共有されたり利用されたりするのかを自分たちでコントロールしたいと考えています。

こうしたお客様からのあらゆるフィードバックを取り入れて、本日 AWS は Amazon Bedrock を発表しました。これは AI21 Labs、Anthropic, Stability AI および Amazon の基盤モデルを API で利用できるようにする新しいサービスです。Bedrock はお客様が基盤モデルを使って生成系AIベースのアプリケーションを構築・拡張する最も簡単な手法であり、すべてのアプリケーション開発者が利用できます。Amazon Bedrock でお客様はやろうとしていることに適切なモデルを簡単に見つけられるようになり、発見したモデルを迅速に自社独自のデータでのにカスタマイズしたり、使い慣れた AWS のツールや機能を使用して自社のアプリケーションに簡単に統合してデプロイできます。選択できるモデルの一つが、Amazon が本日発表した基盤モデルである Amazon Titan です。サーバーレスの形式で利用できるため、お客様が達成したいこと、すぐに始められること、自身のデータで基盤モデルをプライベートにカスタマイズしたいことにあわせて正しいモデルを選択し、AWS の使い慣れたツールと機能（例えば、異なるモデルを試す Experiments や大規模に基盤モデルを管理する Pipelines のような SageMaker の機械学習の機能）によって、インフラストラクチャを管理することなく、アプリケーションへ統合・デプロイすることができます。

Amazon Bedrock を利用するお客様は、現在提供されている最先端の基盤モデルの中から選択できます。この中には AI21 Labs が提供する Jurassic-2 ファミリーも含まれます。Jurassic-2 ファミリーは多言語に対応しており、スペイン語、フランス語、ドイツ語、ポルトガル語、イタリア語、オランダ語でテキストを生成できます。Anthropic のClaude は、さまざまな種類の対話処理を実行できます。これらはいずれも責任ある AI システムを学習するための Anthropic の幅広い研究に基づいています。Amazon Bedrock によって、Stability AI の text-to-image (テキストからの画像生成) 基盤モデルも簡単に利用できるようになり、世界中で最も人気のある Stable Diffusion を活用して、高品質でリアルな独自画像やアート、ロゴ、デザインを生成できるようになります。

Amazon Bedrock の最も重要な機能の 1 つが、モデルのカスタマイズの容易さにあります。ユーザーは Amazon Simple Storage Service（Amazon S3） でラベル付けされたいくつかのサンプルで Amazon Bedrock を指示するだけで、特定のタスクに合わせてモデルの調整ができ、大量のラベル付けデータを用意する必要はありません (20 例程度のデータで十分です)。例えば、大手のファッション小売企業のコンテンツマーケティングマネージャーが、新作のハンドバッグの発売のために斬新なターゲティング広告とキャッチコピーを考案する必要がある場合を考えてみましょう。まず Amazon Bedrock にこれまでのキャンペーンで最も効果を挙げたキャッチコピーの例をラベル付けしたものと、関連商品の説明とのセットをいくつか学習させます。すると、Amazon Bedrock は自動的に新作ハンドバッグ向けに効果的なソーシャルメディア、ディスプレイ広告、ウェブ用のコピーを生成し始めます。すべてのデータは暗号化されて自社の仮想プライベートクラウド (VPC) から出ることはないため、企業は自社データの個人情報や機密情報の保護について、信頼を置くことができます。

Amazon Bedrock は現在、限定プレビュー版を提供中です。Coda を始めとするお客様は、開発チームによる開発スピードの速さに期待を高めています。Coda.IO の共同創業者兼 CEO、Shishir Mehrotra 氏は、次のように述べています。「長年の顧客として AWS のサービスには満足してきましたが、今回 Amazon Bedrock がもたらしてくれた品質やスケーラビリティ、パフォーマンスに大いに期待しています。すべてのデータはすでに AWS 上にあり、データを保護するために必要なセキュリティやプライバシーはすべて組込まれているので、Amazon Bedrock を使ってすぐに生成系AIを取り入れることができます。Coda 上では、Uber、ニューヨークタイムズ、Square など、何万もの大規模チームが稼働しており、信頼性と拡張性が本当に重要になります」

数社の顧客企業と一緒に、Amazon の新しい Titan 基盤モデルのプレビュー版を試してきましたが、今後数か月のうちに、より広範囲に提供していく予定です。当面は 2 つの Titan 基盤モデルを提供する予定です。1 つ目は、要約やテキスト生成 (ブログ記事の作成など)、分類、オープンエンドの Q&A、情報抽出等のタスクのための生成系基盤モデルです。2 つ目が、テキスト入力 (単語、フレーズ、もしくは大量のテキストユニット) を、テキストの意味を含む数値表現 (「埋め込み表現」と呼ばれるもの) に変換する基盤モデルです。この基盤モデルはテキストの生成を行わない代わりに、得られた埋め込み表現を比較することでによって単なる単語一致のマッチングよりもより文脈に沿った適切な対応が取れるため、パーソナライゼーションや検索などのアプリケーションに有用です。実際、Amazonの商品検索機能には同様の埋め込み表現に変換する基盤モデルが使われており、お客様が探している製品を見つけるために役立っています。継続的に責任ある AI 使用におけるベストプラクティスをサポートするために、Titan 基盤モデルは顧客がカスタマイズ用に供給するデータ内にある有害なコンテンツを検出して削除したり、ユーザー入力の不適切なコンテンツを排除したり、不適切なコンテンツ (ヘイトスピーチや不適切な言葉、暴力など) を含むモデルのアウトプットにフィルターをかけるよう構築されています。

Amazon Bedrock によって、あらゆる規模の企業が基盤モデルのパワーを利用できるようになることで、組織全体で機械学習の活用を加速できます。すべての開発者が簡単に使えるようになることで、独自の生成系AIアプリケーションを構築できるようになります。私たちはAmazon Bedrock が基盤モデルの民主化に向けた大きな一歩になると考えており、Accenture、Deloitte、Infosys、Slalom 等のパートナーは、企業がより迅速に生成系AIを使いこなせるようになるための支援を提供しようとしています。C3 AI や Pega などの独立系のソフトウェアベンダー (ISV) は、基盤モデルの幅広い選択肢に簡単にアクセスでき、AWS によってセキュリティ、プライバシー、信頼性の全てが期待できる Amazon Bedrock の活用に、大いに期待を寄せています。

AWS Trainium を搭載する Amazon EC2 Trn1n インスタンスと 、AWS Inferentia2 を搭載する Amazon EC2 Inf2 インスタンスの一般提供を発表 　ー　最も費用対効果の高い生成系AI向けクラウド基盤

基盤モデルの学習から推論構築、カスタマイズまで、あらゆる作業において、機械学習に特化して構築された、最高の性能と費用対効果を発揮する基盤が求められています。この 5 年間、AWS は独自のシリコン開発に投資し、機械学習トレーニングや推論などの厳しいワークロードにおける性能と費用対効果の限界に挑んできました。AWS Trainium と AWS Inferentia は、それぞれクラウド上でのモデルの学習と推論に用いる専用のチップとして最も節約したコストを実現します。最適な機械学習基盤を選択することで性能を最大化しコストを管理できる AWS は、AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI といった屈指の AI スタートアップ企業に採用されています。

AWS Trainium を搭載する Trn1 インスタンスは、他の EC2 インスタンスと比較して学習コストを最大 50% 削減でき、800 Gbps の第 2 世代 Elastic Fabric Adapter (EFA) ネットワークで接続された複数のサーバーで学習を分散化できるよう最適化されています。Trn1 インスタンスは UltraClusters へデプロイすることで、最大 30,000 個の Trainium チップ (6 exaflop 以上の演算能力) まで拡張可能です。UltraClustersは、ペタビット級のネットワークを備えるAWSのアベイラビリティゾーンに構成されます。Helixon や Money Forward といった多くの AWS のお客様や Amazon Search チームで Trn1 インスタンスを活用し、最大規模のディープラーニングモデルの学習に必要な時間を数カ月から数週間、あるいは数日に短縮しながらコスト削減も実現しています。800 Gbps という広い帯域幅をさらに拡張するために取り組んできた当社は、本日新たに、ネットワークに最適化された Trn1n インスタンスの一般提供を発表します。大規模なネットワーク負荷の高いモデル向けのインスタンスで、1600 Gbps のネットワーク帯域幅を実現し、Trn1 と比較して 20% 高い性能を提供します。

現状では、基盤モデルに費やされる時間とコストの大半は学習が占めています。多くのお客様が 基盤モデルの本番稼働を開始したばかりという段階であるためです。一方、今後、基盤モデルが大規模に展開されるようになると、コストの大半はモデルの稼働および推論に充てられるようになります。モデルの学習を定期的に実施するとして、本番稼働では、推論と呼ばれる予測を、1 時間あたり数百万という単位でコンスタントに生成することも起こり得ます。この予測にはリアルタイム性が求められ、非常に低レイテンシーで高スループットのネットワークが必要となります。例えば Alexa では、1 分間に何百万件ものリクエストがあり、演算コスト全体の 40% を占めます。

将来の 機械学習のコストの大半が推論の部分で発生すると見抜いていた当社では、数年前に新たにチップ開発への投資を開始した際、推論に最適化したシリコンの開発を優先的に進めました。そして 2018 年に、推論に特化した初のチップである Inferentia を発表しました。Amazon は、Inferentia により年間で何兆もの推論を行い、数億ドルのコストを削減しています。このような成果は顕著ではありますが、生成系AIを採用するお客様が増加し、ワークロードの規模と複雑さが増すばかりの状況において、イノベーションをさらに推進していく必要があります。

こういった背景から、当社は本日、数千億のパラメーターを含むモデルの大規模な生成系AIアプリケーションに最適化された、AWS Inferentia2 を搭載する Inf2 インスタンスの一般提供を発表します。Inf2 インスタンスは前世代の Inferentia によるインスタンスと比較してスループットは最大 4 倍、レイテンシーは最大 10 分の 1 となります。またアクセラレーター間の超高速接続により大規模な分散型の推論もサポートします。これにより、推論のコストパフォーマンスは他の同等の Amazon EC2 インスタンスと比較して最大 40% 向上し、クラウド上の推論の最低コストを実現します。Runway などのお客様においては、Inf2 の導入により、同等の Amazon EC2 インスタンスと比較して、いくつかのモデルでスループットが最大 2 倍向上しています。高性能、低コストの推論により Runway はより多くの機能を導入し、より複雑なモデルを展開し、最終的には Runway を使用する何百万ものクリエイターのエクスペリエンスを向上できます。

Amazon CodeWhisperer の一般提供を発表　個人開発者向けに無償提供

AWSは、適切な基盤モデルで開発を行い、生成系AIアプリケーションを最も高性能なクラウド基盤で大規模に稼働させることはお客様にとって大きな変革になると考えています。新たなエクスペリエンスの波もユーザーに変革をもたらすでしょう。生成系AIが組み込まれることで、ユーザーはより自然でシームレスにアプリケーションやシステムを利用できるようになります。例えば、スマートフォンの画面を見るだけでロック解除できる機能は、その背後にある強力な 機械学習モデルを知らなくても利用できます。

AWSが生成系AIの活用が急速に拡大すると見込んでいる領域の 1 つがコーディングの領域です。現在、ソフトウェア開発者は平凡で尋常一様なコードを書くのに多くの時間を費やしています。一方で、複雑で常に変化するツールやテクノロジーに遅れずついていくためにも多くの時間を割いています。このため、革新的な新機能やサービスの開発にかけられる時間が制約されます。開発者はウェブ上のコードスニペットをコピー、編集することでこれに対応しようとしていますが、気づかないうちに、機能しないコードやセキュリティの脆弱性のあるコード、ライセンスを確認すべきオープンソースソフトウェアのコードなどをコピーしてしまうこともあります。また、その検索やコピーに時間が割かれてしまいます。

生成系AIは画一的なコードの大半を「書く」ことでこの手間を解消し、開発者は、開発を迅速化しつつ、空いた時間でより創造性の求められるコードに集中することが可能となります。このような背景から、AWSは昨年、統合開発環境 (IDE) において開発者の自然言語によるコメントやこれまでのコードに基づき、リアルタイムにコード候補を生成し、内部で基盤モデルを活用して開発者の生産性を大幅に向上させる AI コーディング支援ツールの Amazon CodeWhisperer のプレビュー版を発表しました。開発者はAmazon CodeWhisperer に対して「楽曲情報の文字列をCSV 形式にパースして」などのタスクを要求し、アーティスト、タイトル、最高チャートランキングといった値に基づいて構造化リストを返すようリクエストすることができます。Amazon CodeWhisperer は文字列をパースし、指定されたリストを返す一連の機能を生成することで生産性を向上させます。プレビュー版に対する開発者の反応は非常に良好であり、コーディングを支援することは、今後生成系AIの最も有力な活用方法となりうると考えています。プレビュー時に実施した生産性チャレンジでは、Amazon CodeWhisperer を利用した参加者のタスク完遂時間はAmazon CodeWhisperer の非利用者より平均で 57% 短縮され、タスク完遂率も 27% 高くなりました。開発者の大幅な生産性が認められましたが、これはまだ始まりにすぎないとAWSでは考えています。

AWSは本日、Python、Java、JavaScript、TypeScript、C# の他、新たに Go、Kotlin、Rust、PHP、SQL など 10 言語に対応する Amazon CodeWhisperer の一般提供を発表します。Amazon CodeWhisperer は VS Code、IntelliJ IDEA、AWS Cloud9 その他多くの IDE から、IDE 拡張機能の AWS Toolkit を介してアクセス可能です。また、AWS Lambda コンソールからも利用できます。公開されている何十億行ものコードの学習に加え、Amazon CodeWhisperer は Amazon のコードでもトレーニングされています。Amazon CodeWhisperer は Amazon EC2、AWS Lambda、Amazon S3 などの AWS サービスのコードを最も正確で迅速で安全に生成できると考えています。

生成系AIが提案するコードに、セキュリティの脆弱性やオープンソースのライセンス違反が含まれていれば、開発者の生産性を真の意味で向上させることはできません。Amazon CodeWhisperer は (自動推論による) セキュリティスキャンを内蔵し、OWASP (Open Worldwide Application Security Project) Top 10 に含まれるものや、暗号化ライブラリーのベストプラクティスを満たさないものなど、検出の困難な脆弱性を特定し修正案を提示する唯一の AI コーディング支援ツールです。責任あるコーディングを支援するため、Amazon CodeWhisperer は偏った、あるいは不公平と考えられうるコード提案を除外します。Amazon CodeWhisperer は、参照やライセンスが必要な可能性のあるオープンソースのコードに似たコード提案を除外したりフラグを立てることのできる唯一のコーディング支援ツールです。

生成系AIは開発者にとって「ゲームチェンジャー」になると考えるAWSでは、一人でも多くの開発者に生成系AIを活用していただきたいと思っています。このため、Amazon CodeWhisperer は個人ユーザー向けには無償提供し、資格やコード生成の時間制限も設けていません。メールアカウントがあれば Amazon CodeWhisperer に登録でき、わずか数分で生産性を向上できます。AWS アカウントがなくても大丈夫です。企業ユーザー向けには、AWS Identity and Access Management (IAM) と統合されたシングルサインオン (SSO) などの管理機能を搭載し、セキュリティスキャンの上限を引き上げた Amazon CodeWhisperer Professional Tier を用意しています。

Amazon CodeWhisperer のような強力なアプリケーションを開発することで、開発者をはじめAWSのすべてのお客様に大きな変革をもたらします。AWSは今後も多くの発表を計画しており、AWS の生成系AIでお客様がどのような開発を進められるか、楽しみにしています。AWSの使命はあらゆるスキルレベルの開発者やあらゆる規模の組織が生成系AIを活用してイノベーションを推進できるよう支援することです。新しい可能性を秘めた機械学習の新たな波は今始まったばかりです。

リソース

以下のリソースから、AWS における生成系AIについての情報や、これらの告知に関して理解を深めることができます。

著者について

Swami Sivasubramanian はAWSにおけるデータと機械学習の Vice President です。Swami はすべてのデータベース、アナリティクス、AIと機械学習サービスを担当しています。彼のチームのミッションは、最初から最後に至るまでの完全なデータソリューションを提供し、データの保存、アクセス、分析、可視化、予測を可能にすることです。