Amazon EC2 Inf2 執行個體

「Leonardo 的團隊善用生成式 AI，讓創意專業人士和愛好者能夠以無與倫比的品質、速度和風格一致性來製作視覺資產。AWS Inf2 的價格與效能︰利用 AWS Inf2，我們能夠在不犧牲效能的情況下降低 80% 的成本，從根本上變革我們可為客戶提供的價值建議，以更易實現的價格來啟用我們最進階的功能。這也緩解了我們的輔助 AI 服務在成本和容量可用性方面的擔憂，這些服務隨著我們的成長和擴展而變得日益重要。對我們而言，這是一項關鍵的支援技術，隨著我們不斷推動生成式 AI 的可能性，為我們的使用者帶來創造力和表現力的新時代。」

Leonardo.ai 的 AI 主管 Pete Werner

「在 Runway，我們的 AI Magic 工具套件讓我們的使用者能夠以前所未有的方式產生和編輯內容。我們一直在擴大建立 AI 支援內容可能的界限，而隨著 AI 模型變得越來越複雜，大規模執行這些模型的基礎設施成本可能會變得昂貴。透過我們結合運用採用 AWS Inferentia 技術的 Amazon EC2 Inf2 執行個體，我們能夠執行部分模型，其輸送量比同類 GPU 執行個體最高可提升 2 倍。這種高效能、低成本的推論讓我們能夠引入更多功能、部署更複雜的模型，並最終為使用 Runway 的數百萬創作者提供更出色的體驗。」

Runway 聯合創辦人兼執行長 Cristóbal Valenzuela

Qualtrics 設計並開發體驗成熟的管理軟體。

「在 Qualtrics，我們專注於建置能夠縮小客戶、員工、品牌和產品體驗差距的技術。為實現這一目標，我們正在開發複雜的多任務、多模態 DL 模型以推出新功能，例如文字分類、序列標記、話語分析、關鍵片語擷取、主題擷取、叢集和端到端對話理解。隨著我們在更多應用程式中採用這些更複雜的模型，非結構化資料量也在增長，我們需要效能更高的推論最佳化解決方案來滿足這些需求，例如 Inf2 執行個體，以便為我們的客戶提供最佳體驗。對於新推出的 Inf2 執行個體，我們激動不已，因為其不僅讓我們能夠實現更高的輸送量，同時顯著降低延遲，而且還引入了分散式推論和增強的動態輸入形狀支援等功能，隨著我們進一步採用更大、更複雜的大型模型，這有助於我們進行擴展以滿足部署需求。」

Qualtrics 核心機器學習主管 Aaron Colak

Finch Computing 是一間自然語言技術公司，為政府、金融服務和資料整合商客戶提供人工智慧應用程式。

「為滿足客戶對即時自然語言處理的需求，我們開發了最先進的 DL 模型，這可擴展至大型生產工作負載。我們必須提供低延遲交易並實現高輸送量，來處理全球資料饋送。我們已經將許多生產工作負載遷移至 Inf1 執行個體，並且與 GPU 相比成本降低了 80%。現在，我們正在開發更大、更複雜的模型，以便從書面文字中獲得更深刻、更富洞察力的含義。我們的許多客戶需要即時存取這些洞察，Inf2 執行個體的效能有助於我們提供比 Inf1 執行個體更低的延遲和更高的輸送量。憑藉 Inf2 效能改善和全新的 Inf2 功能，例如支援動態輸入大小，我們正在提高成本效率，提升即時客戶體驗，並協助我們的客戶從其資料中收集新的洞察。」

Finch Computing 首席架構師 Franz Weckesser

Money Forward, Inc. 為企業和個人提供開放和公平的金融平台。Money Forward 集團公司 HiTTO Inc. 提供人工智慧聊天機器人服務，作為該平台的一部分，該服務使用定製的自然語言處理 (NLP) 模型來滿足其企業客戶的多樣化需求。

「我們在 Amazon EC2 Inf1 執行個體上推出了大規模 AI 聊天機器人服務，與基於 GPU 的同類執行個體相比，推論延遲降低了 97%，同時還降低了成本。我們很高興看到 Amazon EC2 Inf2 執行個體的初始測試結果有進一步的效能改善。使用相同的自訂 NLP 模型，相較於 Inf1，AWS Inf2 能夠減少 10 倍的延遲時間。隨著我們轉移至數十億個更大型的參數模型，Inf2 讓我們有信心可以繼續為客戶提供卓越的端對端使用者體驗。」

Money Forward Inc. 技術長 Takuya Nakade

「在 Fileread.ai，我們正在建置解決方案，以便讓您的文件互動，就像詢問他們問題一樣簡單，讓使用者能夠從所有文件中找到所需的內容，並更快地獲得正確的資訊。自從切換至新的 Inf2 EC2 執行個體之後，我們看到 NLP 推論功能得到顯著改善。單單成本節省就改變了我們的遊戲規則，讓我們能夠在不犧牲品質的情況下更有效地分配資源。我們將推論延遲降低 33%，同時將輸送量增加 50%，讓我們的客戶享受更快的周轉速度。與舊版 G5 執行個體相比，Inf2 的速度和效能讓我們的團隊感到震驚，顯然，這是未來部署 NLP 模型的需求。」

Fileread 執行長 Daniel Hu

「在 Yaraku，我們的使命是建置基礎設施，以協助人們跨越語言障礙進行溝通。從專業譯者到單語翻譯人員，我們的旗艦產品 YarakuZen 讓任何人都能自信地翻譯和後期編輯文字和文件。為了支援此程序，我們提供以 DL 模型為基礎的各種精密工具，涵蓋翻譯、雙文字對齊、句子分割、語言建模等任務。透過使用 Inf1 執行個體，我們能夠加速服務以滿足不斷增長的需求，同時與 GPU 型執行個體相比，推論成本降低了 50% 以上。我們現在正進入新一代大型模型的開發，這些模型需要 Inf2 執行個體的增強功能才能滿足需求，同時保持低延遲。憑藉 Inf2，我們能夠將模型縱向擴展 10 倍，同時保持類似的輸送量，從而使我們能夠為客戶提供更高水準的品質。」

Yaraku 的 NLP 主管 Giovanni Giacomo

「Hgging Face 的使命是將出色的 ML 大眾化，協助世界各地的機器學習開發人員解決現實世界的問題。而關鍵在於確保最新和最出色的模型，在雲端的最佳 ML 加速器上儘可能快速高效地執行。我們對 Inferentia2 的潛力感到非常振奮，這將成為大規模部署產生型 AI 模型的新標準方式。憑藉 Inf1，我們發現比傳統 GPU 型執行個體最高可降低 70% 的成本，而且使用 Inf2，相較於 Inferentia1，我們看到類似 BERT 的轉換器延遲最高可減少 8 倍。藉助 Inferentia2，我們的社群將能夠以 100B 以上的參數規模輕鬆地將此效能擴展至 LLM，以及擴展至最新的擴散和電腦視覺模型。」  

「PyTorch 加速了 ML 開發人員從研究原型開發到生產部署的過程。我們已經與 AWS 團隊合作，為採用全新 AWS Inferentia2 技術的 Amazon EC2 Inf2 執行個體提供原生 PyTorch 支援。隨著越來越多的社群成員希望部署大型產生型 AI 模型，我們很高興能夠與 AWS 團隊合作，利用加速器之間的高速 NeuronLink 連線來最佳化 Inf2 執行個體上的分散式推論。有了 Inf2，使用 PyTorch 的開發人員現在可輕鬆部署超大型的 LLM 和視覺轉換器模型。此外，Inf2 執行個體還為 PyTorch 開發人員帶來其他創新功能，包括高效的資料類型、動態形狀、自訂運算子以及硬體最佳化隨機捨入，因此非常適合 PyTorch 社群廣泛採用。」 

「Weights & Biases (W&B) 為 ML 工程師和資料科學家提供各種開發人員工具，以更快速地建置更好的模型。W&B 平台為 ML 從業人員提供各種洞察，以改善模型效能，包括利用基礎運算基礎設施。我們已經與 AWS 團隊合作，在我們的系統指標儀表板中新增對 Amazon Trainium 和 Inferentia2 的支援，以便在模型實驗和訓練期間提供非常必要的寶貴資料。這讓 ML 從業人員能夠最佳化其模型，充分利用 AWS 專門建置的硬體，以更快速、更低的成本訓練模型。」

Weights & Biases (W&B) 產品副總裁 Phil Gurbacki

「OctoML 透過封裝其 DL 模型以在高效能硬體上執行，協助開發人員降低成本並建置可擴展的 AI 應用程式。過去幾年，我們一直在積累打造最佳軟硬體解決方案的專業知識，並將其整合至我們的平台中。我們紮根於晶片設計人員和系統駭客，因此 AWS Trainium 和 Inferentia 更讓我們驚喜不已。我們將這些加速器視為雲端 AI 創新未來的關鍵驅動因素。因為我們將熱門 LLM 的出現做為新一代 AI 應用程式的關鍵建置區塊，因此 Inf2 執行個體的正式推出非常及時。我們很高興能在我們的平台上提供這些執行個體，以協助開發人員輕鬆地充分利用其高效能和成本節省優勢。」
 

OctoML 技術長兼聯合創辦人 Jared Roesch

「LLM 的歷史性挑戰，以及企業級生成式 AI 應用程式的廣泛性挑戰，都是訓練和執行高效能 DL 模型的關聯成本。除了 AWS Trainium 外，AWS Inferentia2 還可免除客戶在需要高效能訓練時造成的財務妥協。如今，我們尋求訓練和推論優勢的客戶能夠以更低的成本，獲得更好的成效。Trinium 和 Inferentia 可加速擴展，以滿足當今最大型企業最苛刻的 DL 要求。許多執行大型 AI 工作負載的 Nextira 客戶，都能夠直接利用這些全新晶片組獲益，從而在成本節省和效能方面提高效率，並且更快地投入市場。」

Nextira 創辦人兼執行長 Jason Cutrer

Amazon CodeWhisperer 是 AI 編碼輔助工具，可在整合式開發環境 (IDE) 中產生即時的單行或全功能程式碼建議，以協助您快速建置軟體。

「有了 CodeWhisperer，我們使用產生型人工智慧模型來提供程式碼建議，進而改善軟體開發人員的生產效率。為了開發高效的程式碼建議，我們將 DL 網路擴展至數十億個參數。我們的客戶需要即時的程式碼建議，因此低延遲回應至關重要。大型產生型 AI 模型要求高效能運算，只需幾秒鐘即可提供回應時間。使用 Inf2，我們提供的延遲時間與針對大型輸入和輸出序列的訓練最佳化 GPU 執行個體執行 CodeWhisperer 產生的延遲時間相同。因此，Inf2 執行個體可協助我們節省成本和電力，同時為開發人員提供最佳體驗。」  

Amazon CodeWhisperer 總經理 Doug Seven

Amazon 的產品搜尋引擎每天為數十億種產品編制索引，為數十億客戶查詢提供服務，並且是世界上最多人使用的服務之一。

「我非常高興看到 Inf2 的正式推出。Inf2 的卓越效能，以及處理具有數十億個參數的大型模型的能力，使其成為我們服務的完美選擇，並讓我們能夠在模型複雜性和準確性方面發揮新的可能性。憑藉 Inf2 提供的顯著加速和成本效益，將其整合至 Amazon Search 服務基礎設施中，可協助我們滿足客戶不斷增長的需求。我們計劃透過使用 Inf2 的產生型 LLM，來為我們的新購物體驗提供支援。」 

Amazon Search 副總裁 Trishul Chilimbi