AWS 宣布推出生成式 AI 新服務加速創新

【台北訊，2023年10月2日】AWS宣布推出五項生成式AI創新，使各種規模的企業都可以建立新的生成式AI應用程式，提高員工生產力並完成業務轉型。這五項創新包括：AWS全面託管服務Amazon Bedrock正式可用，透過統一的應用程式設計介面（API）提供來自領先AI公司的基礎模型（FM）；AWS宣佈Amazon Titan Embeddings模型正式可用，為客戶提供更多基礎模型選擇；Amazon Bedrock最新導入了Meta Llama 2模型，這是第一個透過API提供完全託管Meta Llama 2模型的服務；AI程式設計助手Amazon CodeWhisperer的新功能即將提供預覽，可以根據企業的內部程式碼庫安全地客製CodeWhisperer的程式碼建議，助力開發人員從生成式AI中獲得更大價值；Amazon QuickSight的生成式BI創作功能現已推出預覽版，可以提高業務分析師的工作效率。這一功能是雲端原生建立的統一BI服務，使客戶能夠透過自然語言簡單地描述想要的內容，進而建立視覺化內容、格式化圖表、執行計算等。從Amazon Bedrock、Amazon Titan Embeddings，再到Amazon CodeWhisperer及Amazon QuickSight，這些創新增強了AWS在生成式AI堆疊各個層面的能力，無論任何規模的企業都可在獲得企業級安全和隱私保護的同時，選擇最佳模型並進行模型客製。想體驗AWS生成式AI，請參考aws.amazon.com/generative-ai/。

「在過去的一年裡，海量資料的爆炸、大規模彈性算力的就位，以及機器學習技術的快速進步點燃了人們對生成式AI的熱情，深刻改變了各行各業，也改變了人們的工作方式。」AWS資料和機器學習全球副總裁Swami Sivasubramanian表示，「藉由企業級的安全和隱私保護、領先的基礎模型選擇、資料為先的方法論，以及高效能、具有成本效益的基礎架構，AWS贏得了企業的信賴，並在技術棧的每一層使用生成式AI解決方案助力企業不斷創新。今天的發布是一個重要的里程碑，它將生成式AI提供給每個企業，從新創企業到大型企業的每個員工，從開發工程師到資料分析師。透過強大的創新，AWS為企業帶來了更強的安全性、多種選擇和出色的效能，同時還幫助他們緊密對焦企業的資料策略，進而充分釋放生成式AI的潛力。」

各行各業的企業無論規模大小都渴望借助生成式AI來變革營運方式，重新思考解決複雜問題的方法，並創造全新的用戶體驗。儘管生成式AI的最新進展引起了廣泛關注，但許多企業還未能參與到這一轉型過程中。企業們一邊對使用生成式AI充滿渴望，一邊又對這些工具的安全性和隱私問題憂心忡忡。這些企業希望能夠測試多種基礎模型，進而找到最適合自己應用場景的模型。同時，企業還希望最大限度地利用已經擁有的資料，透過客製化模型來為終端使用者提供獨特的體驗。最後，企業需要工具將創新迅速推向市場，還需要具備在全球範圍內部署生成式AI應用程式的基礎設施。

因此，眾多企業正在向AWS尋求生成式AI服務，比如愛迪達、Alida、BMW、Genesys、Glide、GoDaddy、Intuit、律商聯訊（LexisNexis Legal & Professional）、Lonely Planet、默克、國民西敏、Perplexity AI、Persistent、Quext、RareJob Technologies、Rocket Mortgage、SnapLogic、株式會社竹中工務店、Traeger Grills、PGA錦標賽、Verint、Verisk和WPS等。

Amazon Bedrock是一項完全託管的服務，提供了來自眾多領先AI公司（包括AI21 Labs、Anthropic、Cohere、Meta、Stability AI和亞馬遜）的高效能基礎模型，以及企業建立生成式AI應用程式所需的一系列功能，能實現簡化開發，同時確保隱私性和安全性。基礎模型能應用於資訊搜尋、內容發想及藥物發現等各種應用。

然而，對於許多希望利用生成式AI的企業來說，尚有一些問題需要解決。首先，企業需要能簡單直觀地尋找和存取高效能基礎模型，滿足其場景需求且表現優異；其次，客戶希望應用程式實現無縫整合，無需管理龐大的基礎設施叢集或花費大量成本；最後，客戶希望借助基礎模型並結合自身資料來輕鬆建立差異化的應用程式，而這些客戶用於客製的資料無疑是非常寶貴的資產，且具有智慧財產權，因此在使用過程中必須做到全面保護，在確保安全和隱私的同時，保證客戶對資料共用和使用方式擁有控制權。

借助Amazon Bedrock的完善功能，企業能夠更方便、輕鬆地嘗試多種領先的基礎模型，並使用自己的專有資料客製模型。此外，Amazon Bedrock還提供差異化能力，例如無需再編寫任何程式碼便可建立的託管代理（AI agent），它可以執行複雜任務，如旅行預訂、處理保險理賠、策劃廣告活動和管理庫存等。由於Amazon Bedrock採用無伺服器（serverless）技術，客戶不必管理任何基礎設施，就可以使用熟悉的AWS服務將生成式AI能力安全地整合和部署到應用程式中。

Amazon Bedrock在開發之初就考慮到安全性和隱私保護，幫助客戶保護敏感性資料。客戶可以使用Amazon PrivateLink，在Amazon Bedrock與虛擬私有網路（VPC）之間建立專門的安全連接，確保任何資料傳輸都不會暴露在公共網路。對於存在高度監管需求的客戶，Amazon Bedrock符合HIPAA（《健康保險流通與責任法案》）要求，並且可以在GDPR（歐盟《通用資料保護條例》）合規標準下使用，讓更多客戶從生成式AI中獲益。

由於沒有任何單一模型可以適用於所有的應用場景，為了挖掘生成式AI的價值，企業往往需要多次嘗試，根據需求尋找最適合的模型。為此，Amazon Bedrock讓客戶只需透過單一API就能尋找和測試AI21 Labs、Anthropic、Cohere、Meta、Stability AI和亞馬遜提供的領先的基礎模型。此外，AWS近日還宣布了Anthropic未來的所有基礎模型都將在Amazon Bedrock上可用，並為AWS客戶提供模型客製和微調等特殊功能的優先使用權。而現在起，Amazon Bedrock再次導入新的基礎模型帶來更多選擇：

Amazon Titan Embeddings現已正式可用：Amazon Titan基礎模型是由AWS在大型資料集上建立和預訓練的一系列模型，可以支援各種應用場景。作為這些模型中第一個正式可用的模型，Amazon Titan Embeddings是一種大語言模型（LLM），它將文本轉換成嵌入（embeddings）的數值表示，以支持檢索增強生成（RAG）的應用場景。基礎模型雖然適用於多種任務，但卻只能根據從訓練資料和提示詞上下文中學到的資訊來回答問題。一旦這些回答需要利用高時效性的知識或專門資料時，其有效性就會受限。為了能透過擴展資料來改進基礎模型的回答，許多企業將目光轉向RAG——這一種模型客製技術能將基礎模型連接到可被引用的知識庫，進而改進回應效果。要開始使用RAG，客戶必須先使用一個嵌入模型，將資料轉換成嵌入數值，使基礎模型更容易理解資料之間的語義和關係。然而，建立嵌入模型需要大量的資料和資源，以及深厚的機器學習專業知識，因此很多客戶很難完成自行建立，也就無法實現RAG。

Amazon Titan Embeddings使客戶能夠更簡單地啟用RAG，以便利用專門資料擴展各種基礎模型。Amazon Titan Embeddings支援超過25種語言和多達8192個token的上下文長度，適合基於客戶應用場景去處理單詞、短語或整個文檔。該模型可產生1536個維度的輸出向量，確保高度準確性的同時，還實現更低延遲和優化性價比。

Llama 2即將在未來幾週推出：Amazon Bedrock是業界首個透過託管API提供Meta下一代大語言模型Llama 2的完全託管生成式AI服務。Llama 2模型與前一代的Llama模型相比有顯著進步，包括使用了比原始訓練多40%的訓練資料，並具有更長的上下文長度（4000個token），以處理更龐大的文檔。Amazon Bedrock提供的Llama 2模型已經過優化，可以在AWS基礎設施上提供快速的回應，極為適合對話式應用場景。客戶可以建立具130億和700億個參數的Llama 2模型驅動的生成式AI應用程式，且無需設置和管理任何基礎設施。

Amazon CodeWhisperer是一款基於AI的程式設計助手，透過數十億行來自亞馬遜和公開可用的程式碼進行訓練，提高開發人員的生產力。雖然開發人員在日常工作中頻繁使用CodeWhisperer，但有時需要將企業內部私有程式碼庫（例如內部API、程式碼庫、套裝軟體和類別）整合到應用程式中，而這些程式碼都不屬於CodeWhisperer的訓練資料。內部程式碼的使用也是一個難題，因為說明文檔有限，並且開發人員沒有可以求助的公共資源或論壇。

例如，要編寫一個從購物車中移除商品的功能，開發人員首先必須瞭解用於與應用程式交流的API、集合和其他內部程式碼。以往，開發人員需要花費數小時來檢查以前編寫的內部程式碼，進而找到所需資訊並理解其工作原理。即使找到了正確的資源，他們仍需仔細檢查程式碼，以確保其符合公司編碼的最佳實踐（best practices），並且不會重複引用程式碼中的缺陷或漏洞。

Amazon CodeWhisperer新客製功能將釋放生成式AI程式設計的全部潛力，透過安全地利用客戶內部的程式碼庫和資源提供客製化建議。這使得開發人員在各種任務中能夠更準確地獲得程式碼建議，進而節省時間。首先，管理員需要從源頭（例如GitLab或Amazon S3）連接到他們的私有程式碼儲存庫，並設定一個工作項目來建立客製內容。在建立客製內容時，CodeWhisperer利用各種模型和上下文客製技術，學習客戶的程式碼庫，並改進即時程式碼建議，進而使開發人員花更少的時間去尋找無差別問題（undifferentiated problems）的正確答案，同時將更多時間投入到建立新的差異化體驗上。管理員可以在AWS控制台（Amazon Console）集中管理所有客製功能、查看評估指標、估算每個客製功能的效能，並有選擇地將程式碼部署給公司內特定的開發人員，以限制對敏感程式碼的存取。

透過選擇最高品質的儲存庫，管理員可以確保CodeWhisperer提供的客製建議不包含已棄用的程式碼，並滿足企業品質與安全的標準。考慮到企業級安全和隱私，這項功能可以確保客製內容完全保密，而支援CodeWhisperer的底層基礎模型在訓練過程中不使用客製內容，能夠保護客戶寶貴的智慧財產權。該自訂功能將很快作為CodeWhisperer企業版的一部分在預覽中提供給客戶使用。此外，CodeWhisperer的預設設定確保了安全性，無論客戶使用Amazon CodeWhisperer專業版還是企業版，在處理來自開發人員IDE的請求時，AWS均不會儲存或記錄任何客戶內容。

Amazon QuickSight是為雲端建立的統一BI服務，能夠建立互動式儀錶板、分頁報告以及嵌入式分析，同時具備使用QuickSight Q進行自然語言查詢的能力，因此企業的每位用戶都能以偏好的格式獲取所需的洞察。

一般情況下，商業分析師需要花費數小時使用BI工具來探索各種不同的資料來源，進而計算、建立和完善視覺化效果，然後呈現在儀錶板中提供給業務相關利益人士。要建立一個簡單的圖表，分析師必須先找到正確的資料來源、識別資料欄位、設置篩檢程式，同時進行必要的個人化設定以實現良好的視覺化效果。

如果進行資料視覺化需要進行新的計算（例如年度銷售額），分析師還必須確定所需的參考資料，然後建立、驗證並將視覺效果添加到報告中。如果可以減少商業分析師手動建立和調整圖表和計算所花費的時間，讓他們將更多時間投入到高價值的任務中，企業也能從中獲益。

新的生成式BI創作功能擴展了QuickSight Q的自然語言查詢功能，使其不僅能夠回答清晰表述的問題（例如，「加州銷售排名前10的產品是什麼？」），還能幫助分析師從問題片段（例如，「銷售排名前10的產品」）快速建立客製的視覺效果，透過提出後續問題來釐清查詢用意，優化視覺效果，並完成複雜的計算。業務分析師只需描述想獲得的結果，QuickSight即可生成具有良好觀感的視覺物件。分析師僅需簡單操作就能將其輕鬆添加到儀錶板或報告中。

例如，分析師可以要求QuickSight Q為「2022年和2023年運動鞋銷售額的每月趨勢」建立視覺化內容，該服務會自動選擇合適的資料，並根據請求使用最合理的圖表格式（比如折線圖或長條圖）繪製所需資訊。QuickSight Q還將提供預設的提示問題，幫助分析師釐清在多個資料欄位與其匹配查詢時可能出現的歧義（比如圖表應包括運動鞋銷售額的美元總額還是銷售的單位個數）。

分析師獲得了初步的視覺化內容後，還可以使用自然語言添加更複雜的計算，改變圖表類型，或優化視覺化效果。QuickSight Q中新的生成式BI創作功能使業務分析師能夠輕鬆快速地建立良好的視覺效果，透過大規模資料驅動決策，提供寶貴的資訊依據。

愛迪達是全球最大的運動品牌之一。「我們很高興能參與Amazon Bedrock預覽版的試用，親身體驗這項服務。Amazon Bedrock對我們的生成式AI工具建立大有幫助，Amazon Bedrock負責了建立生成式AI應用的繁重基礎設施管理工作，使我們能夠專注於大語言模型專案的核心作業。」愛迪達企業架構副總裁Daniel Eichten表示，「我們已經使用Amazon Bedrock開發了一款生成式AI解決方案，使愛迪達的廣大工程師只需透過單個對話介面，就能從知識庫中找到所需的各種資訊和答案，回答從入門到複雜的多種技術問題。」

默克是一家研發密集型生物製藥公司，130多年來一直致力於發現和研發創新藥物和疫苗，以拯救生命和改善人類健康。「完整的製藥價值鏈上存在許多手動且耗時的流程，這些流程阻礙了更有價值的工作發展，且無法有效利用資料改善員工、客戶和患者體驗。」默克資料科學執行董事Suman Giri表示，「透過Amazon Bedrock，我們迅速建立了生成式AI功能，使知識挖掘和市場研究等工作更有效率。我們分析美國患者時，可以利用這些功能提供患者治療的見解，提高生活品質，擴大商業影響力，同時填補過去資料共用的不足，為負責任的生成式AI打造資料治理生態系統。」

BMW是全球頂級汽車和摩托車製造商。「BMW的區域專家致力於優化供應鏈的庫存，他們經常收到董事會成員或供應鏈專家等利益相關者的請求，被要求建立新的儀錶板視覺圖表，以便他們分析最新趨勢。」BMW資料工程和分析專家Christoph Albrecht表示，「QuickSight Q創作體驗能夠大幅節省時間，在無需參考的情況下建立計算，並快速呈現視覺效果，然後透過自然語言對視覺化呈現進行精確調整。區域專家的快速回饋給我們的業務用戶留下了深刻印象，進而讓他們可以更快地做出重要決策。」