致力於降低開發門檻

AWS 宣佈 Amazon SageMaker 新功能 加速機器學習模型開發流程

orange-bar
Amazon SageMaker 是面向機器學習開發者的一個整合式開發環境,是一項全託管的服務,消除機器學習過程中每個階段的挑戰,使開發人員和資料科學家日常能夠從根本上更輕鬆、更快速的建構、訓練和部署機器學習模型。Amazon SageMaker 的功能也在快速反覆運算中,過去一年已經發表了 50 多項新功能。在 re:Invent 大會上,AWS 再次發佈 9 項新功能。以下重點整理針對台灣產業相當實用的功能:

Amazon SageMaker Feature Store

現今企業中,常有數十甚至數百個機器學習模型,以來自多個資料源、多種格式的資料做訓練及推斷。如何管理模型所需的特徵資訊成為了一個工程上的挑戰。
 
以金融業為例,金融機構中利用機器學習進行市場分析、風險評估及提升客戶留存率等應用,動轍數百個模型在生產線上,而建模所需的資料來源橫跨多種來源,例如原物料價格、失業率、股價、財務分析報告到客戶交易資料,其更新頻率、格式及儲存方式亦各有不同,定義不同資料源的處理邏輯與確保品質是一個關鍵。再者,不同模型中常會共用特徵資料建模,讓特徵值便於重複使用對團隊的效率並定義明確的特徵值,讓團隊在建模後,能夠進一步分析以獲得洞察。
 
以往資料科學家或資料工程師必須付出許多努力管理特徵值,確保品質並提高重用性,但往往隨著模型開發、新的資料源加入或是不同版本的特徵處理方式面臨規模化的困難。AWS 在 re:Invent 2020 新發布的 Amazon SageMaker Feature Store 提供資料處理整合介面,並建立特徵值的命名、定義及發掘的便捷機制,讓資料科學團隊專注在具有商業影響力的建模與分析上。

Amazon SageMaker Pipelines

機器學習的工程程序包含三大階段:資料準備、訓練及部署。而三階段又各有其子任務:資料準備階段意指準備訓練及推斷資料,包含資料前處理、資料轉置;訓練過程包含模型訓練、訓練中的數據收集、超參數優化及離線評測等等;部署則有模型對推斷裝置的優化及推斷端點的生成、因應實際狀況擴大或縮小機器規模等等工作。整體是一個十分冗長的管線,如何管理工程管線、加速工程任務的整合對開發效率有關鍵性的影響。
 
以電商企業中開發推薦引擎為例,資料準備階段會需要整合銷售、會員資料、使用者在線使用記錄等多個資料源,將其整理為機器學習模型所需的特徵值。在訓練時則需以資料準備階段產出的資料進行訓練,並且進行參數的優化,而進行離線評測後若模型達到品質標準,則趨動產品線上的部署,讓使用者使用。
 
在此流程中,資料、程式邏輯或是模型效能上有品質疑慮的話,需要中斷部署流程,確保線上產品品質。舉例來說,若是在資料準備階段,發生來源資料格式變動,或是程式邏輯需要修正的情況導致資料缺失,必須反應給開發團隊或資料提供者進行修正,停止後續部署;或是在離線評測結果未達標準的情況下,必須停止部署流程,並趨動它種模型再訓練或反回團隊進行模型調整。
 
更重要的是,在歷程中的模型參數、訓練資料、及所使用的運算資源等等資訊必須能被記錄追蹤,在部署後發現線上品質有疑慮時可快速切回先前版本,提升服務可信賴性及可用性。
 
AWS re:Invent 2020 新發布的Amazon SageMaker Pipelines提供機器學習系統自動化整合機制,讓開發團隊能夠以快速更迭的方式更新系統,並同時確保線上產品的服務品質,讓資料科學家、資料工程師所做的變更工作能在最短時間內得到回饋或驗證,有效縮短新功能的開發週期。

Amazon SageMaker Edge Manager

在製造業中,需要許多邊緣推斷的應用,如異常偵測或是品質檢測,在邊緣裝置提供低延遲且準確推斷對於工廠的運行效率十分重要,這次發布的 Edge Manager 能在雲端訓練精確模型,針對不同的邊緣置進行壓縮與優化,達到加速推斷速度至二倍並降低所需記憶體至十分之一,提升了邊緣推斷的效能。另外,邊緣推斷面臨的另一個問題是,如果機器學習模型因為環境變遷之故準確率隨時間變動,將對產線效率及產品品質有重大影響。Amazon SageMaker Edge Manager 讓使用者加密上傳模型及推斷資料至 Amazon SageMaker,對模型推斷效能進行監控,提早發現模型準確度變動的問題,先一步提供根據最新資料優化的模型,維持產線效率及產品品質。
orange-bar

免費註冊AWS帳號

數百萬名客戶正使用 AWS 雲端解決方案建立提升彈性、可擴展性、安全性和可靠性的應用程式,歡迎探索各類免費方案在 AWS 上進行建置。

免費註冊>>

與我們聯絡

遇到問題?不管是架構設計、架構優化、效能提升等等,都竭誠歡迎你/妳聯絡 AWS 的雲端業務!

與專人線上對談

有任何新專案的想法,想要評估使用 AWS 服務,或目前在使用上需要原廠協助之處,都可以跟我們聊聊!

開啓對話>>