張貼日期: May 1, 2019
Amazon EKS Deep Learning Benchmark Utility 是一種新型自動化工具,適用於 Kubernetes 叢集的機器學習基準測試。該工具由 Amazon Elastic Container Service for Kubernetes (EKS) 團隊設計,而且開放了原始碼。
Kubernetes 是一種開放原始碼軟體,可以輕鬆快速地擴展機器學習模型以進行訓練和推論,以及在 AWS 上靠近您的資料來源執行它們。透過各種可以選擇的變數和基礎設施在 Kubernetes 上執行機器學習任務,為工作負載找到正確的組態需要持續的基準測試。以前,在 Kubernetes 進行機器學習效能基準測試時,您必須針對每個效能優化執行多個手動步驟,在設定經濟實惠且高效能的機器學習任務上增加了大量時間和人力。
Amazon EKS Deep Learning Benchmark Utility 針對深度學習訓練和其他機器學習工作負載簡化了 AWS 上執行之 Kubernetes 叢集的效能基準測試。這個公用程式提供從叢集建立到叢集拆除的自動化端對端基準測試工作流程,支援可高度設定的叢集組態、不同的後端儲存系統,以及包括 Tensorflow、Horovod、OpenMPI、PyTorch 和 MxNet 在內的多種架構。
要進一步了解,請瀏覽 GitHub 上的專案。
請參閱我們的部落格文章,進一步了解如何利用 Amazon EKS 優化分散式深度學習效能。