AWS Step Functions 擴展分散式映射的資料來源和輸出選項
AWS Step Functions 現在支援分散式映射的其他資料來源和輸出選項,進而實現更靈活的大規模平行處理工作流程。分散式映射現在可以處理儲存在 Amazon S3 中來自 JSON Lines (JSONL) 和各種分隔檔案格式的資料。此外,分散式映射還提供新的輸出轉換,以更好地控制結果格式。
AWS Step Functions 是一項視覺化工作流程服務,能夠協調 220 多個 AWS 服務的 14,000 多個 API 動作,進而建置分散式應用程式和資料處理工作負載。透過此更新,您可以使用 Step Functions 分散式映射更輕鬆地迭代和處理各種資料集。除了現有的 JSON 和逗號分隔值 (CSV) 檔案支援之外,分散式映射現在還支援 JSONL 以及新的分隔檔案格式,例如分號分隔的檔案和 Tab 分隔的檔案。這將處理能力擴展到更廣泛的資料格式,無需進行自訂預先處理。新的靈活輸出轉換可讓您更好地控制結果的格式化方式,進而更輕鬆地彙總結果,並簡化與下游系統的整合。
若要開始使用,您可以立即在 AWS Step Functions 主控台中使用分散式映射模式,或閱讀此部落格文章。若要進一步了解,請參閱 Step Functions 開發人員指南。