Công bố tác tử nâng cấp Apache Spark cho Amazon EMR
AWS công bố tác tử nâng cấp Apache Spark, một tính năng mới giúp tăng tốc quá trình nâng cấp phiên bản Apache Spark cho Amazon EMR trên EC2 và EMR phi máy chủ. Tác tử này biến quy trình nâng cấp phức tạp, vốn thường mất hàng tháng, thành dự án kéo dài chỉ vài tuần thông qua phân tích và chuyển đổi mã tự động. Trong quá trình nâng cấp Spark, các tổ chức phải đầu tư nhiều nguồn lực kỹ thuật để phân tích thay đổi API, giải quyết xung đột và xác thực ứng dụng. Tác tử này giới thiệu những giao diện hội thoại cho phép kỹ sư diễn đạt yêu cầu nâng cấp bằng ngôn ngữ tự nhiên, đồng thời vẫn duy trì toàn quyền kiểm soát các hoạt động sửa đổi mã.
Tác tử nâng cấp Apache Spark tự động nhận diện sự thay đổi API và sửa đổi hành vi trên các ứng dụng PySpark và Scala. Kỹ sư có thể khởi chạy quá trình nâng cấp trực tiếp từ Studio hợp nhất của SageMaker, Kiro CLI hoặc IDE mà họ chọn, với sự hỗ trợ của khả năng tương thích MCP (Giao thức ngữ cảnh mô hình). Trong quá trình nâng cấp, tác tử sẽ phân tích mã hiện có và đề xuất các thay đổi cụ thể, đồng thời kỹ sư có thể xem xét và phê duyệt trước khi triển khai. Tác tử sẽ xác thực tính chính xác về chức năng thông qua các thao tác xác thực chất lượng dữ liệu. Hiện tại, tác tử này hỗ trợ nâng cấp từ Spark 2.4 lên 3.5 và duy trì độ chính xác khi xử lý dữ liệu trong suốt quá trình nâng cấp.
Tác tử nâng cấp Apache Spark hiện được cung cấp ở tất cả các Khu vực AWS có hỗ trợ Studio hợp nhất của SageMaker. Để bắt đầu sử dụng tác tử này, hãy truy cập Studio hợp nhất của SageMaker và chọn IDE Spaces hoặc cài đặt Kiro CLI. Để xem hướng dẫn triển khai chi tiết, tài liệu tham khảo và ví dụ về quá trình di chuyển, hãy truy cập tài liệu.