Amazon EMR di EKS kini mendukung agen pemecahan masalah Apache Spark
Amazon EMR di EKS kini mendukung agen pemecahan masalah Apache Spark. Kini, para insinyur data dapat mendiagnosis kegagalan pekerjaan EMR di EKS melalui bahasa alami, menerima analisis root penyebab otomatis dan rekomendasi kode PySpark tanpa harus menavigasi log terdistribusi dan data Spark History Server secara manual.
Agen tersebut menganalisis data Spark History Server, log eksekutor terdistribusi, dan konfigurasi klaster untuk mengidentifikasi masalah seperti kesalahan memori, ketidakseimbangan data, perebutan sumber daya, dan kegagalan konektivitas. Dengan peluncuran ini, agen pemecahan masalah Spark kini mencakup semua opsi deployment EMR: EMR di EC2, EMR Nirserver, dan EMR di EKS. Agen tersebut dapat diakses langsung dari EMR di konsol EKS melalui opsi "Pecahkan Masalah dengan AI" pada pekerjaan yang gagal. Selain itu, agen ini tersedia melalui MCP (Model Context Protocol) menggunakan agen coding AI yang kompatibel, termasuk Kiro, Claude Code, dan Cursor. Semua operasi bersifat hanya baca, diautentikasi dengan peran IAM, dan dicatat di AWS CloudTrail.
Agen pemecahan masalah Spark untuk Amazon EMR di EKS tersedia di semua AWS Region tempat Studio Terpadu SageMaker tersedia. Untuk memulai, buka EMR di konsol EKS, atau siapkan server MCP di agen coding AI pilihan Anda. Untuk panduan terperinci, lihat dokumentasi agen pemecahan masalah EMR.