เรียกใช้เวิร์กโหลดแบบโต้ตอบบน Amazon EMR Serverless ด้วย Spark Connect
ขณะนี้ Amazon EMR Serverless รองรับเซสชันแบบโต้ตอบด้วย Spark Connect ช่วยให้คุณสามารถพัฒนาและเรียกใช้แอปพลิเคชัน Apache Spark จากโน้ตบุ๊กที่มีการจัดการในสตูดิโอแบบครบวงจรของ Amazon SageMaker รวมถึงสภาพแวดล้อมโน้ตบุ๊กและ IDE ที่คุณคุ้นเคย เช่น Jupyter และ Visual Studio Code นอกจากนี้ คุณยังสามารถติดตามตรวจสอบและแก้ไขข้อบกพร่องของเซสชันที่กำลังทำงานอยู่และที่เสร็จสิ้นแล้วได้ในคอนโซล EMR รวมถึงรับข้อมูลเชิงลึกด้านค่าใช้จ่ายและการใช้งานแบบแกรนูลาร์สำหรับแต่ละเซสชันได้อีกด้วย
เซสชันแบบโต้ตอบจะจัดเตรียมบริบทของ Spark แบบคงอยู่ที่ทำงานต่อเนื่องได้อย่างราบรื่นระหว่างเซลล์และสคริปต์ต่าง ๆ ช่วยให้คุณสามารถผสานการดำเนินการโค้ด Python ภายในเครื่องเข้ากับการดำเนินการ Spark จากระยะไกลภายในสภาพแวดล้อมเดียวกันได้ ความสามารถนี้เกิดขึ้นได้จากสถาปัตยกรรมแบบไคลเอ็นต์-เซิร์ฟเวอร์ของ Spark Connect ซึ่งแยกไคลเอ็นต์แอปพลิเคชันออกจากไดรเวอร์ Spark และช่วยให้คุณสามารถใช้สภาพแวดล้อมการพัฒนาและเครื่องมือที่ต้องการได้ต่อไป ในขณะที่โครงสร้างพื้นฐาน Spark ทำงานแยกต่างหากบน EMR Serverless สถาปัตยกรรมนี้รองรับเวิร์กโฟลว์ต่าง ๆ เช่น การสำรวจข้อมูลเฉพาะกิจ การแก้ไขข้อบกพร่องแบบทำซ้ำทีละขั้นตอน และการพัฒนางาน PySpark แบบค่อยเป็นค่อยไปก่อนติดตั้งใช้งานในการใช้งานจริง สำหรับข้อมูลการสังเกต คุณจะได้รับการติดตามตรวจสอบเซสชันแบบเรียลไทม์ผ่าน Spark UI, การติดตามประวัติผ่าน Spark History Server และการจัดการเซสชันจากคอนโซล EMR หรือผ่าน API/CLI/SDK
Spark Connect บน Amazon EMR Serverless พร้อมใช้งานกับ EMR รุ่น 7.13 ใน AWS Region ทุกแห่งที่มี Amazon EMR Serverless ให้บริการ ประสบการณ์การใช้งานของสตูดิโอแบบครบวงจรของ Amazon SageMaker พร้อมใช้งานในรีเจี้ยนที่รองรับ ในการเริ่มต้นใช้งาน โปรดไปที่คู่มือผู้ใช้เซสชันแบบโต้ตอบของ EMR Serverless หรือคู่มือเริ่มต้นใช้งานสตูดิโอแบบครบวงจรของ Amazon SageMaker