Amazon EMR Serverless ช่วยลดพื้นที่เก็บข้อมูลในเครื่องสำหรับเวิร์กโหลด Apache Spark
ขณะนี้ Amazon EMR Serverless นำเสนอพื้นที่เก็บข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์ ซึ่งจะลดพื้นที่เก็บข้อมูลในเครื่องที่จัดเตรียมให้กับเวิร์กโหลด Apache Spark, ลดต้นทุนการประมวลผลข้อมูลได้ถึง 20% และป้องกันความล้มเหลวของงานจากข้อจำกัดด้านความจุของดิสก์ คุณไม่จำเป็นต้องกำหนดค่าประเภทและขนาดดิสก์ในเครื่องสำหรับแต่ละแอปพลิเคชันอีกต่อไป EMR Serverless จะจัดการการใช้ข้อมูลระดับกลาง เช่น Shuffle โดยอัตโนมัติ โดยไม่มีค่าใช้จ่ายด้านพื้นที่เก็บข้อมูลในเครื่อง คุณจะจ่ายเพียงค่าทรัพยากรการประมวลผลและหน่วยความจำที่งานของคุณใช้
EMR Serverless จะขนถ่ายการใช้ข้อมูลระดับกลางไปยังพื้นที่เก็บข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์ที่มีการจัดการและปรับขนาดอัตโนมัติอย่างเต็มที่ ซึ่งจะเข้ารหัสข้อมูลที่อยู่ระหว่างการโอนย้ายและข้อมูลที่อยู่ในพื้นที่จัดเก็บโดยการแยกระดับงาน ที่เก็บข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์จะแยกพื้นที่เก็บข้อมูลออกจากการประมวลผล ทำให้ Spark สามารถปล่อยพนักงานทันทีเมื่อไม่ได้ใช้งาน แทนที่จะทำให้พนักงานทำงานอยู่ตลอดเพื่อเก็บรักษาข้อมูลชั่วคราว นี่จะช่วยขจัดความล้มเหลวของงานจากความจุดิสก์ไม่เพียงพอและช่วยลดค่าใช้จ่ายโดยหลีกเลี่ยงค่าใช้จ่ายของพนักงานที่ไม่ได้ใช้งาน ซึ่งมีค่าเป็นอย่างยิ่งสำหรับงานที่ใช้การจัดสรรทรัพยากรแบบไดนามิก เช่น เอนจิ้นคำแนะนำที่ประมวลผลการโต้ตอบกับลูกค้าหลายล้านรายการ โดยขั้นตอนเริ่มต้นจะประมวลผลชุดข้อมูลขนาดใหญ่ที่มีความขนานกันสูงจากนั้นจะแคบลงตามข้อมูลที่รวบรวมได้
โดยทั่วไปฟีเจอร์นี้ใช้ได้สำหรับ EMR เวอร์ชัน 7.12 ขึ้นไป โปรดดูที่ AWS Region ที่รองรับสำหรับความพร้อมใช้งาน หากต้องการเริ่มต้นใช้งาน โปรดดูที่พื้นที่เก็บข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์สำหรับเอกสารประกอบ EMR Serverless