การแนะนำ Advanced Scaling ในการปรับขนาดที่จัดการโดย Amazon EMR

โพสต์บน: 26 พ.ย. 2024

เรารู้สึกตื่นเต้นที่จะประกาศเปิดตัว Advanced Scaling ซึ่งเป็นความสามารถใหม่ใน การปรับขนาดที่จัดการโดย Amazon EMR ที่ช่วยให้ลูกค้ามีความยืดหยุ่นเพิ่มขึ้นในการควบคุมประสิทธิภาพและการใช้ทรัพยากรของ Amazon EMR บนคลัสเตอร์ EC2 เมื่อใช้ Advanced Scaling ลูกค้าจะสามารถกำหนดค่าการใช้ทรัพยากรหรือระดับประสิทธิภาพที่ต้องการสำหรับคลัสเตอร์ของตนได้ และการปรับขนาดที่จัดการโดย Amazon EMR จะใช้ประโยชน์จากความตั้งใจของลูกค้าในการปรับขนาดคลัสเตอร์และเพิ่มประสิทธิภาพทรัพยากรการประมวลผลคลัสเตอร์อย่างชาญฉลาด

ลูกค้าพึงพอใจในความเรียบง่ายของการปรับขนาดที่จัดการโดย Amazon EMR อย่างไรก็ตาม มีบางกรณีที่อัลกอริทึมการปรับขนาดที่จัดการโดย Amazon EMR เริ่มต้นอาจนำไปสู่การใช้คลัสเตอร์ไม่เต็มประสิทธิภาพสำหรับเวิร์กโหลดของลูกค้าเฉพาะราย ตัวอย่างเช่น คลัสเตอร์ที่ทำงานหลายงานที่มีระยะเวลาค่อนข้างสั้น (รันไทม์ของงาน 10 วินาทีหรือน้อยกว่า) การปรับขนาดที่จัดการโดย Amazon EMR จะขยายขนาดคลัสเตอร์อย่างรวดเร็วและปรับขนาดลงอย่างระมัดระวังตามค่าเริ่มต้น เพื่อหลีกเลี่ยงผลกระทบเชิงลบต่อรันไทม์ของงาน แม้ว่าการดำเนินการนี้จะเป็นแนวทางที่เหมาะสมสำหรับเวิร์กโหลดที่มีความละเอียดอ่อนของ SLA แต่ก็อาจไม่เหมาะสมที่สุดสำหรับเวิร์กโหลดที่มีความละเอียดอ่อนด้านต้นทุน เมื่อใช้ Advanced Scaling ตอนนี้ลูกค้าสามารถกำหนดค่าพฤติกรรมการปรับขนาดที่จัดการโดย Amazon EMR ที่เหมาะสมกับประเภทของเวิร์กโหลดตนเอง และเราจะใช้การเพิ่มประสิทธิภาพที่ปรับแต่งมาโดยเฉพาะเพื่อเพิ่มหรือลบโหนดออกจากคลัสเตอร์อย่างชาญฉลาด

หากต้องการเริ่มต้นใช้งาน Advanced Scaling คุณสามารถตั้งค่าพารามิเตอร์ ScalingStrategy และ UtilizationPerformanceIndex ได้เมื่อสร้างนโยบายการปรับขนาดที่มีการจัดการใหม่ หรืออัปเดตนโยบายการปรับขนาดที่มีอยู่แล้ว Advanced Scaling ใช้งานได้กับ Amazon EMR รุ่น 7.0 ขึ้นไป และพร้อมให้บริการในรีเจี้ยนทุกแห่งซึ่งมีการปรับขนาดที่จัดการโดย Amazon EMR ใช้งาน สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารประกอบ Advanced Scaling ของเรา