- การประมวลผลบนคลาวด์คืออะไร›
- ฮับแนวคิดการประมวลผลบนคลาวด์›
- การประมวลผล
การประมวลผลแบบคลัสเตอร์คืออะไร
การประมวลผลแบบคลัสเตอร์คืออะไร
การประมวลผลแบบคลัสเตอร์เป็นกระบวนการที่ใช้โหนดการประมวลผลหลายโหนดเรียกว่าคลัสเตอร์ เพื่อเพิ่มกำลังการประมวลผลสำหรับการแก้ปัญหาที่ซับซ้อน กรณีการใช้งานที่ซับซ้อนเช่นการวิจัยยา การวิเคราะห์โปรตีน และการฝึกโมเดล AI จำเป็นต้องมีการประมวลผลแบบขนานของจุดข้อมูลนับล้านสำหรับงานจำแนกและการทำนายที่ซับซ้อน เทคโนโลยีการประมวลผลแบบคลัสเตอร์ประสานโหนดการประมวลผลหลายโหนด แต่ละโหนดมี CPU, GPU และหน่วยความจำภายในของตัวเองเพื่อทำงานร่วมกันในงานการประมวลผลข้อมูลเดียวกัน แอปพลิเคชันบนโครงสร้างพื้นฐานการประมวลผลแบบคลัสเตอร์ทำงานราวกับว่าบนเครื่องเดียวdyoและไม่ทราบถึงความซับซ้อนของระบบพื้นฐาน
เทคโนโลยีการประมวลผลแบบคลัสเตอร์มีวิวัฒนาการอย่างไร
การประมวลผลแบบคลัสเตอร์ถูกคิดค้นขึ้นในปี 1960 เพื่อมอบพลังการประมวลผลแบบขนาน หน่วยความจำ และการจัดเก็บข้อมูลในคอมพิวเตอร์หลายเครื่อง คลัสเตอร์ในช่วงแรกประกอบด้วยคอมพิวเตอร์ส่วนบุคคล เวิร์กสเตชัน และเซิร์ฟเวอร์ คอมพิวเตอร์แต่ละเครื่องเชื่อมต่อกับเครือข่ายท้องถิ่น (LAN) ทำให้ผู้ใช้สามารถเข้าถึงทรัพยากรเหมือนกับว่าใช้คอมพิวเตอร์เครื่องเดียว
ในช่วงหลายปีที่ผ่านมา เทคโนโลยีที่ช่วยให้การประมวลผลแบบคลัสเตอร์เป็นไปได้มีการพัฒนาขึ้น ส่งผลให้มีกรณีการใช้งานที่หลากหลายมากขึ้น เช่น การประมวลผลประสิทธิภาพสูง (HPC) การประมวลผลประสิทธิภาพสูงใช้โปรเซสเซอร์ที่เชื่อมต่อหลายตัว ซึ่งอาจเป็นหลายร้อยพันตัวเพื่อมอบพลังการประมวลผลแบบขนานขนาดใหญ่ องค์กรใช้ HPC เพื่อรองรับเวิร์กโหลดในแอปพลิเคชันที่ใช้ทรัพยากรที่เข้มข้น เช่น การวิเคราะห์ข้อมูล การวิจัยทางวิทยาศาสตร์ แมชชีนเลิร์นนิง และการประมวลผลภาพ
การประมวลผลแบบคลัสเตอร์ในคลาวด์
โดยทั่วไป การตั้งค่าคลัสเตอร์คอมพิวเตอร์ต้องติดตั้งและกำหนดค่าคอมพิวเตอร์ ระบบปฏิบัติการ ความสามารถของเครือข่าย และกลไกการกระจายทรัพยากรด้วยตนเอง นอกจากนี้การตั้งค่าในองค์กรยังสร้างความเครียดทางการเงินให้กับองค์กรเนื่องจากการปรับขนาดคลัสเตอร์ต้องลงทุนในฮาร์ดแวร์เซิร์ฟเวอร์มากขึ้น
ปัจจุบันผู้ให้บริการคลาวด์จำนวนมากนำเสนอคลัสเตอร์การประมวลผลประสิทธิภาพสูง (HPC) ที่มีการจัดการ ซึ่งองค์กรสามารถปรับใช้เวิร์กโหลดได้อย่างง่ายดาย แทนที่จะตั้งค่าคอมพิวเตอร์ที่เชื่อมต่อหลายพันเครื่องในองค์กร คุณสามารถเข้าถึงพลังงานการประมวลผลระบบคลาวด์ได้ไม่จำกัดด้วย AWS HPC
AWS HPC ช่วยให้ทีมซอฟต์แวร์สามารถสร้างสรรค์นวัตกรรมและปรับขนาดเวิร์กโหลดอย่างหนักด้วยบริการคอมพิวเตอร์ที่ใช้คการประมวลผลแบบคลัสเตอร์ ตัวอย่างเช่น Hypersonix ใช้การประมวลผลประสิทธิภาพสูงเพื่อเรียกใช้การจำลองพลศาสตร์ของไหลความเร็วสูงที่เกี่ยวข้องกับเซลล์หลายล้านเซลล์ในคลาวด์ AWS
กรณีการใช้งานของการประมวลผลแบบคลัสเตอร์คืออะไร
ด้านล่างนี้เราแบ่งปันการใช้งานทั่วไปของเทคโนโลยีการประมวลผลแบบคลัสเตอร์
การวิเคราะห์ Big Data
การประมวลผลแบบคลัสเตอร์สามารถเร่งการวิเคราะห์ข้อมูลโดยการกระจายงานวิเคราะห์ไปยังคอมพิวเตอร์หลายเครื่องแบบขนานกัน ตัวอย่างเช่น คุณสามารถเรียกใช้การประมวลผลที่ซับซ้อนเช่น Monte Carlo, จีโนมิกส์ หรือการวิเคราะห์ความรู้สึกด้วยคลัสเตอร์การประมวลผลบนคลาวด์ที่สร้างขึ้นเพื่อรองรับเวิร์กโหลด HPC
ปัญญาประดิษฐ์และแมชชีนเลิร์นนิง
แอปพลิเคชันปัญญาประดิษฐ์และแมชชีนเลิร์นนิง (AI/ML) ใช้พลังงานการประมวลผลจำนวนมากเมื่อฝึกอบรมและประมวลผลข้อมูล ด้วยโครงสร้างพื้นฐานการประมวลผลแบบคลัสเตอร์ที่สร้างขึ้นโดยเฉพาะ นักวิทยาศาสตร์ข้อมูลสามารถเร่งเวลาเพื่อให้ได้ผลลัพธ์ ตัวอย่างเช่น คุณสามารถเรียกใช้เวิร์กโหลด AI/ML ของคุณบนคลัสเตอร์ AI บนคลาวด์ที่ขับเคลื่อนโดย AWS Trainium ซึ่งเป็นชิปคอมพิวเตอร์ที่ออกแบบมาเพื่อเร่งการวิจัย AI
การสร้างภาพ 3 มิติ
การประมวลผลแบบคลัสเตอร์ช่วยให้สามารถเรนเดอร์แบบคลัสเตอร์ได้ ซึ่งเป็นกระบวนการที่คอมพิวเตอร์หลายเครื่องที่เชื่อมต่อกันซิงโครไนซ์รูปภาพหรือวิดีโอระหว่างหน้าจอต่าง ๆ คุณยังสามารถใช้การเรนเดอร์คลัสเตอร์เพื่อรองรับวิศวกรรมที่ช่วยด้วยคอมพิวเตอร์ ความเป็นจริงเสมือน และแอปพลิเคชันอื่น ๆ ที่ต้องการพลังการประมวลผลกราฟิกสูง
การจำลอง
องค์กรต่าง ๆ ใช้คลัสเตอร์การประมวลผลเพื่อจำลองผลลัพธ์ที่เป็นไปได้จากข้อมูลเพื่อเป็นแนวทางในการตัดสินใจทางธุรกิจ คอมพิวเตอร์หลายเครื่องเมื่อเชื่อมโยงกันจะเปิดใช้งานเวิร์กโฟลว์แบบโต้ตอบซึ่งผู้เชี่ยวชาญของมนุษย์สามารถสกัดแยก ทบทวน และปรับแต่งผลลัพธ์จากโมเดลพื้นฐานได้ ตัวอย่างเช่น คุณสามารถดำเนินการวิเคราะห์ความเสี่ยงทางการเงินได้โดยการใช้ทรัพยากรจากคอมพิวเตอร์ที่เชื่อมโยงกับเวิร์กโหลดแมชชีนเลิร์นนิง
การประมวลผลแบบคลัสเตอร์ทำงานอย่างไร
การประมวลผลแบบคลัสเตอร์เชื่อมต่อคอมพิวเตอร์สองเครื่องขึ้นไปผ่านเครือข่ายเพื่อทำงานร่วมกันเป็นระบบเดียว โดยทั่วไป การตั้งค่าคลัสเตอร์ประกอบด้วยโหนดการประมวลผล โหนดผู้นำ โหลดบาลานเซอร์ และกลไกฮาร์ทบีต เมื่อโหนดผู้นำได้รับคำขอ โหนดนี้จะส่งงานไปยังโหนดการประมวลผล ตามวิธีที่วิศวกรกำหนดค่า คลัสเตอร์แต่ละโหนดอาจทำหน้าที่แยกกันหรือทำงานพร้อมกัน เราอธิบายแต่ละองค์ประกอบไว้ด้านล่าง
โหนดการประมวลผล
โหนดการประมวลผลเป็นเซิร์ฟเวอร์ (หรืออินสแตนซ์คลาวด์) ที่ทำงานกับงานที่กระจายมา บ่อยครั้งที่โหนดนี้ใช้ CPU, GPU, หน่วยความจำ พื้นที่เก็บ ระบบปฏิบัติการ และข้อมูลจำเพาะการประมวลผลอื่น ๆ ร่วมกัน เราเรียกสิ่งนี้ว่าการตั้งค่าที่เป็นเนื้อเดียวกัน บางครั้งอาจใช้การตั้งค่าที่แตกต่างกันโดยที่บางโหนดคลัสเตอร์มีข้อกำหนดในการประมวลผลที่แตกต่างกัน
โหนดผู้นำ
โหนดผู้นำคือคอมพิวเตอร์ที่ได้รับมอบหมายเพื่อประสานการทำงานของโหนดคอมพิวเตอร์อื่น ๆ โหนดผู้นำรับคำขอขาเข้าและแจกจ่ายงานไปยังโหนดต่าง ๆ ภายใต้การดูแลของตน หากโหนดผู้นำล้มเหลว โหนดอื่นจะเข้ามาแทนที่โดยผ่านกระบวนการเลือกตั้ง โดยปกติแล้วจะทำโดยการเห็นพ้องต้องกันของโหนดที่เหลือ
โหลดบาลานเซอร์
โหลดบาลานเซอร์เป็นอุปกรณ์เครือข่ายที่กระจายการรับส่งไปยังโหนดการประมวลผลที่เหมาะสม โดยจะติดตามกิจกรรมเครือข่ายการใช้ทรัพยากรและการแลกเปลี่ยนข้อมูลระหว่างโหนดคลัสเตอร์ ในการประมวลผลแบบคลัสเตอร์ โหลดบาลานเซอร์จะป้องกันไม่ให้โหนดการประมวลผลถูกครอบงำโดยการร้องขอที่เพิ่มขึ้นอย่างกะทันหัน บางครั้งโหนดผู้นำทำหน้าที่เป็นโหลดบาลานเซอร์ผ่านเครื่องมือซอฟต์แวร์โหลดบาลานซ์โดยเฉพาะ
กลไกฮาร์ทบีต
กลไกฮาร์ทบีตจะตรวจสอบโหนดคอมพิวเตอร์ทั้งหมดในคลัสเตอร์เพื่อให้แน่ใจว่าโหนดทำงานได้ เมื่อโหนดหนึ่งล้มเหลวในการตอบสนอง กลไกฮาร์ทบีตจะแจ้งเตือนโหนดผู้นำโดยกระจายงานไปยังโหนดการทำงานอื่น ๆ
การประมวลผลแบบคลัสเตอร์มีกี่ประเภท
องค์กรต่าง ๆ สามารถตั้งค่าคลัสเตอร์คอมพิวเตอร์เพื่อรองรับธุรกิจ ประสิทธิภาพการทำงาน และเป้าหมายการปฏิบัติงานต่าง ๆ
คลัสเตอร์โหลดบาลานซ์
คลัสเตอร์โหลดบาลานซ์ช่วยให้การทำงานมีเสถียรภาพโดยการประสานงานการจัดการทรัพยากรโดยอัตโนมัติ เมื่อคลัสเตอร์ดังกล่าวได้รับคำขอ คลัสเตอร์นี้จะกระจายงานอย่างสม่ำเสมอให้โหนดที่มีอยู่ทั้งหมด สิ่งนี้จะป้องกันไม่ให้โหนดใดโหนดหนึ่งถูกครอบงำ ตัวอย่างเช่น ธุรกิจโฮสต์เว็บไซต์อีคอมเมิร์ซบนคลัสเตอร์โหลดบาลานซ์เพื่อตอบสนองการรับส่งข้อมูลที่เพิ่มขึ้นตามฤดูกาล เนื่องจากโหนดทั้งหมดทำงานร่วมกันตามคำขอ ผู้ใช้จึงได้รับประสิทธิภาพที่สม่ำเสมอแม้จะมีปริมาณการรับส่งข้อมูลสูง
คลัสเตอร์ความพร้อมใช้งานสูง
คลัสเตอร์ความพร้อมใช้งานสูง (HA) ช่วยให้มั่นใจได้ถึงความพร้อมให้บริการโดยการรักษาโหนดซ้ำซ้อน เมื่อโหนดเดียวโหนดหนึ่งล้มเหลว โหลดบาลานเซอร์จะกระจายการรับส่งข้อมูลไปยังโหนดสำรองใหม่เพื่อให้มั่นใจถึงความต่อเนื่องของบริการตลอดเวลา โหลดบาลานเซอร์ซ้ำซ้อนมักจะรวมอยู่ในการตั้งค่าเพื่อป้องกันไม่ให้เกิดความล้มเหลวเพียงจุดเดียว ด้วยวิธีนี้ ทำให้สามารถกู้คืนคลัสเตอร์ทั้งหมดได้ทันทีหากส่วนประกอบล้มเหลว
คุณสามารถกำหนดค่าคลัสเตอร์ความพร้อมใช้งานสูงได้สองวิธี
การกำหนดค่าแบบ Active-Active
โหนดทั้งหมดทำงานไม่ว่าจะได้รับงานหรือไม่ อย่างไรก็ตาม หากล้มเหลว โหลดบาลานเซอร์จะแจกจ่ายงานไปยังโหนดที่สถานะปกติ
การกำหนดค่าแบบ Active-Passive
โหนดบางโหนดยังคงไม่ทำงานในระหว่างการทำงานปกติ โหนดจะเปิดใช้งานเมื่อโหนดหนึ่งล้มเหลวเท่านั้น
คลัสเตอร์ประสิทธิภาพสูง
คลัสเตอร์ประสิทธิภาพสูงรวมคอมพิวเตอร์หลายเครื่องหรือซูเปอร์คอมพิวเตอร์เพื่อแก้ปัญหาการประมวลผลที่ซับซ้อนด้วยความเร็วในการประมวลผลสูง แทนที่จะประมวลผลตามลำดับ คลัสเตอร์ประสิทธิภาพสูงจะประมวลผลข้อมูลแบบขนานกัน ซึ่งเป็นประโยชน์ต่อแอปพลิเคชันที่ใช้ทรัพยากรมาก เช่น การขุดข้อมูล นอกจากนี้ โหนดการประมวลผลสามารถแลกเปลี่ยนข้อมูลได้ในขณะที่ทำงานเพื่อเป้าหมายร่วมกัน
บทบาทของการประมวลผลแบบคลัสเตอร์ใน AI คืออะไร
เวิร์กโหลด AI ต้องใช้ทรัพยากรการประมวลผล พื้นที่เก็บข้อมูลขนาดใหญ่ และการเชื่อมต่อเครือข่ายที่มีเวลาแฝงต่ำ ก่อนหน้านี้องค์กรต่าง ๆ ได้ปรับใช้เวิร์กโหลด AI บนศูนย์ข้อมูลในองค์กร อย่างไรก็ตามเมื่อแอปพลิเคชัน AI มีความซับซ้อนมากขึ้นจึงต้องใช้พลังงานในการประมวลผลและพื้นที่เก็บข้อมูลมากขึ้น เมื่อมีการนำมาใช้ใหม่สำหรับเวิร์กโหลด AI การประมวลผลแบบคลัสเตอร์จะสร้างเครือข่ายซูเปอร์คอมพิวเตอร์ขนาดใหญ่ที่เวิร์กโหลด AI สามารถทำงานได้ แทนที่จะใช้ CPU ซูเปอร์คอมพิวเตอร์จะขับเคลื่อนโดย GPU และ TPU เพื่อตอบสนองความต้องการในการประมวลผลที่สูง สถาปัตยกรรมคลัสเตอร์ดังกล่าวหรือที่เรียกว่า AI ซุปเปอร์คลัสเตอร์ ช่วยให้องค์กรสามารถสร้าง ปรับใช้ และปรับขนาดดีปเลิร์นนิง ระบบอิสระ การวิเคราะห์ Big Data และแอปพลิเคชัน AI อื่น ๆ
AWS สนับสนุนข้อกำหนดด้านการประมวลผลแบบคลัสเตอร์ของคุณได้อย่างไร
AWS Parallel Computing Service (AWS PCS) เป็นบริการที่มีการจัดการที่ใช้ Slurm เพื่อเรียกใช้และปรับขนาดเวิร์กโหลดการประมวลผลประสิทธิภาพสูง (HPC) บน AWS คุณสามารถใช้ AWS PCS เพื่อ:
- ลดความซับซ้อนในการดำเนินงานของคลัสเตอร์โดยใช้ความสามารถในการจัดการและข้อมูลการสังเกตในตัว
- สร้างคลัสเตอร์การประมวลผลที่ผสานการทำงานการประมวลผล พื้นที่จัดเก็บ ระบบเครือข่าย และการแสดงภาพของ AWS เข้าด้วยกัน
- เรียกใช้การจำลองหรือสร้างโมเดลทางวิทยาศาสตร์และวิศวกรรม
Elastic Fabric Adapter (EFA) เป็นอินเทอร์เฟซเครือข่ายสำหรับโหนดการประมวลผลที่ทำงานบนอินสแตนซ์ Amazon EC2 อินเทอร์เฟซที่สร้างขึ้นเองช่วยเพิ่มประสิทธิภาพของการสื่อสารระหว่างอินสแตนซ์ ซึ่งเป็นสิ่งสำคัญสำหรับการปรับขนาดแอปพลิเคชันการประมวลผลแบบคลัสเตอร์
AWS ParallelCluster เป็นเครื่องมือจัดการคลัสเตอร์แบบโอเพนซอร์สที่ทำให้การปรับใช้และจัดการคลัสเตอร์ Amazon EC2 ทำได้ง่าย คุณสามารถใช้อินเทอร์เฟซผู้ใช้แบบกราฟิก (GUI) หรือไฟล์ข้อความอย่างง่ายเพื่อสร้างแบบจำลองและจัดเตรียมทรัพยากรที่จำเป็นสำหรับแอปพลิเคชัน HPC ของคุณในแบบอัตโนมัติและปลอดภัย
เริ่มต้นใช้งานการประมวลผลแบบคลัสเตอร์บน AWS โดยสร้างบัญชีฟรีวันนี้