Apa itu Komputasi Klaster?
Apa itu Komputasi Klaster?
Komputasi klaster adalah proses penggunaan beberapa simpul komputasi, yang disebut klaster, untuk meningkatkan daya pemrosesan dalam menyelesaikan masalah yang rumit. Kasus penggunaan yang rumit seperti penelitian obat, analisis protein, dan pelatihan model AI memerlukan pemrosesan paralel jutaan titik data untuk tugas klasifikasi dan prediksi yang rumit. Teknologi komputasi klaster mengoordinasikan beberapa simpul komputasi, masing-masing dilengkapi dengan CPU, GPU, dan memori internal, untuk bekerja sama dalam mengolah tugas pemrosesan data yang sama. Aplikasi yang berjalan pada infrastruktur komputasi klaster beroperasi seolah-olah berada pada satu mesin tunggal dan tidak menyadari kerumitan sistem yang mendasarinya.
Bagaimana perkembangan teknologi komputasi kluster?
Kluster komputasi diciptakan pada tahun 1960-an untuk menyediakan daya pemrosesan paralel, memori, dan penyimpanan di antara beberapa komputer. Kluster awal terdiri dari komputer pribadi, workstation, dan server. Setiap komputer terhubung ke jaringan area lokal (LAN), membuat pengguna mengakses sumber daya seolah-olah menggunakan satu komputer.
Selama bertahun-tahun, teknologi yang memfasilitasi komputasi kluster telah berkembang, sehingga menghasilkan berbagai kasus penggunaan yang lebih beragam, seperti komputasi kinerja tinggi (HPC). Komputasi berkemampuan tinggi menggunakan sejumlah besar prosesor yang terhubung, mungkin hingga ratusan ribu, untuk menyediakan daya komputasi paralel yang sangat besar. Organisasi menggunakan HPC untuk mendukung beban kerja pada aplikasi yang membutuhkan sumber daya tinggi, seperti analisis data, penelitian ilmiah, pembelajaran mesin, dan pemrosesan visual.
Komputasi klaster di cloud
Secara tradisional, menyiapkan klaster komputer memerlukan pemasangan dan konfigurasi manual komputer, sistem operasi, kemampuan jaringan, serta mekanisme distribusi sumber daya. Selain itu, pengaturan on-premise menimbulkan beban finansial bagi organisasi, karena memperluas kluster memerlukan investasi dalam perangkat keras server tambahan.
Saat ini, banyak penyedia layanan cloud menawarkan kluster komputasi kinerja tinggi (HPC) yang dikelola, di mana organisasi dapat dengan mudah mengimplementasikan beban kerjanya. Alih-alih menyiapkan ribuan komputer yang terhubung di lokasi sendiri, Anda dapat mengakses daya pemrosesan cloud tak terbatas dengan AWS HPC.
AWS HPC menjadikan tim perangkat lunak dapat berinovasi dan menskalakan beban kerja yang membutuhkan komputasi intensif dengan layanan komputasi kluster yang tersedia. Misalnya, Hypersonix menggunakan komputasi berkemampuan tinggi untuk menjalankan simulasi dinamika fluida berkecepatan tinggi yang melibatkan jutaan sel di cloud AWS.
Apa saja kasus penggunaan komputasi klaster?
Di bawah ini, kami berbagi contoh penerapan teknologi komputasi klaster.
Analisis data besar
Komputasi klaster dapat mempercepat analisis data dengan membagikan tugas-tugas analitis ke beberapa komputer secara paralel. Contohnya, Anda dapat menjalankan perhitungan kompleks seperti Monte Carlo, genomika, atau analisis sentimen menggunakan klaster komputasi cloud yang dirancang untuk mendukung beban kerja HPC.
Kecerdasan buatan dan machine learning
Aplikasi kecerdasan buatan dan machine learning (AI/ML) membutuhkan daya pemrosesan yang sangat besar saat melatih dan memproses data. Dengan infrastruktur komputasi klaster yang dirancang khusus, para ilmuwan data dapat mempercepat waktu untuk mendapatkan hasil. Contohnya, Anda dapat menjalankan beban kerja AI/ML Anda di klaster AI cloud yang didukung oleh AWS Trainium, sebuah chip komputasi yang didesain untuk mempercepat penelitian AI.
Render 3D
Komputasi klaster memungkinkan rendering klaster, suatu proses di mana beberapa komputer yang terhubung secara bersamaan menyelaraskan gambar atau video di berbagai layar. Anda juga dapat menggunakan rendering klaster untuk mendukung rekayasa berbantuan komputer, realitas virtual, dan aplikasi lain yang memerlukan daya pemrosesan grafis yang tinggi.
Simulasi
Organisasi menggunakan klaster komputasi untuk mensimulasikan hasil-hasil yang mungkin dari data guna membantu pengambilan keputusan bisnis. Komputer-komputer yang terhubung secara jaringan memungkinkan alur kerja interaktif di mana para ahli manusia dapat mengekstrak, meninjau, dan menyempurnakan hasil dari model-model yang mendasarinya. Contohnya, Anda dapat melakukan analisis risiko keuangan dengan memanfaatkan sumber daya dari komputer yang terhubung untuk menjalankan beban kerja machine learning yang mendasarinya.
Bagaimana komputasi klaster bekerja?
Komputasi klaster menghubungkan dua atau lebih komputer melalui jaringan untuk bekerja secara terpadu sebagai satu sistem. Secara umum, pengaturan klaster terdiri dari simpul komputasi, simpul pemimpin, penyeimbang beban, dan mekanisme heartbeat. Ketika simpul pemimpin menerima permintaan, ia meneruskan tugas tersebut ke simpul komputasi. Tergantung pada cara insinyur mengonfigurasi klaster, setiap simpul dapat menjalankan tugas secara terpisah atau bersamaan. Kami menerangkan masing-masing komponen di bawah ini.
Simpul komputasi
Simpul komputasi adalah server (atau instance cloud) yang bekerja pada tugas-tugas terdistribusi. Seringkali, mereka menggunakan CPU, GPU, memori, penyimpanan, sistem operasi, dan spesifikasi komputasi lainnya yang sama. Kami menyebut ini sebagai pengaturan homogen. Pengaturan heterogen terkadang dapat digunakan, di mana beberapa simpul klaster memiliki spesifikasi komputasi yang berbeda.
Simpul pemimpin
Simpul pemimpin adalah komputer yang ditugaskan untuk mengoordinasikan cara kerja simpul-simpul komputasi lainnya bekerja bersama. Simpul pemimpin menerima permintaan masuk dan menyebarkan tugas ke simpul-simpul lain yang berada di bawah kendalinya. Jika sampul pemimpin mengalami kegagalan, simpul lain akan menggantikannya melalui proses pemilihan, biasanya dengan konsensus dari simpul-simpul yang tersisa.
Penyeimbang beban
Penyeimbang beban adalah perangkat jaringan yang menyebarkan lalu lintas masuk ke simpul komputasi yang sesuai. Sistem ini memantau aktivitas jaringan, penggunaan sumber daya, dan pertukaran data antara simpul-simpul dalam klaster. Dalam komputasi klaster, penyeimbang beban mencegah simpul komputasi dari kelebihan beban akibat lonjakan tiba-tiba dalam permintaan. Kadangkala, simpul pemimpin bertindak sebagai penyeimbang beban melalui perangkat lunak penyeimbang beban khusus.
Mekanisme heartbeat
Mekanisme heartbeat memantau semua simpul komputasi dalam klaster untuk memastikan bahwa mereka beroperasi dengan baik. Ketika sebuah simpul gagal merespons, mekanisme heartbeat akan memberi tahu simpul pemimpin, dan tugas tersebut akan didistribusikan ulang ke simpul-simpul lain yang berfungsi.
Apa sajakah jenis-jenis komputasi klaster?
Organisasi dapat mendirikan klaster komputasi untuk menunjang berbagai tujuan bisnis, kinerja, dan operasional.
Klaster penyeimbang beban
Klaster penyeimbangan beban memastikan stabilitas operasional dengan secara otomatis mengoordinasikan pengelolaan sumber daya. Ketika klaster menerima permintaan, ia mendistribusikan tugas secara merata ke semua simpul yang tersedia. Hal ini mencegah agar tidak ada satu simpul pun yang kewalahan. Sebagai contoh, bisnis menyelenggarakan situs web e-commerce pada klaster penyeimbang beban untuk mengatasi lonjakan lalu lintas musiman. Karena semua simpul bekerja sama dalam memproses permintaan, pengguna dapat menikmati kinerja yang konsisten meskipun volume lalu lintas tinggi.
Klaster ketersediaan tinggi
Klaster ketersediaan tinggi (HA) memastikan tersedianya layanan dengan mempertahankan simpul cadangan. Ketika satu simpul mengalami kegagalan, penyeimbang beban akan membagikan kembali lalu lintas ke simpul cadangan, memastikan kelangsungan layanan secara terus-menerus. Sebuah penyeimbang beban cadangan sering kali disertakan dalam konfigurasi untuk mencegah titik kegagalan tunggal. Dengan cara ini, seluruh klaster dapat pulih dengan cepat jika komponen-komponennya mengalami kegagalan.
Anda dapat mengatur klaster ketersediaan tinggi dengan dua cara.
Konfigurasi aktif-aktif
Semua simpul beroperasi, baik yang diberi tugas maupun yang tidak. Namun, jika mereka gagal, penyeimbang beban akan mendistribusikan ulang tugas ke simpul yang sehat.
Pengaturan aktif-pasif.
Beberapa simpul tetap tidak aktif selama operasi normal. Mereka hanya diaktifkan ketika sebuah simpul mengalami kegagalan.
Klaster berkemampuan tinggi
Klaster berkemampuan tinggi menggabungkan beberapa komputer atau superkomputer untuk menyelesaikan tugas komputasi kompleks dengan kecepatan pemrosesan tinggi. Alih-alih memproses secara berurutan, klaster berkemampuan tinggi memproses data secara paralel, yang bermanfaat bagi aplikasi yang membutuhkan sumber daya besar seperti penambangan data. Selain itu, simpul komputasi dapat bertukar data saat mereka bekerja menuju tujuan bersama.
Apa fungsi komputasi klaster dalam AI?
Beban kerja AI memerlukan sumber daya komputasi yang besar, penyimpanan, dan koneksi jaringan dengan latensi rendah. Sebelumnya, organisasi menerapkan beban kerja AI di pusat data on-premises. Namun, karena aplikasi AI menjadi lebih kompleks, mereka membutuhkan lebih banyak daya komputasi dan ruang penyimpanan. Saat digunakan untuk beban kerja AI, komputasi klaster menciptakan jaringan superkomputer yang besar tempat beban kerja AI dapat dijalankan. Alih-alih menggunakan CPU, superkomputer ini didukung oleh GPU dan TPU untuk memenuhi tuntutan komputasi yang tinggi. Arsitektur klaster semacam itu, juga disebut supercluster AI, memungkinkan organisasi untuk membangun, menerapkan, dan menskalakan deep learning, sistem otonom, analitik data besar, dan aplikasi AI lainnya.
Bagaimana dukungan AWS dapat membantu Anda dalam memenuhi kebutuhan komputasi kluster Anda?
AWS Parallel Computing Service (AWS PCS) adalah layanan terkelola yang menggunakan Slurm untuk menjalankan dan menskalakan beban kerja komputasi berkinerja tinggi (HPC) di AWS. Anda dapat memanfaatkan AWS PCS untuk:
- Sederhanakan operasi kluster Anda dengan menggunakan fitur manajemen dan pemantauan bawaan.
- Bangun kluster komputasi yang mengintegrasikan layanan komputasi, penyimpanan, jaringan, dan visualisasi AWS.
- Jalankan simulasi atau buat model ilmiah dan rekayasa.
Elastic Fabric Adapter (EFA) adalah antarmuka jaringan untuk node komputasi yang berjalan pada instans Amazon EC2. Antarmuka yang dirancang khusus ini meningkatkan kinerja komunikasi antar-instans, yang sangat penting untuk skalabilitas aplikasi komputasi kluster.
AWS ParallelCluster adalah alat manajemen klaster sumber terbuka yang memudahkan penerapan dan pengelolaan klaster Amazon EC2. Anda dapat menggunakan antarmuka pengguna grafis (GUI) yang sederhana atau berkas teks untuk memodelkan dan menyediakan sumber daya yang diperlukan untuk aplikasi HPC Anda secara otomatis dan aman.
Mulailah menggunakan komputasi kluster di AWS dengan membuat akun gratis hari ini.