- Amazon EC2
- Tipe instans
- Instans DL1
Instans DL1 Amazon EC2
Pelatihan berbiaya rendah untuk model deep learning
Mengapa Instans DL1 Amazon EC2?
Instans DL1 Amazon EC2 yang didukung oleh akselerator Gaudi dari Habana Labs (sebuah perusahaan Intel), menghasilkan model deep learning berbiaya rendah untuk pemrosesan bahasa alami, deteksi objek, dan kasus penggunaan pengenalan gambar. Instans DL1 memberikan performa harga hingga 40% lebih baik untuk melatih model deep learning dibandingkan dengan instans EC2 berbasis GPU generasi saat ini.
Instans DL1 Amazon EC2 memiliki 8 akselerator Gaudi dengan memori bandwidth tinggi (HBM) 32 GiB per akselerator, memori sistem sebesar 768 GiB, prosesor Intel Xeon Scalable generasi kedua khusus, throughput jaringan sebesar 400 Gbps, dan penyimpanan NVMe lokal sebesar 4 TB.
Instans DL1 menyertakan SDK Habana SynapseAI®, yang terintegrasi dengan kerangka kerja machine learning terkemuka seperti TensorFlow dan PyTorch.
Anda dapat mulai menggunakan instans DL1 dengan mudah, menggunakan AMI Deep Learning AWS atau AWS Deep Learning Containers, atau Amazon EKS dan ECS untuk aplikasi terkontainer. Dukungan untuk instans DL1 di Amazon SageMaker akan segera hadir.
Video gambaran umum instans DL1 Amazon EC2 baru
Keuntungan
-
Instans DL1 memberikan performa harga hingga 40% lebih baik untuk melatih model deep learning dibandingkan dengan instans EC2 berbasis GPU terbaru kami. Instans ini memiliki akselerator Gaudi yang dibuat dengan tujuan untuk melatih model deep learning. Anda juga bisa dapat lebih menghemat menggunakan Savings Plan EC2 untuk mengurangi biaya pelatihan model deep learning Anda secara signifikan.
-
Developer di seluruh level keahlian dapat mulai menggunakan instans DL1 dengan mudah. Mereka dapat terus menggunakan layanan manajemen alur kerja mereka sendiri dengan menggunakan AMI AWS DL dan Kontainer DL untuk mulai menggunakan instans DL1. Pengguna lanjutan juga dapat membangun kernel khusus untuk mengoptimalkan performa model mereka menggunakan Tensor Processing Core (TPC). (TPC). Dengan menggunakan alat Habana SynapseAI®, mereka dapat secara lancar memigrasikan model milik mereka saat ini yang berjalan di instans berbasis GPU atau CPU ke instans DL1 dengan perubahan kode minimal.
-
Instans DL1 mendukung kerangka kerja ML terkemuka seperti TensorFlow dan PyTorch, yang memungkinkan Anda terus menggunakan alur kerja ML pilihan Anda. Anda juga dapat mengakses model yang dioptimalkan seperti Mask R-CNN untuk deteksi objek dan BERT untuk pemrosesan bahasa alami di repositori GitHub Habana agar dapat membangun, melatih, dan men-deploy model Anda dengan cepat. Pustaka kernel Tensor Processing Core (TPC) yang lengkap dari SynapseAI mendukung berbagai operator dan beberapa tipe data untuk beragam kebutuhan model dan performa.
Fitur
-
Instans DL1 didukung oleh akselerator Gaudi dari Habana Labs (sebuah perusahaan Intel) dan memiliki delapan TPC yang dapat diprogram sepenuhnya serta memori bandwidth tinggi, sebesar 32 GiB per akselerator. Instans ini memiliki arsitektur komputasi heterogen untuk memaksimalkan efisiensi pelatihan dan mesin terpusat yang dapat dikonfigurasi untuk operasi matematika matriks. Mereka juga memiliki integrasi native khusus industri berisi 10 port Ethernet 100 Gigabit pada setiap akselerator Gaudi untuk komunikasi latensi rendah di antara akselerator.
-
SDK SynapseAI® terdiri dari pengompilasi gambar dan runtime, pustaka kernel TPC, firmware, driver, dan alat. SDK ini terintegrasi dengan kerangka kerja terkemuka seperti TensorFlow dan PyTorch. Pustaka komunikasinya membantu dalam menskalakan ke atas dengan cepat ke beberapa akselerator menggunakan operasi yang sama yang Anda gunakan untuk instans berbasis GPU saat ini. Penskalaan determinisme ini menghasilkan pemanfaatan yang lebih tinggi dan efisiensi yang meningkat di berbagai topologi jaringan neural. Dengan menggunakan alat SynapseAI®, Anda dapat dengan lancar memigrasikan dan menjalankan model yang sudah ada ke instans DL1 dengan perubahan kode minimal.
-
Instans DL1 menawarkan throughput jaringan sebesar 400 Gbps dan konektivitas Amazon Elastic Fabric Adapter (EFA) serta Amazon Elastic Network Adapter (ENA) untuk aplikasi yang memiliki akses ke jaringan berkecepatan tinggi. Untuk akses cepat ke set data besar, instans DL1 juga menyertakan penyimpanan NVMe lokal sebesar 4 TB dan memberikan throughput baca sebesar 8 GB/detik.
Instans DL1 dibangun di AWS Nitro System, yang merupakan koleksi komponen dasar yang lengkap, yang memindahkan banyak fungsi virtualisasi tradisional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa, ketersediaan, serta keamanan yang tinggi sekaligus mengurangi overhead virtualisasi.
Detail produk
|
Ukuran Instans
|
vCPU
|
Memori Instans (GiB)
|
Akselerator Gaudi
|
Bandwidth Jaringan (Gbps)
|
Akselerator Peer-to-Peer Dua Arah (Gbps)
|
Penyimpanan Instans (GB)
|
Bandwidth EBS (Gbps)
|
Sesuai permintaan (Harga/Jam)
|
Instans Terpesan 1 Tahun Efektif Per Jam
|
Instans Terpesan 3 Tahun Efektif Per Jam*
|
|---|---|---|---|---|---|---|---|---|---|---|
|
dl1.24xlarge
|
96 |
768 |
8 |
400 |
100 |
4 x 1000
|
19 |
13,11 USD |
7,87 USD |
5,24 USD |
*Harga yang ditampilkan adalah harga untuk AS Timur (Virginia Utara) dan AS Barat (Oregon).
Seagate
Seagate Technology telah menjadi pemimpin global yang menawarkan solusi penyimpanan dan pengelolaan data selama lebih dari 40 tahun. Rekayasawan ilmu data dan machine learning Seagate telah membangun sistem deteksi kerusakan deep learning (DL) lanjutan dan men-deploy-nya secara global di seluruh fasilitas produksi perusahaan. Dalam proyek bukti konsep terbaru, Gaudi Habana melebihi target performa untuk melatih salah satu model segmentasi semantik DL yang saat ini digunakan dalam produksi Seagate.
“Kami berharap keunggulan performa harga yang signifikan dari instans DL1 Amazon EC2, yang didukung oleh akselerator Habana Gaudi, dapat menambah daya tarik klaster komputasi AWS di masa mendatang. Karena Habana Labs terus berkembang dan dapat mencakup lebih banyak operator, ada potensi untuk memperluas ke kasus penggunaan korporasi lainnya, dan dengan demikian menghasilkan penghematan biaya tambahan."
Leidos
Leidos diakui sebagai salah satu 10 penyedia layanan teratas di bidang IT Kesehatan yang memberikan berbagai solusi yang dapat disesuaikan dan diskalakan untuk rumah sakit serta sistem kesehatan, organisasi biomedis, dan setiap lembaga federal AS yang berfokus pada kesehatan.
Salah satu dari sekian banyak teknologi yang kami berdayakan untuk memajukan layanan kesehatan saat ini adalah penggunaan machine learning dan deep learning untuk diagnosis penyakit berdasarkan data pencitraan medis. Set data kami yang sangat besar memerlukan pelatihan yang tepat waktu dan efisien untuk membantu peneliti memecahkan misteri dalam bidang medis yang paling mendesak. Mengingat kebutuhan Leidos dan pelanggannya akan pelatihan yang cepat, mudah, dan hemat biaya untuk model deep learning, kami bersemangat untuk memulai perjalanan ini bersama Intel dan AWS untuk menggunakan instans DL1 Amazon EC2 berdasarkan prosesor AI Gaudi Habana. Dengan menggunakan instans DL1, kami mengharapkan peningkatan dalam kecepatan dan efisiensi pelatihan model, yang disusul dengan pengurangan risiko serta biaya penelitian dan pengembangan.”
Intel
Intel telah menciptakan teknologi Pelacakan Atlet 3D yang menganalisis video atlet yang sedang beraksi dalam waktu nyata untuk menginformasikan proses pelatihan dalam mencapai performa dan meningkatkan pengalaman audiens selama kompetisi.
“Dengan melatih model kami di instans DL1 Amazon EC2, yang didukung oleh akselerator Gaudi dari Habana Labs, kami akan dapat memproses ribuan video secara akurat dan andal serta menghasilkan data performa terkait, sekaligus menurunkan biaya pelatihan. Dengan instans DL1, kini kami dapat melatih dengan kecepatan dan biaya yang diperlukan untuk melayani atlet, tim, dan penyiar secara produktif di semua tingkatan di berbagai olahraga.”
Riskfuel
Riskfuel memberikan valuasi waktu nyata dan sensitivitas terhadap risiko untuk perusahaan yang mengelola portofolio finansial, yang membantu mereka meningkatkan akurasi penjualan dan performa.
“Ada dua faktor yang membuat kami tertarik pada instans DL1 Amazon EC2 berdasarkan akselerator AI Habana Gaudi. Pertama, kami ingin memastikan klien perbankan dan asuransi kami dapat menjalankan model Riskfuel yang memanfaatkan perangkat keras terbaru. Untungnya, kami telah merasakan proses migrasi model kami ke instans DL1 ini yang simpel dan mudah. Sungguh, kami melakukannya hanya dengan mengubah beberapa baris kode. Kedua, biaya pelatihan adalah komponen besar dalam pengeluaran kami, dan janji peningkatan performa harga hingga 40% ini menawarkan potensi keuntungan substansial pada pendapatan bersih kami.”
Fractal
Fractal adalah pemimpin global dalam kecerdasan buatan dan analitik, yang mendukung keputusan dalam perusahaan Fortune 500.
“AI dan deep learning adalah inti dari kemampuan Machine Vision kami, yang memungkinkan pelanggan mengambil keputusan yang lebih baik di seluruh industri yang kami layani. Untuk meningkatkan akurasi, set data menjadi lebih besar dan lebih rumit, yang memerlukan model yang lebih besar dan lebih kompleks. Hal ini mendorong kebutuhan performa harga komputasi yang ditingkatkan. Instans DL1 Amazon EC2 baru menjanjikan penghematan biaya pelatihan yang signifikan dibanding instans EC2 berbasis GPU. Kami berharap hal ini dapat menjadikan pelatihan model AI di cloud jauh lebih kompetitif dalam hal biaya dan lebih mudah diakses oleh berbagai macam klien.”
Memulai
AWS Deep Learning AMIs (DLAMI) dan AWS Deep Learning Containers (DLC)
Amazon Elastic Kubernetes Service (EKS) atau Elastic Container Service (ECS)
Apakah Anda sudah menemukan yang Anda cari?
Beri tahu kami agar kami dapat meningkatkan kualitas konten di halaman kami