Instans DL1 Amazon EC2

Pelatihan berbiaya rendah untuk model deep learning

Instans DL1 Amazon EC2 yang didukung oleh akselerator Gaudi dari Habana Labs (sebuah perusahaan Intel), memberikan model deep learning berbiaya rendah untuk pemrosesan bahasa alami, deteksi objek, dan kasus penggunaan pengenalan gambar. Instans DL1 memberikan performa harga hingga 40% lebih baik untuk melatih model deep learning dibandingkan dengan instans EC2 berbasis GPU generasi saat ini.

Instans DL1 Amazon EC2 memiliki 8 akselerator Gaudi dengan memori bandwidth tinggi (HBM) 32 GiB per akselerator, memori sistem sebesar 768 GiB, prosesor Intel Xeon Scalable generasi kedua khusus, throughput jaringan sebesar 400 Gbps, dan penyimpanan NVMe lokal sebesar 4 TB.

Instans DL1 menyertakan SDK Habana SynapseAI®, yang terintegrasi dengan kerangka kerja machine learning terkemuka seperti TensorFlow dan PyTorch.

Anda dapat mulai menggunakan instans DL1 dengan mudah, menggunakan AMI Deep Learning AWS atau AWS Deep Learning Containers, atau Amazon EKS dan ECS untuk aplikasi terkontainer. Dukungan untuk instans DL1 di Amazon SageMaker akan segera hadir.

Video gambaran umum instans DL1 Amazon EC2 baru (1:33)

Manfaat

Pelatihan berbiaya rendah untuk model deep learning

Instans DL1 memberikan performa harga hingga 40% lebih baik untuk melatih model deep learning dibandingkan dengan instans EC2 berbasis GPU terbaru kami. Instans ini memiliki akselerator Gaudi yang dibuat dengan tujuan untuk melatih model deep learning. Anda juga dapat mendapatkan biaya lebih lanjut menggunakan Savings Plan EC2 untuk mengurangi biaya pelatihan model deep learning Anda secara signifikan.

Kemudahan penggunaan dan portabilitas kode

Developer di seluruh level keahlian dapat mulai menggunakan instans DL1 dengan mudah. Mereka dapat terus menggunakan layanan manajemen alur kerja mereka sendiri dengan menggunakan AMI AWS DL dan Kontainer DL untuk mulai menggunakan instans DL1. Pengguna lanjutan juga dapat membangun kernel khusus untuk mengoptimalkan performa model mereka menggunakan Tensor Processing Core (TPC). (TPC). Menggunakan alat Habana SynapseAI®, mereka dapat secara lancar memigrasikan model yang ada saat ini yang berjalan di instans berbasis GPU atau CPU ke instans DL1 dengan perubahan kode minimal.

Dukungan untuk kerangka kerja dan model ML terkemuka

Instans DL1 mendukung kerangka kerja ML terkemuka seperti TensorFlow dan PyTorch, yang memungkinkan Anda terus menggunakan alur kerja ML yang Anda sukai. Anda juga dapat mengakses model yang dioptimalkan seperti Mask R-CNN untuk deteksi objek dan BERT untuk pemrosesan bahasa alami di repositori GitHub Habana agar dapat membangun, melatih, dan men-deploy model Anda dengan cepat. Pustaka kernel Tensor Processing Core (TPC) kaya dari SynapseAI mendukung berbagai operator dan beberapa tipe data untuk beragam kebutuhan model dan performa.

Fitur

Didukung oleh Akselerator Gaudi dari Habana Labs

Instans DL1 didukung oleh akselerator Gaudi dari Habana Labs (sebuah perusahaan Intel) yang memiliki delapan TPC yang dapat diprogram sepenuhnya dan memori bandwidth tinggi sebesar 32GiB per akselerator. Instans ini memiliki arsitektur komputasi heterogen untuk memaksimalkan efisiensi pelatihan dan mesin terpusat yang dapat dikonfigurasi untuk operasi matematika matriks. Mereka juga memiliki integrasi native khusus industri berisi 10 port Ethernet 100 Gigabit pada setiap akselerator Gaudi untuk komunikasi latensi rendah di antara akselerator.

SDK Habana SynapseAI®

SDK SynapseAI® SDK terdiri dari pengompilasi gambar dan waktu aktif, pustaka kernel TPC, firmware, driver, dan alat. SDK ini terintegrasi dengan kerangka kerja terkemuka seperti TensorFlow dan PyTorch. Pustaka komunikasinya membantu dalam menskalakan ke atas dengan cepat ke beberapa akselerator menggunakan operasi yang sama yang Anda gunakan untuk instans berbasis GPU saat ini. Penskalaan determinisme ini menghasilkan pemanfaatan yang lebih tinggi dan efisiensi yang meningkat di berbagai topologi jaringan neural. Dengan menggunakan alat SynapseAI®, Anda dapat dengan lancar memigrasikan dan menjalankan model yang sudah ada ke instans DL1 dengan perubahan kode minimal.

Jaringan dan Penyimpanan Performa Tinggi

Instans DL1 menawarkan throughput jaringan sebesar 400 Gbps dan konektivitas Amazon Elastic Fabric Adapter (EFA) dan Amazon Elastic Network Adapter (ENA) untuk aplikasi yang memiliki akses ke jaringan berkecepatan tinggi. Untuk akses cepat ke set data besar, instans DL1 juga menyertakan penyimpanan NVMe lokal sebesar 4 TB dan memberikan throughput baca sebesar 8 GB/detik.

Dibangun di AWS Nitro System

Instans DL1 dibangun di AWS Nitro System yang merupakan kumpulan komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus juga mengurangi virtualisasi tambahan.

Detail produk

Ukuran Instans

vCPU

Memori Instans (GiB)

Akselerator Gaudi

Bandwidth Jaringan (Gbps)

Akselerator Peer-to-Peer Dua Arah (Gbps)

Penyimpanan Instans (GB) Bandwidth EBS (Gbps) Sesuai Permintaan (Harga/jam) Instans Cadangan 1 Tahun Efektif Per Jam* Instans Cadangan 3 Tahun Efektif Per Jam*

dl1.24xlarge

96

768

8

400

100

4 x 1000 
NVMe SSD
19 13,11 USD 7,87 USD 5,24 USD

*Harga yag ditampilkan adalah harga untuk AS Timur (Virginia Utara) dan AS Barat (Oregon).

Testimoni pelanggan

Seagate

Seagate Technology telah menjadi pemimpin global yang menawarkan solusi penyimpanan data dan manajemen selama lebih dari 40 tahun. Rekayasawan ilmu data dan machine learning Seagate telah membangun sistem deteksi kerusakan deep learning (DL) lanjutan dan men-deploy-nya secara global di seluruh fasilitas produksi perusahaan. Dalam proyek bukti konsep terbaru, Gaudi Habana melebihi target performa untuk melatih salah satu model segmentasi semantik DL yang saat ini digunakan dalam produksi Seagate. 

“Kami mengharapkan keuntungan performa harga yang signifikan dari instans DL1 Amazon EC2, didukung oleh akselerator Gaudi Habana, dapat memberikan tambahan masa depan yang menarik bagi klaster komputasi AWS. Dengan Habana Labs yang terus berkembang dan memungkinkan cakupan operator yang lebih luas, terdapat potensi untuk memperluas kasus penggunaan korporasi, dan dengan demikian akan memperoleh penghematan biaya tambahan."

Darrell Louder, Direktur Rekayasa Senior Operasi, Teknologi, dan Analitik Lanjutan (Senior Engineering Director of Operations, Technology and Advanced Analytics) - Seagate

Leidos

Leidos terkenal sebagai penyedia IT Kesehatan di posisi 10 Teratas yang memberikan berbagai solusi yang dapat disesuaikan dan diskalakan untuk sistem rumah sakit dan kesehatan, organisasi biomedis, dan setiap agen federal AS yang berfokus pada kesehatan. 

“Salah satu dari banyak sekali teknologi yang kami berdayakan untuk pemeliharaan kesehatan lanjutan saat ini adalah penggunaan machine learning dan deep learning untuk diagnosis penyakit berdasarkan data pencitraan medis. Set data masif kami memerlukan pelatihan yang tepat waktu dan efisien untuk membantu peneliti memecahkan misteri dalam bidang medis yang paling mendesak. Dengan memenuhi kebutuhan Leidos dan pelanggannya terkait pelatihan yang cepat, mudah, dan hemat biaya untuk model deep learning, kami bersemangat untuk memulai perjalanan ini bersama Intel dan AWS untuk menggunakan instans DL1 Amazon EC2 berdasarkan prosesor AI Gaudi Habana. Menggunakan instans DL1, kami mengharapkan peningkatan dalam kecepatan dan efisiensi pelatihan model, yang disusul dengan penurunan risiko dan biaya penelitian dan pengembangan.” 

Chetan Paul, CTO Layanan Kesehatan dan Manusia (CTO Health and Human Services) - Leidos 

Intel

Intel telah menciptakan teknologi Pelacakan Atlet 3D yang menganalisis video atlet yang sedang beraksi secara waktu nyata untuk menginformasikan proses pelatihan performa dan meningkatkan pengalaman audiens selama kompetisi.

“Melatih model kami di instans DL1 Amazon EC2, yang didukung oleh akselerator Gaudi dari Habana Labs, akan memungkinkan kami memproses ribuan video secara akurat dan andal, serta membuat data performa terkait, sambil menurunkan biaya pelatihan. Dengan instans DL1, kita kini dapat melatih pada kecepatan dan biaya yang diperlukan untuk secara produktif melayani atlet, tim, dan penyiar di semua level dalam berbagai bidang olahraga”. 

Rick Echevarria, Wakil Presiden Grup Penjualan dan Pemasaran (Vice President, Sales and Marketing Group) - Intel

Riskfuel

RiskFuel memberikan valuasi waktu nyata dan sensitivitas risiko untuk perusahaan yang mengelola portofolio finansial, membantu mereka meningkatkan akurasi penjualan dan performa.

“Terdapat dua faktor yang membuat kami tertarik pada instans DL1 Amazon EC2 berbasis akselerator AI Gaudi Habana. Pertama, kami ingin memastikan klien perbankan dan asuransi kami dapat menjalankan model Riskfuel yang memanfaatkan perangkat keras terbaru. Untungnya, kami melihat bahwa memigrasikan model kami ke instans DL1 ini menjadi simpel dan mudah. Sungguh, kami melakukannya hanya dengan mengubah beberapa baris kode. Kedua, biaya pelatihan adalah komponen besar dari pengeluaran kami, dan janji peningkatan performa harga hingga 40% ini menawarkan potensi keuntungan substansial pada pendapatan bersih kami.” 

Ryan Ferguson, CEO - Riskfuel

Fractal

Fractal adalah pemimpin global dalam kecerdasan buatan dan analitik, yang mendukung keputusan dalam perusahaan Fortune 500.

“AI dan deep learning adalah inti kemampuan Visi Mesin kami, memungkinkan pelanggan untuk mengambil keputusan yang lebih baik di seluruh industri yang kami layani. Untuk meningkatkan akurasi, set data menjadi lebih besar dan lebih rumit, yang memerlukan model yang lebih besar dan lebih kompleks. Hal ini mendorong kebutuhan performa harga komputasi yang ditingkatkan. Instans DL1 Amazon EC2 baru menjanjikan pelatihan berbiaya lebih rendah secara signifikan dibanding instans EC2 berbasis GPU. Kami mengharapkan hal ini untuk membuat pelatihan model AI di cloud jauh lebih kompetitif dan dapat diakses dibanding sebelumnya untuk berbagai jajaran klien”.

Srikanth Velamakanni, Group CEO - Fractal

Memulai

AWS Deep Learning AMIs (DLAMI) dan AWS Deep Learning Containers (DLC)

AWS Deep Learning AMIs (DLAMI) dan AWS Deep Learning Containers (DLC) memberikan citra mesin dan kontainer yang telah diinstal sebelumnya dengan kerangka kerja deep learning kepada Ilmuwan Data, praktisi ML, dan peneliti untuk memudahkan memulai dengan memungkinkan Anda melewati proses yang rumit saat membangun dan mengoptimalkan lingkungan perangkat lunak dari awal. SDK SynapseAI SDK untuk akselerator Gaudi terintegrasi ke AWS DL AMI dan DLC yang memungkinkan Anda mulai menggunakan instans DL1 dengan cepat.

Amazon Elastic Kubernetes Service (EKS) atau Elastic Container Service (ECS)

Pelanggan yang lebih memilih untuk mengelola beban kerja kontainer mereka sendiri melalui layanan orkestrasi kontainer bisa men-deploy instans DL1 dengan Amazon EKS atau ECS.

Sumber daya tambahan

Demo: Model deep learning pelatihan menggunakan instans DL1 Amazon EC2 (2:03)
Memperkenalkan Instans DL1 Amazon EC2 (3:41)
Perbandingan biaya pelatihan DL1 Amazon EC2 (0:50)
Mulai menggunakan instans DL1 Amazon EC2 dengan mudah (0:49)

Dokumentasi Gaudi® Habana® v0.15

Kunjungi dokumentasi »

Forum developer Habana®

Kunjungi forum »

Repositori GitHub Habana®

Kunjungi GitHub »

Mulai menggunakan AWS

Mendaftar akun AWS

Mendaftar akun AWS

Dapatkan akses secara instan ke AWS Tingkat Gratis.

Pelajari dengan tutorial sederhana

Pelajari dengan tutorial 10 menit

Jelajahi dan pelajari dengan tutorial sederhana.

Mulai membangun dengan EC2 di konsol

Mulai membangun di konsol

Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.