Instans dan UltraServers Trn2 Amazon EC2
Komputasi EC2 performa tinggi untuk pelatihan dan inferensi AI generatif
Mengapa memilih instans dan UltraServers Trn2 Amazon EC2?
Instans Trn2 Amazon EC2, yang ditenagai oleh 16 cip AWS Trainium2, dibuat khusus untuk AI generatif dan menawarkan instans EC2 berperforma tinggi untuk melatih dan melakukan deployment model dengan ratusan miliar hingga triliunan lebih parameter. Instan Trn2 menawarkan performa harga yang 30–40% lebih baik dibandingkan instans EC2 P5e dan P5en berbasis GPU. Dengan instans Trn2, Anda bisa mendapatkan pelatihan canggih dan kinerja inferensi sekaligus menurunkan biaya, sehingga Anda dapat mengurangi waktu pelatihan, melakukan pengulangan lebih cepat, dan menghadirkan pengalaman real-time yang didukung AI. Anda dapat menggunakan instans Trn2 untuk melatih dan menerapkan model termasuk model bahasa besar (LLM), model multimodal, dan transformator difusi untuk membangun aplikasi AI generatif generasi berikutnya.
Untuk mempersingkat waktu pelatihan dan memberikan waktu respons terobosan (latensi per-token) untuk model canggih dengan persyaratan ketat, Anda mungkin memerlukan lebih banyak komputasi dan memori daripada yang dapat diberikan oleh satu instans. UltraServers Trn2 menggunakan NeuronLink, interkoneksi cip-ke-cip milik kami, untuk menghubungkan 64 cip Trainium2 di empat instans Trn2, yang melipatgandakan bandwidth komputasi, memori, dan jaringan yang tersedia dalam satu simpul dan menawarkan performa terobosan di AWS untuk deep learning dan beban kerja AI generatif. Untuk inferensi, UltraServers membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman real-time terbaik. Untuk pelatihan, UltraServers meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri.
Anda dapat dengan mudah memulai instans Trn2 dan UltraServers Trn2 dengan dukungan native untuk kerangka kerja machine learning (ML) populer, seperti PyTorch dan JAX.
“UltraServers Trn2 kini tersedia untuk beban kerja AI generatif yang paling menuntut.”
Keuntungan
Instans Trn2 membantu Anda mengurangi waktu pelatihan dan memberikan pengalaman inferensi real-time kepada pengguna akhir. Instans Trn2 dilengkapi dengan 16 chip Trainium2 yang saling terhubung dengan NeuronLink, interkoneksi cip-ke-cip milik kami, untuk menyediakan hingga 20,8 FP8 petaflop komputasi. Instans Trn2 memiliki total 1,5 TB HBM3 dengan 46 terabita per detik (TBps) bandwidth memori dan 3,2 terabita per detik (Tbps) jaringan Elastic Fabric Adapter (EFAv3). UltraServers Trn2 (tersedia dalam pratinjau) memiliki 64 cip Trainium2 yang terhubung dengan NeuronLink dan menghasilkan hingga 83,2 petaflop komputasi FP8, total 6 TB memori bandwidth tinggi dengan total 185 TBps memori bandwidth, dan 12,8 Tbps jaringan EFAv3.
Untuk memungkinkan pelatihan terdistribusi yang efisien, instans Trn2 memberikan kapasitas jaringan EFAv3 sebesar 3,2 Tbps dan Trn2 UltraServers memberikan kapasitas sebesar 12,8 Tbps. EFA dibangun di AWS Nitro System yang berarti semua komunikasi melalui EFA memiliki enkripsi selama pengiriman tanpa menimbulkan penurunan performa. EFA juga menggunakan perutean lalu lintas dan protokol kontrol yang kepadatan canggih yang memungkinkannya untuk menskalakan secara andal hingga ratusan ribu cip Trainium2. Instans dan UltraServers Trn2 di-deploy di UltraClusters EC2 untuk memungkinkan pelatihan terdistribusi yang dapat diskalakan di puluhan ribu cip Trainium pada satu jaringan non-blocking berskala petabita.
Instan Trn2 menawarkan performa harga yang 30–40% lebih baik dibandingkan instans EC2 P5e dan P5en berbasis GPU
Instans Trn2 3x lebih hemat energi daripada instans Trn1. Instans ini dan cip yang mendasarinya menggunakan proses silikon canggih serta pengoptimalan perangkat keras dan perangkat lunak untuk menghasilkan efisiensi energi yang tinggi saat menjalankan beban kerja AI generatif dalam skala besar.
AWS Neuron SDK membantu Anda mengekstraksi performa penuh dari instans Trn2 dan UltraServers. Neuron terintegrasi secara native dengan JAX, PyTorch, dan pustaka penting, seperti Hugging Face, PyTorch Lightning, dan lain-lain. Neuron dibangun untuk peneliti dan penjelajah AI untuk meraih performa yang luar biasa. Dengan integrasi PyTorch native, Anda dapat melatih dan melakukan deployment tanpa mengubah satu baris kode sekalipun. Untuk engineer performa AI, kami telah memperluas akses ke Trainium 2 sehingga Anda dapat menyempurnakan performa, menyesuaikan kernel, dan memaksimalkan potensi model Anda. Dengan Neuron, Anda dapat menggunakan instans Trn2 dengan berbagai layanan seperti Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster, dan AWS Batch, serta layanan pihak ketiga seperti Ray (Anyscale), Domino Data Lab, dan Datadog. Karena inovasi berkembang pesat karena keterbukaan, Neuron berkomitmen untuk mendorong inovasi melalui sumber terbuka dan kolaborasi terbuka dengan komunitas AI yang luas.
Fitur
Instans Trn2 dilengkapi dengan 16 cip Trainium2 yang saling terhubung dengan NeuronLink untuk menghasilkan hingga 20,8 FP8 petaflop komputasi. UltraServers Trn2 memperluas konektivitas NeuronLink ke 64 cip Trainium2 di empat instans Trn2 untuk menghasilkan hingga 83,2 FP8 petaflop komputasi.
Instans Trn2 memberikan memori akselerator 1,5 TB dengan total bandwidth memori 46 TBps. UltraServers Trn2 menawarkan memori akselerator bersama 6 TB dengan total bandwidth memori 185 TBps untuk mengakomodasi model fondasi ultra-besar.
Untuk mendukung pelatihan terdistribusi skala besar dari model dasar yang sangat besar, instans Trn2 memberikan 3,2 Tbps dan UltraServers Trn2 memberikan 12,8 Tbps bandwidth jaringan EFAv3. Ketika dikombinasikan dengan UltraClusters EC2, EFAv3 memberikan latensi jaringan yang lebih rendah dibandingkan dengan EFAv2. Setiap instans Trn2 mendukung hingga 8 TB dan setiap UltraServers Trn2 mendukung hingga 32 TB penyimpanan NVMe lokal untuk akses lebih cepat ke set data besar.
Instans dan UltraServers Trn2 mendukung tipe data FP32, TF32, BF16, FP16, dan FP8 (cFP8) yang dapat dikonfigurasi. Instans dan UltraServers Trn2 juga mendukung pengoptimalan AI mutakhir termasuk 4x ketersebaran (16:4), pembulatan stokastik, dan mesin kolektif khusus. Antarmuka Kernel Neuron (NKI) memungkinkan akses langsung ke arsitektur set instruksi (ISA) menggunakan lingkungan berbasis Python dengan antarmuka, seperti Triton, yang memungkinkan Anda untuk menciptakan arsitektur model baru dan kernel komputasi yang sangat dioptimalkan yang mengungguli teknik yang ada.
Neuron mendukung lebih dari 100.000 model pada hub model Hugging Face untuk pelatihan dan deployment di Trn2 termasuk arsitektur model populer, seperti Llama dan Stable Diffusion. Neuron terintegrasi secara native dengan JAX, PyTorch, serta alat-alat penting, kerangka kerja, dan pustaka, seperti NeMo, Hugging Face, PyTorch Lightning, Ray, Domino Data Lab, dan Data Dog. Neuron mengoptimalkan model secara langsung untuk pelatihan dan inferensi terdistribusi, sekaligus memberikan wawasan mendalam untuk pembuatan profil dan debugging. Neuron juga terintegrasi dengan layanan, seperti Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster, dan AWS Batch.
Testimoni pelanggan dan partner
Berikut ini beberapa contoh cara pelanggan dan partner menyusun rencana untuk mencapai tujuan bisnis mereka dengan instans Trn2 Amazon EC2.
Anthropic
Di Anthropic, jutaan orang mengandalkan Claude setiap hari untuk melakukan pekerjaan mereka. Kami mengumumkan dua kemajuan besar dengan AWS: Pertama, "mode yang dioptimalkan untuk atensi" baru untuk Claude 3.5 Haiku yang berjalan 60% lebih cepat di Trainium2 melalui Amazon Bedrock. Kedua, Project Rainier—klaster baru dengan ratusan ribu cip Trainium2 yang menghasilkan ratusan exaflop, yang lebih dari lima kali ukuran klaster kami sebelumnya. Project Rainier akan membantu mendukung penelitian kami dan penskalaan generasi berikutnya. Artinya pelanggan kami dapat menikmati kecerdasan yang lebih banyak, harga yang lebih rendah, dan kecepatan yang lebih baik. Kami tidak hanya membangun AI yang lebih cepat, tetapi kami juga membangun AI tepercaya yang dapat ditingkatkan. -Tom Brown, Kepala Petugas Komputasi di Anthropic
Databricks
Mosaic AI Databricks memungkinkan organisasi untuk membangun dan menerapkan Sistem Agen yang berkualitas. Mosaic AI Databricks dibangun secara native di atas data lakehouse, yang memungkinkan pelanggan untuk dengan mudah dan aman menyesuaikan model dengan data perusahaan dan memberikan output yang lebih akurat dan spesifik domain. Berkat performa dan efektivitas biaya Trainium, pelanggan dapat menskalakan pelatihan model pada Mosaic AI dengan biaya rendah. Ketersediaan Trainium2 akan memberikan manfaat besar bagi Databricks dan pelanggannya karena permintaan Mosaic AI terus meningkat di semua segmen pelanggan dan di seluruh dunia. Databricks, salah satu perusahaan data dan AI terbesar di dunia, berencana menggunakan TRN2 untuk memberikan hasil yang lebih baik dan menurunkan TCO hingga 30% bagi pelanggannya. - Naveen Rao, VP of Generative AI di Databricks
poolside
Di poolside, kami siap untuk membangun dunia tempat AI akan mendukung sebagian besar pekerjaan yang bernilai ekonomi dan kemajuan ilmiah. Kami percaya bahwa pengembangan perangkat lunak akan menjadi kemampuan utama yang pertama dalam jaringan neural yang mencapai kecerdasan tingkat manusia karena ini adalah domain yang memungkinkan kami menggabungkan pendekatan Pencarian dan Pembelajaran yang terbaik. Untuk mengaktifkannya, kami sedang membangun model dasar, API, dan Asisten untuk menghadirkan kekuatan AI generatif ke tangan (atau keyboard) developer Anda. Kunci utama untuk mengaktifkan teknologi ini adalah infrastruktur yang kami gunakan untuk membangun dan menjalankan produk. Dengan AWS Trainium2, pelanggan kami akan mampu menskalakan penggunaan poolside dengan rasio performa sesuai harga yang tidak dapat ditandingi oleh akselerator AI lainnya. Selain itu, kami berencana untuk melatih model masa depan dengan UltraServers Trainium2 dengan penghematan yang diharapkan sebesar 40% dibandingkan dengan instans EC2 P5. - Eiso Kant, CTO & Co-founder, poolside
Itaú Unibanco
Tujuan Itaú Unibanco adalah untuk meningkatkan hubungan masyarakat dengan uang demi menciptakan dampak positif pada kehidupan mereka sekaligus memperluas peluang transformasi mereka. Di Itaú Unibanco, kami percaya bahwa setiap pelanggan itu unik dan kami berfokus untuk memenuhi kebutuhan mereka melalui perjalanan digital intuitif, yang memanfaatkan kekuatan AI untuk terus beradaptasi dengan kebiasaan konsumsi mereka. Kami telah menguji AWS Trainium dan Inferentia di berbagai tugas, mulai dari inferensi standar hingga aplikasi yang disempurnakan dengan baik. Kinerja cip AI ini telah memungkinkan kami meraih pencapaian penting dalam penelitian dan pengembangan kami. Untuk tugas inferensi batch dan online, kami melihat peningkatan throughput 7x dibandingkan dengan GPU. Peningkatan performa ini mendorong perluasan ke lebih banyak kasus penggunaan di seluruh organisasi. Generasi terbaru cip Trainium2 membuka fitur inovatif untuk GenAI dan membuka pintu untuk inovasi di Itau. - Vitor Azeka, Kepala Ilmu Data di Itaú Unibanco
NinjaTech AI
Ninja adalah Agen AI yang Komprehensif untuk Produktivitas Tanpa Batas: satu langganan sederhana, akses tak terbatas ke model AI terbaik di dunia beserta keterampilan AI terbaik seperti: menulis, pengodean, curah pendapat, pembuatan gambar, penelitian daring. Ninja adalah platform agen yang menawarkan “SuperAgent” yang menggunakan Kombinasi Agen dengan akurasi kelas dunia yang sebanding dengan (dan dalam beberapa kategori mengalahkan) model fondasi mutakhir. Teknologi Agentic Ninja menuntut akselerator beperforma terbaik, untuk memberikan pengalaman real-time unik yang diharapkan pelanggan. Kami sangat senang dengan peluncuran AWS TRN2 karena kami percaya AWS akan menawarkan performa sesuai biaya per token terbaik dan kecepatan tertinggi saat ini untuk model inti Ninja LLM kami yang didasarkan pada Llama 3.1 405B. Kami takjub mengetahui latensi rendah Trn2 ditambah dengan harga yang kompetitif dan ketersediaan sesuai permintaan. Kami tidak sabar menyambut kedatangan Trn2! - Babak Pahlavan, Pendiri & CEO, NinjaTech AI
Ricoh
Tim machine learning RICOH mengembangkan solusi tempat kerja dan layanan transformasi digital yang didesain untuk mengelola dan mengoptimalkan aliran informasi di seluruh solusi perusahaan. Migrasi ke instans Trn1 cukup mudah dan sederhana. Kami dapat melatih LLM parameter 13B kami hanya dalam 8 hari, menggunakan klaster 4.096 cip Trainium! Setelah kesuksesan yang kami capai dengan model yang lebih kecil, kami menyempurnakan LLM baru yang lebih besar berdasarkan Llama-3-Swallow-70B. Dengan memanfaatkan Trainium, kami dapat mengurangi biaya pelatihan hingga 50% dan meningkatkan efisiensi energi sebesar 25% dibandingkan dengan menggunakan mesin GPU terbaru di AWS. Kami sangat senang memanfaatkan cip AI AWS generasi terbaru,, Trainium2, agar kami dapat terus memberikan performa terbaik dengan biaya terendah kepada pelanggan kami. - Yoshiaki Umetsu, Direktur, Pusat Pengembangan Teknologi Digital, Ricoh
PyTorch
Yang paling saya sukai dari pustaka AWS Neuron NxD Inference adalah kemampuannya untuk terintegrasi dengan mulus ke dalam model PyTorch. Pendekatan NxD itu sederhana dan ramah pengguna. Tim kami mampu menyiapkan model HuggingFace PyTorch dengan perubahan kode minimal dalam jangka waktu singkat. Mengaktifkan fitur-fitur canggih, seperti Continuous Batching dan Speculative Decoding itu sangat mudah. Kemudahan penggunaan ini meningkatkan produktivitas developer, memungkinkan tim untuk lebih fokus pada inovasi dan mengurangi kekhawatiran soal tantangan integrasi. - Hamid Shojanazeri, PyTorch Partner Engineering Lead, Meta
Refact.ai
Refact.ai menawarkan alat AI yang komprehensif, seperti penyelesaian otomatis kode yang didukung oleh Retrieval-Augmented Generation (RAG), yang memberikan saran yang lebih akurat dan obrolan sadar konteks dengan menggunakan model berpemilik dan sumber terbuka. Pelanggan meraih performa hingga 20% lebih tinggi dan token 1,5x lebih tinggi per dolar dengan instans EC2 Inf2 dibandingkan dengan instans EC2 G5. Kemampuan penyempurnaan Refact.ai semakin meningkatkan kemampuan pelanggan kami untuk memahami dan beradaptasi dengan basis kode dan lingkungan unik organisasi mereka. Kami juga senang menawarkan kemampuan Trainium2, yang akan membuat pemrosesan menjadi lebih cepat dan lebih efisien dalam alur kerja kami. Teknologi canggih ini akan memungkinkan pelanggan kami untuk mempercepat proses pengembangan perangkat lunak, dengan meningkatkan produktivitas developer sekaligus mempertahankan standar keamanan yang ketat untuk basis kode mereka. - Oleg Klimov CEO & Pendiri, Refact.ai
Karakuri Inc.
KARAKURI, membangun alat-alat AI untuk meningkatkan efisiensi dukungan pelanggan berbasis web dan menyederhanakan pengalaman pelanggan. Alat-alat tersebut meliputi chatbot AI yang dilengkapi dengan fungsi AI generatif, alat sentralisasi FAQ, dan alat pembalas email, yang kesemuanya meningkatkan efisiensi dan kualitas dukungan pelanggan. Dengan memanfaatkan AWS Trainium, kami berhasil melatih KARAKURI LM 8x7B Chat v0.1. Untuk perusahaan rintisan, seperti perusahaan kami, kami perlu mengoptimalkan waktu untuk membangun dan biaya yang diperlukan untuk melatih LLM. Dengan dukungan AWS Trainium dan AWS Team, kami dapat mengembangkan LLM tingkat praktis dalam waktu singkat. Selain itu, dengan mengadopsi AWS Inferentia, kami dapat membangun layanan inferensi yang cepat dan hemat biaya. Kami bersemangat menyambut Trainium2 karena ini akan merevolusi proses pelatihan kami, mengurangi waktu pelatihan hingga 2x, dan meningkatkan efisiensi ke level yang lebih tinggi! - Tomofumi Nakayama, Co-Founder, Karakuri Inc.
Stockmark Inc.
Dengan misi “menemukan kembali mekanisme penciptaan nilai dan memajukan umat manusia”, Stockmark membantu banyak perusahaan menciptakan dan membangun bisnis inovatif dengan menyediakan teknologi pemrosesan bahasa alami yang mutakhir. Layanan analisis dan pengumpulan data baru Stockmark yang disebut Anews dan SAT, yaitu layanan penataan data yang secara drastis meningkatkan penggunaan AI generatif dengan mengatur semua bentuk informasi yang disimpan dalam suatu organisasi, mengharuskan kami untuk memikirkan kembali cara kami membangun dan melakukan deployment model untuk mendukung produk ini. Dengan 256 akselerator Trainium, kami telah mengembangkan dan merilis stockmark-13b, yaitu model bahasa besar dengan 13 miliar parameter yang dilatih sejak awal pada set data korpus Jepang 220B token. Instans Trn1 membantu kami mengurangi biaya pelatihan hingga 20%. Dengan memanfaatkan Trainium, kami berhasil mengembangkan LLM yang dapat menjawab pertanyaan krusial dalam bisnis untuk para profesional dengan akurasi dan kecepatan yang belum pernah dicapai sebelumnya. Pencapaian ini sangat penting mengingat tantangan luas yang dihadapi perusahaan dalam menjamin sumber daya komputasi yang memadai untuk pengembangan model. Dengan kecepatan dan penghematan biaya instans Trn1 yang mengesankan, kami sangat antusias menantikan manfaat tambahan yang akan diberikan Trainium2 bagi alur kerja dan pelanggan kami. - Kosuke Arima, CTO dan Co-founder, Stockmark Inc.
Brave
Brave adalah browser dan mesin pencari independen yang didedikasikan untuk memprioritaskan privasi dan keamanan pengguna. Dengan lebih dari 70 juta pengguna, kami memberikan perlindungan terdepan di industri yang membuat Web lebih aman dan lebih ramah pengguna. Tidak seperti platform lain yang telah beralih dari pendekatan yang berpusat pada pengguna, Brave tetap berkomitmen untuk mengutamakan privasi, keamanan, dan kenyamanan. Fitur utamanya meliputi pemblokiran skrip dan pelacak berbahaya, ringkasan halaman berbantuan AI yang didukung oleh LLM, layanan VPN bawaan, dan banyak lagi. Kami terus berusaha untuk meningkatkan kecepatan dan efisiensi biaya layanan pencarian dan model AI kami. Untuk mendukung hal ini, kami senang memanfaatkan kemampuan terbaru cip AI AWS, termasuk Trainium2, untuk meningkatkan pengalaman pengguna saat kami menskalakan untuk menangani miliaran kueri penelusuran setiap bulan. - Subu Sathyanarayana , VP of Engineering, Brave Software
Anyscale
Anyscale adalah perusahaan yang menciptakan Ray, yaitu Mesin Komputasi AI yang mendorong ML dan inisiatif AI Generatif untuk Perusahaan. Dengan platform AI terpadu Anyscale yang didukung oleh RayTurbo, pelanggan melihat pemrosesan data hingga 4,5x lebih cepat, inferensi batch biaya 10X lebih rendah dengan LLM, penskalaan 5x lebih cepat, iterasi 12X lebih cepat, dan penghematan biaya 50% untuk inferensi model online dengan mengoptimalkan pemanfaatan sumber daya. Di Anyscale, kami berkomitmen untuk memberdayakan perusahaan dengan alat terbaik untuk menskalakan beban kerja AI secara efisien dan hemat biaya. Dengan dukungan native untuk cip AWS Trainium dan Inferentia, serta ditenagai oleh runtime RayTurbo kami, pelanggan memiliki akses ke opsi beperforma tinggi dan hemat biaya untuk pelatihan dan penyajian model. Kami tidak sabar untuk bergabung dengan AWS di Trainium2, yang akan membuka peluang baru bagi pelanggan kami untuk berinovasi dengan cepat, dan memberikan pengalaman AI transformatif beperforma tinggi dalam skala besar. - Robert Nishihara, Cofounder, Anyscale
Datadog
Datadog, yaitu platform observabilitas dan keamanan untuk aplikasi cloud, menyediakan AWS Trainium dan Inferentia Monitoring bagi pelanggan untuk mengoptimalkan performa model, meningkatkan efisiensi, dan menghemat biaya. Integrasi Datadog memberikan visibilitas penuh ke operasi ML dan performa cip yang mendasarinya, sehingga memungkinkan penyelesaian masalah secara proaktif dan penskalaan infrastruktur yang mulus. Kami sangat senang dapat memperluas kemitraan kami dengan AWS untuk peluncuran AWS Trainium2, yang membantu pengguna mengurangi biaya infrastruktur AI hingga 50% dan meningkatkan pelatihan model dan performa deployment. - Yrieix Garnier, VP of Product Company, Datadog
Hugging Face
Hugging Face adalah platform terbuka terkemuka untuk pembuat AI, dengan lebih dari 2 juta model, set data, dan aplikasi AI yang dibagikan oleh komunitas yang berisi lebih dari 5 juta peneliti, ilmuwan data, insinyur machine learning, dan developer perangkat lunak. Kami telah berkolaborasi dengan AWS selama beberapa tahun terakhir, sehingga memudahkan developer untuk merasakan manfaat performa dan biaya AWS Inferentia dan Trainium melalui pustaka sumber terbuka Optimum Neuron, yang terintegrasi dalam Hugging Face Inference Endpoints, dan sekarang dioptimalkan dalam layanan deployment mandiri HUGS baru kami yang tersedia di AWS Marketplace. Dengan diluncurkannya Trainium2, pengguna kami akan mendapatkan akses ke performa yang lebih tinggi untuk mengembangkan dan menerapkan model dengan lebih cepat. - Jeff Boudier, Kepala Produk, Hugging Face
Lightning AI
Lightning AI, yaitu pencipta PyTorch Lightning dan Lightning Studios menawarkan platform pengembangan AI komprehensif yang paling intuitif untuk AI tingkat perusahaan. Lightning menyediakan kode lengkap, yaitu low-code dan no-code, untuk membangun agen, aplikasi AI, dan solusi AI generatif, secepat kilat. Dirancang untuk fleksibilitas, alat ini berjalan mulus di cloud Anda atau cloud kami yang memanfaatkan keahlian dan dukungan dari 3M+ komunitas developer yang solid. Lightning sekarang secara native menawarkan dukungan untuk Cip AWS AI, Trainium, dan Inferentia, yang terintegrasi di Lightning Studios dan alat sumber terbuka kami, seperti PyTorch Lightning, Fabric, dan LitServe. Hal ini memberi pengguna kemampuan tanpa batas untuk melatih, menyempurnakan, dan melakukan deployment dalam skala besar, yang mengoptimalkan biaya, ketersediaan, dan performa tanpa perubahan overhead, dan manfaat performa dan biaya Cip AI AWS, termasuk cip Trainium2 generasi terbaru, yang memberikan performa yang lebih tinggi dengan biaya lebih rendah. - Luca Antiga, CTO, Lightning AI
Domino Data Lab
Domino mengatur semua artefak ilmu data, termasuk infrastruktur, data, dan layanan di AWS di seluruh lingkungan—melengkapi Amazon SageMaker dengan kemampuan tata kelola dan kolaborasi untuk mendukung tim ilmu data perusahaan. Domino tersedia melalui AWS Marketplace sebagai SaaS atau dikelola sendiri. Perusahaan-perusahaan terkemuka harus menyeimbangkan kompleksitas teknis, biaya, dan tata kelola, dengan menguasai berbagai opsi AI untuk memperoleh keunggulan kompetitif. Di Domino, kami berkomitmen untuk memberi akses kepada ke teknologi mutakhir. Dengan komputasi sebagai hambatan bagi begitu banyak inovasi inovatif, kami bangga memberi pelanggan akses ke Trainium2 sehingga mereka dapat melatih dan melakukan deployment model dengan performa lebih tinggi, biaya lebih rendah, dan efisiensi energi lebih baik. - Nick Elprin, CEO and Co-Founder, Domino Data Lab
Memulai
Dukungan SageMaker untuk instans Trn2 akan segera hadir. Anda akan dapat dengan mudah melatih model pada instans Trn2 dengan menggunakan Amazon SageMaker HyperPod yang menyediakan klaster komputasi tangguh, performa pelatihan yang dioptimalkan, serta pemanfaatan sumber daya komputasi, jaringan, dan memori yang efisien. Anda juga dapat menskalakan deployment model pada instans Trn2 dengan menggunakan SageMaker untuk mengelola model secara lebih efisien dalam produksi dan mengurangi beban operasional.
AWS Deep Learning AMI (DLAMI) memberikan deep learning (DL) infrastruktur dan alat bagi praktisi dan peneliti untuk mempercepat DL di AWS, dalam skala apa pun. Driver AWS Neuron telah dikonfigurasi sebelumnya di DLAMI untuk secara optimal melatih model DL Anda pada instans Trn2.
Dukungan Deep Learning Containers untuk instans Trn2 akan segera hadir. Dengan menggunakan kontainer ini, Anda akan dapat melakukan deployment instans Trn2 di Amazon Elastic Kubernetes Service (Amazon EKS), layanan Kubernetes terkelola penuh, dan di Amazon Elastic Container Service (Amazon ECS), yaitu sebuah layanan orkestrasi kontainer yang terkelola penuh. Neuron prainstal juga tersedia di AWS Deep Learning Containers. Untuk mempelajari selengkapnya cara menjalankan kontainer pada instans Trn2, lihat Tutorial kontainer Neuron.
Detail produk
|
Ukuran Instans
|
Tersedia dalam EC2 UltraServers
|
Cip Trainium2
|
Memori Akselerator
|
vCPU
|
Memori (TB)
|
Penyimpanan Instans (TB)
|
Bandwidth Jaringan (Tbps)
|
Bandwidth EBS (Gbps)
|
|---|---|---|---|---|---|---|---|---|
|
Trn2.3xlarge
|
Tidak |
1 |
96 GB |
12 |
128 GB |
1 x 470 GB SSD NVMe
|
0,2 |
5 |
|
trn2.48xlarge
|
Tidak
|
16
|
1,5 TB
|
192
|
2 TB
|
4 x 1,92 SSD NVMe
|
3,2
|
80
|
|
trn2u.48xlarge
|
Ya |
16
|
1,5 TB
|
192
|
2 TB
|
4 x 1,92 SSD NVMe
|
3,2
|
80
|