Instans Inf2 Amazon EC2

“Di Runway, rangkaian AI Magic Tools kami memungkinkan pengguna kami untuk membuat dan mengedit konten yang belum pernah ada sebelumnya. Kami terus mencoba hal lain yang mungkin dilakukan melalui pembuatan konten yang didukung AI, dan karena model AI kami menjadi lebih kompleks, biaya infrastruktur yang mendasari untuk menjalankan model ini dalam skala besar bisa menjadi mahal. Melalui kolaborasi dengan instans Inf2 Amazon EC2 yang didukung oleh AWS Inferentia, kami dapat menjalankan beberapa model dengan throughput hingga 2x lebih tinggi daripada instans berbasis GPU yang setara. Inferensi performa tinggi yang murah ini memungkinkan kami untuk menghadirkan lebih banyak fitur, melakukan deployment model yang lebih kompleks, dan memberikan pengalaman yang lebih baik bagi jutaan pembuat konten yang menggunakan Runway."

Cristóbal Valenzuela, Cofounder dan CEO, Runway

Qualtrics mendesain dan mengembangkan perangkat lunak manajemen pengalaman.

“Fokus kami di Qualtrics adalah membangun teknologi yang akan mengatasi kesenjangan pengalaman bagi pelanggan, karyawan, merek, dan produk. Untuk mencapainya, kami mengembangkan model DL multitugas dan multimodal yang kompleks untuk meluncurkan berbagai fitur baru, seperti klasifikasi teks, penandaan urutan, analisis diskursus, ekstraksi frasa kunci, ekstraksi topik, pembuatan klaster, dan pemahaman percakapan ujung ke ujung. Saat kami menggunakan model yang lebih kompleks ini dalam lebih banyak aplikasi, volume data tidak terstruktur akan meningkat, dan kami membutuhkan lebih banyak solusi yang dioptimalkan dengan inferensi yang dapat memenuhi tuntutan ini, seperti instans Inf2, untuk menghadirkan pengalaman terbaik bagi pelanggan kami. Kami sangat senang dengan instans Inf2 yang baru karena selain memungkinkan kami mencapai throughput yang lebih tinggi sekaligus memangkas latensi secara signifikan, instans ini juga menghadirkan berbagai fitur seperti inferensi terdistribusi dan dukungan bentuk input dinamis yang disempurnakan yang akan membantu kami menskalakan guna memenuhi kebutuhan deployment seiring dengan semakin besar dan kompleksnya model kami."

Aaron Colak, Head of Core Machine Learning, Qualtrics

Finch Computing adalah perusahaan teknologi bahasa alami yang menyediakan aplikasi kecerdasan buatan untuk klien pemerintah, layanan keuangan, dan integrator data.

"Untuk memenuhi kebutuhan pelanggan akan pemrosesan bahasa alami waktu nyata, kami mengembangkan model DL canggih yang menskalakan beban kerja produksi besar. Kami harus menyediakan transaksi berlatensi rendah dan mencapai throughput tinggi untuk memproses umpan data global. Kami telah memigrasikan banyak beban kerja produksi ke instans Inf1 dan mampu memangkas biaya sebesar 80% melebihi GPU. Saat ini, kami sedang mengembangkan model yang lebih besar dan lebih kompleks yang memungkinkan pengartian yang lebih berwawasan dan lebih mendalam dari teks tertulis. Banyak pelanggan kami yang memerlukan akses ke wawasan ini secara waktu nyata, dan performa pada instans Inf2 akan membantu kami memberikan latensi yang lebih rendah serta throughput yang lebih tinggi daripada instans Inf1. Dengan peningkatan performa Inf2 dan fitur Inf2 yang baru, seperti dukungan untuk ukuran input dinamis, kami berhasil mengoptimalkan efisiensi biaya, meningkatkan pengalaman pelanggan waktu nyata, dan membantu pelanggan mendapatkan wawasan baru dari data mereka.”

Franz Weckesser, Chief Architect, Finch Computing

Money Forward, Inc. melayani bisnis dan perorangan dengan platform keuangan yang terbuka dan adil. Sebagai bagian dari platform ini, HiTTO Inc., perusahaan grup Money Forward menawarkan layanan chatbot AI, yang menggunakan model pemrosesan bahasa alami (natural language processing, NLP) yang disesuaikan untuk memenuhi beragam kebutuhan pelanggan perusahaan mereka.

“Kami meluncurkan layanan chatbot AI skala besar di instans Inf1 Amazon EC2 dan mengurangi latensi inferensi sebesar 97% dibandingkan instans berbasis GPU yang sebanding sekaligus mengurangi biaya. Kami sangat senang melihat peningkatan performa lebih lanjut dalam hasil pengujian awal kami pada instans Inf2 Amazon EC2. Dengan model NLP kustom yang sama, Inf2 AWS dapat mengurangi latensi hingga 10x dibandingkan Inf1. Saat kami beralih ke model parameter multimiliar yang lebih besar, Inf2 memberi kami keyakinan bahwa kami dapat terus memberi pelanggan pengalaman ujung ke ujung terbaik."

Takuya Nakade, CTO, Money Forward Inc.

“Di Fileread.ai, kami membangun solusi untuk membuat interaksi dengan dokumen Anda semudah mengajukan pertanyaan kepada mereka, memungkinkan pengguna menemukan apa yang mereka cari, dari semua dokumen mereka dan mendapatkan informasi yang tepat lebih cepat. Sejak beralih ke instans Inf2 EC2 baru, kami telah melihat peningkatan yang signifikan dalam kemampuan inferensi NLP kami. Penghematan biaya saja telah menjadi terobosan bagi kami, memungkinkan kami mengalokasikan sumber daya dengan lebih efisien tanpa mengorbankan kualitas. Kami mengurangi latensi inferensi sebesar 33% sekaligus meningkatkan throughput sebesar 50% sehingga dapat memuaskan pelanggan kami dengan penyelesaian yang lebih cepat. Tim kami sangat kagum dengan kecepatan dan performa Inf2 dibandingkan instans G5 lama. Inf2 adalah masa depan deployment model NLP."

Daniel Hu, CEO, Fileread

“Di Yaraku, misi kami adalah membangun infrastruktur yang membantu masyarakat berkomunikasi tanpa hambatan bahasa. Produk unggulan kami, YarakuZen, memungkinkan siapa saja, mulai dari penerjemah profesional hingga individu monolingual, untuk menerjemahkan dan mengedit teks serta dokumen dengan penuh keyakinan. Untuk mendukung proses ini, kami menawarkan berbagai alat canggih berdasarkan model DL, yang mencakup berbagai tugas seperti penerjemahan, pencocokan per kata antara bahasa sumber dan bahasa target ( bitext word alignment), segmentasi kalimat, pemodelan bahasa, dan lainnya. Dengan instans Inf1, kami dapat mempercepat layanan dalam memenuhi permintaan yang terus meningkat sekaligus mengurangi biaya inferensi lebih dari 50% dibandingkan instans berbasis GPU. Kami kini beralih ke pengembangan model generasi berikutnya yang lebih besar dan akan membutuhkan kemampuan instans Inf2 yang ditingkatkan untuk memenuhi permintaan sekaligus mempertahankan latensi rendah. Dengan Inf2, kami akan dapat menaikkan skala model sebesar 10x sekaligus mempertahankan throughput yang serupa. Inf2 juga memungkinkan kami untuk memberikan kualitas yang lebih baik kepada pelanggan kami."

Giovanni Giacomo, NLP Lead, Yaraku

"Misi Hugging Face adalah mendemokrasikan ML yang baik untuk membantu developer ML di seluruh dunia memecahkan masalah di dunia nyata. Kunci untuk mewujudkan hal itu adalah memastikan model terbaru dan terhebat agar berjalan secepat dan seefisien mungkin pada akselerator ML terbaik di cloud. Kami sangat senang dengan potensi Inferentia2 untuk menjadi cara standar baru untuk melakukan deployment model AI generatif dalam skala besar. Dengan Inf1, kami melihat biaya hingga 70% lebih rendah daripada instans berbasis GPU tradisional, dan dengan Inf2, kami telah melihat latensi hingga 8x lebih rendah untuk Transformator menyerupai BERT dibandingkan dengan Inferentia1. Dengan Inferentia2, komunitas kami akan dapat dengan mudah menskalakan performa ini ke LLM pada skala lebih dari 100 miliar parameter, serta model difusi dan visi komputer terbaru."  

“PyTorch mempercepat jalur dari pembuatan prototipe penelitian hingga deployment produksi untuk developer ML. Kami telah berkolaborasi dengan tim AWS untuk memberikan dukungan PyTorch native untuk instans Inf2 Amazon EC2 baru yang didukung AWS Inferentia2. Karena semakin banyak anggota komunitas kami yang ingin melakukan deployment model AI generatif yang besar, kami sangat senang untuk bermitra dengan tim AWS untuk mengoptimalkan inferensi terdistribusi pada instans Inf2 dengan konektivitas NeuronLink berkecepatan tinggi di antara akselerator. Dengan Inf2, developer yang menggunakan PyTorch sekarang dapat dengan mudah melakukan deployment model LLM yang sangat besar dan transformator visi. Selain itu, instans Inf2 menghadirkan kemampuan inovatif lainnya kepada developer PyTorch, termasuk tipe data yang efisien, bentuk dinamis, operator khusus, dan pembulatan stokastik perangkat keras yang dioptimalkan, membuatnya sangat cocok untuk digunakan secara luas oleh komunitas PyTorch.” 

“Weights & Biases (W&B) menyediakan alat developer untuk teknisi dan ilmuwan data ML untuk membangun model yang lebih baik dengan lebih cepat. Platform W&B memberikan beragam wawasan kepada praktisi ML untuk meningkatkan performa model, termasuk pemanfaatan infrastruktur komputasi yang mendasarinya. Kami telah berkolaborasi dengan tim AWS untuk menambahkan dukungan bagi Amazon Trainium dan Inferentia2 ke dasbor metrik sistem kami sehingga dapat menyediakan data berharga yang sangat dibutuhkan selama eksperimen dan pelatihan model. Hal ini memungkinkan praktisi ML untuk mengoptimalkan model mereka guna memperoleh manfaat penuh dari perangkat keras AWS yang dibuat khusus untuk melatih model mereka secara lebih cepat dan dengan biaya yang lebih rendah."

Phil Gurbacki, VP of Product, Weights & Biases

“OctoML membantu developer mengurangi biaya dan membangun aplikasi AI yang dapat diskalakan dengan mengemas model DL mereka untuk berjalan pada perangkat keras dengan performa tinggi. Kami telah menghabiskan beberapa tahun terakhir membangun keahlian pada solusi perangkat lunak dan perangkat keras terbaik dan mengintegrasikannya ke dalam platform kami. Akar kami sebagai perancang chip dan peretas sistem menjadikan AWS Trainium dan Inferentia semakin menarik bagi kami. Kami melihat akselerator ini sebagai faktor pendorong utama untuk masa depan inovasi AI di cloud. Peluncuran GA instans Inf2 dilakukan secara tepat waktu bersamaan dengan munculnya LLM populer sebagai penyusun utama aplikasi AI generasi berikutnya. Kami sangat bersemangat untuk membuat instans ini tersedia di platform kami agar para developer dapat dengan mudah memperoleh manfaat performa tinggi dan penghematan biaya.”
 

Jared Roesch, CTO and Cofounder, OctoML

"Tantangan besar yang muncul terkait LLM, dan lebih luas lagi terkait aplikasi AI generatif tingkat korporasi, adalah tentang biaya yang dikeluarkan untuk pelatihan dan eksekusi model DL yang beperforma tinggi. Bersama AWS Trainium, AWS Inferentia2 meminimalkan biaya yang perlu dikeluarkan oleh pelanggan saat mereka membutuhkan pelatihan beperforma tinggi. Kini, pelanggan kami yang ingin mengambil manfaat dalam pelatihan dan inferensi dapat mencapai hasil yang lebih baik dengan biaya yang rendah. Trainium dan Inferentia dapat mempercepat skala guna memenuhi segala kebutuhan DL, bahkan yang paling kompleks, untuk perusahaan-perusahaan besar yang ada saat ini. Banyak pelanggan Nextira yang menjalankan beban kerja AI besar yang akan mendapat manfaat langsung dengan chipset baru ini; mereka memperoleh peningkatan efisiensi dalam penghematan biaya dan performa sehingga mendorong hasil yang lebih cepat di pasar."

Jason Cutrer, founder and CEO, Nextira

Amazon CodeWhisperer adalah pendamping pengodean AI yang menghasilkan rekomendasi kode satu baris atau fungsi penuh secara waktu nyata di lingkungan pengembangan terintegrasi (integrated development environment, IDE) untuk membantu Anda membangun perangkat lunak dengan cepat.

“Dengan CodeWhisperer, kami meningkatkan produktivitas developer perangkat lunak dengan memberikan rekomendasi kode menggunakan model AI generatif. Untuk mengembangkan rekomendasi kode yang sangat efektif, kami meningkatkan jaringan DL kami menjadi miliaran parameter. Pelanggan kami membutuhkan rekomendasi kode secara real time saat mereka mengetik, sehingga respons latensi rendah sangat penting. Model AI generatif yang besar memerlukan komputasi dengan performa tinggi untuk memberikan waktu respons dalam sepersekian detik. Dengan Inf2, kami memberikan latensi yang sama seperti menjalankan CodeWhisperer pada instans GPU pelatihan yang dioptimalkan untuk urutan input dan output yang besar. Dengan demikian, instans Inf2 membantu kami menghemat biaya dan daya sekaligus memberikan pengalaman terbaik bagi developer.”  

Doug Seven, General Manager, Amazon CodeWhisperer

Mesin pencarian produk Amazon mengindeks miliaran produk, melayani miliaran kueri pelanggan setiap harinya, dan merupakan salah satu layanan yang paling banyak digunakan di dunia.

“Saya sangat senang dengan peluncuran GA Inf2. Performa unggul dari Inf2, ditambah dengan kemampuannya untuk menangani model yang lebih besar dengan miliaran parameter, menjadikannya pilihan yang sempurna untuk layanan kami dan memungkinkan kami untuk membuka kemungkinan baru dalam hal kompleksitas dan akurasi model. Dengan kecepatan dan efisiensi biaya yang signifikan yang ditawarkan oleh Inf2, mengintegrasikannya ke dalam infrastruktur layanan Amazon Search dapat membantu memenuhi permintaan pelanggan kami yang terus meningkat. Kami berencana untuk memperkuat pengalaman belanja yang baru kami menggunakan LLM generatif menggunakan Inf2.” 

Trishul Chilimbi, VP, Amazon Search