Instans Inf1 Amazon EC2

Inferensi machine learning performa tinggi dan berbiaya rendah

Mengapa Instans Amazon Inf1 EC2?

Bisnis di berbagai industri mencari transformasi yang didukung kecerdasan buatan (AI) untuk mendorong inovasi bisnis dan meningkatkan pengalaman pelanggan serta peningkatan proses. Model machine learning (ML) yang mendukung aplikasi AI menjadi makin kompleks, sehingga biaya infrastruktur komputasi dasar juga meningkat. Hingga 90% pengeluaran infrastruktur untuk mengembangkan dan menjalankan aplikasi ML sering kali dialokasikan pada inferensi. Pelanggan mencari solusi infrastruktur yang hemat biaya untuk melakukan deployment aplikasi ML mereka dalam produksi.

Instans Inf1 Amazon EC2 menghasilkan inferensi ML dengan performa tinggi dan biaya rendah. Instans ini menghasilkan throughput yang lebih tinggi hingga 2,3x lipat dan biaya per inferensi yang lebih rendah hingga 70% dibandingkan instans Amazon EC2 yang setara. Instans Inf1 dibangun dari awal untuk mendukung aplikasi inferensi ML. Instans ini menghadirkan hingga 16 chip AWS Inferentia, chip inferensi ML beperforma tinggi yang didesain dan dibuat oleh AWS. Selain itu, instans Inf1 menyertakan prosesor Intel Xeon Scalable Generasi Ke-2 dan jaringan hingga 100 Gbps untuk menghasilkan inferensi throughput yang tinggi.

Pelanggan dapat menggunakan instans Inf1 untuk menjalankan aplikasi inferensi ML skala besar seperti pencarian, mesin rekomendasi, penglihatan komputer, pengenalan ucapan, pemrosesan bahasa alami (NLP), personalisasi, dan deteksi kecurangan.

Developer dapat melakukan deployment model ML pada instans Inf1 menggunakan AWS Neuron SDK, yang terintegrasi dengan kerangka kerja ML populer, seperti TensorFlow, PyTorch, dan Apache MXNet. Mereka dapat terus menggunakan alur kerja ML yang sama dan memigrasikan aplikasi ke instans Inf1 secara lancar dengan perubahan kode minimal serta tanpa terikat dengan solusi khusus vendor.

Mulai instans Inf1 secara mudah menggunakan Amazon SageMaker, AWS Deep Learning AMI (DLAMI) yang telah dikonfigurasikan sebelumnya dengan Neuron SDK, atau Amazon Elastic Container Service (Amazon ECS) atau Amazon Elastic Kubernetes Service (Amazon EKS) untuk aplikasi ML terkontainer.

Instans Inf1 Amazon EC2

Manfaat

Dengan Inf1, developer dapat mengurangi biaya deployment produksi ML mereka secara signifikan. Kombinasi biaya instans yang rendah dan throughput tinggi dari instans Inf1 menghasilkan biaya per inferensi yang lebih rendah hingga 70% dibandingkan instans Amazon EC2 yang setara.

Neuron SDK terintegrasi dengan kerangka kerja ML umum seperti TensorFlow, PyTorch, dan MXNet. Developer dapat terus menggunakan alur kerja ML yang sama dan memigrasikan aplikasi mereka ke instans Inf1 secara lancar dengan perubahan kode minimal. Hal ini memberi mereka kebebasan untuk menggunakan kerangka kerja ML pilihan, platform komputasi yang paling memenuhi persyaratan, dan teknologi terbaru tanpa terikat dengan solusi khusus vendor.

Instans Inf1 menghasilkan throughput yang lebih tinggi hingga 2,3x dibandingkan instans Amazon EC2 yang setara. Chip AWS Inferentia yang mendukung instans Inf1 dioptimalkan untuk performa inferensi pada ukuran batch kecil, sehingga memungkinkan aplikasi waktu nyata memaksimalkan throughput dan memenuhi persyaratan latensi.

Chip AWS Inferentia dilengkapi dengan memori dalam chip ukuran besar yang memungkinkan cache model ML secara langsung di chip tersebut. Anda dapat melakukan deployment model menggunakan kemampuan seperti NeuronCore Pipeline yang menghilangkan kebutuhan untuk mengakses sumber daya yang ada di luar memori. Dengan Instans Inf1, Anda dapat melakukan deployment aplikasi inferensi waktu nyata pada latensi hampir secara waktu nyata tanpa memengaruhi bandwidth.

Instans Inf1 mendukung berbagai arsitektur model ML yang umum digunakan seperti SSD, VGG, dan ResNext untuk pengenalan/klasifikasi gambar serta Transformer dan BERT untuk NLP. Selain itu, dukungan untuk repositori model HuggingFace di Neuron memberi pelanggan kemampuan untuk dengan mudah mengompilasi dan menjalankan inferensi menggunakan model yang dilatih sebelumnya atau model yang disetel hanya dengan mengubah satu baris kode. Beberapa tipe data termasuk BF16 dan FP16 dengan presisi campuran juga didukung untuk berbagai model serta kebutuhan performa.

Fitur

AWS Inferentia adalah chip ML yang dibuat khusus oleh AWS untuk memberikan inferensi performa tinggi dengan biaya rendah. Setiap chip AWS Inferentia memiliki empat NeuronCore generasi pertama dan memberikan performa hingga 128 tera operasi per detik (TOPS), serta mendukung tipe data FP16, BF16, dan INT8. Chip AWS Inferentia juga memiliki sejumlah besar memori pada chip yang dapat digunakan untuk membuat cache model besar, yang khususnya bermanfaat bagi model yang sering memerlukan akses memori.

AWS Neuron SDK terdiri dari compiler, driver runtime, dan alat pembuatan profil. Hal ini memungkinkan deployment model jaringan neural kompleks, yang dibuat dan dilatih di kerangka kerja populer seperti TensorFlow, PyTorch, serta MXNet, yang akan dijalankan menggunakan instans Inf1. Dengan NeuronCore Pipeline, Anda dapat memecah model besar untuk dijalankan di beberapa chip Inferentia menggunakan interkoneksi chip ke chip fisik berkecepatan tinggi, sehingga memberikan throughput inferensi yang tinggi dan biaya inferensi yang lebih rendah.

Instans Inf1 menawarkan throughput jaringan hingga 100 Gbps untuk aplikasi yang memerlukan akses ke jaringan berkecepatan tinggi. Teknologi Adaptor Jaringan Elastis (ENA) dan NVM Express (NVMe) generasi berikutnya menyediakan instans Inf1 dengan antarmuka throughput tinggi dan latensi rendah untuk jaringan serta Amazon Elastic Block Store (Amazon EBS).

AWS Nitro System adalah kumpulan luas blok bangunan yang memindahkan banyak fungsi virtualisasi tradisional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa, ketersediaan, serta keamanan yang tinggi sekaligus mengurangi overhead virtualisasi.

Testimoni Pelanggan dan Partner

Berikut adalah beberapa contoh dari cara pelanggan dan partner dalam mencapai tujuan bisnis mereka dengan instans Inf1 Amazon EC2.

  • Snap Inc.

    Kami menggabungkan ML ke dalam banyak aspek Snapchat, dan eksplorasi inovasi di bidang ini merupakan prioritas utama. Setelah mendengar tentang Inferentia, kami mulai berkolaborasi dengan AWS untuk mengadopsi instans Inf1/Inferentia untuk membantu dalam deployment ML, termasuk dalam hal performa dan biaya. Kami memulai dengan model rekomendasi dan ingin mengadopsi lebih banyak model dengan instans Inf1 di masa mendatang.

    Nima Khajehnouri, VP Engineering di Snap Inc.
  • Sprinklr

    Platform manajemen pengalaman pelanggan terpadu (Unified-CXM) berbasis AI milik Sprinklr memungkinkan perusahaan untuk mengumpulkan dan menerjemahkan umpan balik pelanggan waktu nyata di berbagai saluran menjadi wawasan yang dapat ditindaklanjuti—yang kemudian menghasilkan resolusi masalah yang proaktif, pengembangan produk yang ditingkatkan, pemasaran konten yang meningkat, layanan pelanggan yang lebih baik, dan lebih banyak lagi. Dengan Inf1 Amazon EC2, kami dapat meningkatkan performa salah satu model NLP secara signifikan dan meningkatkan performa salah satu model penglihatan komputer kami. Kami ingin terus menggunakan Inf1 Amazon EC2 untuk melayani pelanggan global dengan lebih baik.

    Vasant Srinivasan, Wakil Presiden Senior Rekayasa Produk di Sprinklr
  • Finch Computing

    Produk NLP kami yang canggih, Finch for Text, menawarkan kemampuan untuk mengekstrak, membedakan, dan memperkaya berbagai tipe entitas dalam volume teks yang besar kepada pengguna. Finch for Text memerlukan sumber daya komputasi yang signifikan untuk menyediakan pengayaan latensi rendah pada umpan data global kepada klien kami. Kami saat ini menggunakan instans Inf1 AWS dalam model NLP PyTorch, penerjemahan, dan disambiguasi entitas. Kami dapat mengurangi biaya inferensi hingga lebih dari 80% (dibandingkan GPU) dengan optimisasi minimal sekaligus mempertahankan kecepatan dan performa inferensi. Peningkatan ini memungkinkan pelanggan kami untuk memperkaya teks bahasa Prancis, Spanyol, Jerman, dan Belanda mereka dalam waktu nyata pada umpan data streaming dan pada skala global—sesuatu yang sangat penting bagi pelanggan layanan keuangan, pengagregasi data, dan pelanggan sektor publik.

    Scott Lightner, Chief Technology Officer di Finch Computing
  • Dataminr

    Kami menangkap berbagai jenis peristiwa di seluruh dunia dalam banyak bahasa, dalam berbagai format (gambar, video, audio, sensor teks, kombinasi dari semuanya) dari ratusan ribu sumber. Mengoptimalkan kecepatan dan biaya dengan skala sebesar itu merupakan hal yang krusial bagi bisnis kami. Dengan AWS Inferentia, kami telah menurunkan latensi model dan mencapai throughput hingga 9x lebih baik per dolar. Solusi ini membuat kami dapat meningkatkan akurasi model dan mengembangkan kemampuan platform kami dengan melakukan deployment model DL yang lebih canggih serta memproses volume data 5x lebih banyak, sekaligus menjaga biaya kami tetap terkendali.

    Alex Jaimes, Chief Scientist dan Senior Vice President of AI di Dataminr
  • Autodesk

    Autodesk memajukan teknologi kognitif asisten virtual yang didukung oleh AI kami, Autodesk Virtual Agent (AVA), dengan menggunakan Inferentia. AVA menjawab lebih dari 100.000 pertanyaan pelanggan per bulan dengan menerapkan teknik pemahaman bahasa alami (NLU) dan deep learning (DL) untuk mengekstraksi konteks, tujuan, serta makna di balik pertanyaan. Saat mencoba Inferentia, kami mampu meraih throughput 4,9x lebih tinggi daripada G4dn untuk model NLU, dan kami berharap dapat menjalankan lebih banyak beban kerja pada instans Inf1 berbasis Inferentia.

    Binghui Ouyang, Sr. Data Scientist di Autodesk
  • Screening Eagle Technologies

    Penggunaan radar penembus tanah dan deteksi cacat visual biasanya menjadi wewenang surveyor ahli. Arsitektur berbasis layanan mikro AWS memungkinkan kami memproses video yang diambil oleh kendaraan inspeksi dan pemeriksa otomatis. Dengan memigrasikan model buatan kami dari instans berbasis GPU tradisional ke Inferentia, kami dapat mengurangi biaya sebesar 50%. Selain itu, kami dapat melihat peningkatan performa saat membandingkan waktu yang dibutuhkan instans ini dibandingkan instans GPU G4dn. Tim kami berharap dapat menjalankan lebih banyak beban kerja pada instans Inf1 berbasis Inferentia.

    Jesús Hormigo, Chief of Cloud dan AI Officer di Screening Eagle Technologies
  • NTT PC Communications

    NTT PC Communications, penyedia solusi layanan jaringan dan komunikasi di Jepang, merupakan pemimpin telekomunikasi dalam hal produk inovatif baru di pasar informasi dan teknologi komunikasi.

    NTT PC mengembangkan AnyMotion, sebuah layanan platform API analisis gerakan berdasarkan model ML estimasi postur yang canggih. Kami melakukan deployment platform AnyMotion di instans Inf1 Amazon EC2 menggunakan Amazon ECS untuk layanan orkestrasi kontainer yang terkelola sepenuhnya. Dengan melakukan deployment kontainer AnyMotion kami di Inf1 Amazon EC2, kami mendapatkan throughput 4,5x lebih tinggi, latensi inferensi 25% lebih rendah, dan biaya 90% lebih rendah dibandingkan instans EC2 berbasis GPU generasi saat ini. Hasil yang luar biasa ini akan membantu meningkatkan kualitas layanan AnyMotion dalam skala besar.

    Toshiki Yanagisawa, Software Engineer di NTT PC Communications Inc.
  • Anthem

    Anthem adalah salah satu perusahaan penyedia jaminan kesehatan yang terkemuka dalam negeri yang melayani kebutuhan layanan kesehatan lebih dari 40 juta anggota di puluhan negara bagian. 

    Pasar platform kesehatan digital berkembang sangat pesat. Mengumpulkan inteligensi di pasar ini menjadi tugas yang menantang karena banyaknya data opini pelanggan dan sifatnya yang tidak terstruktur. Aplikasi kami mengotomatiskan pembuatan wawasan yang dapat ditindaklanjuti dari opini pelanggan melalui model bahasa alami DL (Transformer). Aplikasi kami secara komputasional bersifat intensif dan perlu dilakukan deployment tingkat tinggi. Kami melakukan deployment beban kerja inferensi DL ke instans Inf1 Amazon EC2 yang didukung prosesor AWS Inferentia secara lancar. Instans Inf1 baru memberikan throughput 2x lebih tinggi dibandingkan instans berbasis GPU sehingga kami dapat menyederhanakan beban kerja inferensi.

    Numan Laanait dan Miro Mihaylov, PhD, Principal AI/Data Scientist di Anthem
  • Condé Nast

    Portofolio global Condé Nast mencakup lebih dari 20 merek media ternama, termasuk Wired, Vogue, dan Vanity Fair. Dalam beberapa minggu, tim kami dapat mengintegrasikan mesin rekomendasi dengan chip AWS Inferentia. Penggabungan ini memungkinkan beberapa optimalisasi runtima untuk model bahasa natural tercanggih di instans SageMaker Inf1. Karenanya, kami dapat menghemat biaya sebesar 72% jika dibandingkan dengan instans GPU yang sebelumnya di-deploy.

    Paul Fryzel, Principal Engineer, AI Infrastructure di Condé Nast
  • Ciao Inc.

    Ciao tengah mengembangkan kamera keamanan konvensional menjadi kamera analisis performa tinggi yang setara dengan kemampuan mata manusia. Aplikasi kami mengedepankan pencegahan bencana, memantau kondisi lingkungan dengan solusi kamera kecerdasan buatan (AI) berbasis cloud untuk memperingatkan sebelum bencana terjadi. Peringatan ini memungkinkan reaksi awal terhadap situasi. Berdasarkan deteksi objek, kami juga dapat memberikan pengamatan dengan memperkirakan jumlah tamu yang masuk tanpa staf dari video di toko fisik. Ciao Camera secara komersial mengadopsi instans Inf1 berbasis AWS Inferentia dengan performa harga 40% lebih baik daripada G4dn dengan YOLOv4. Kami berharap akan ada lebih banyak layanan kami dengan Inf1 yang memanfaatkan efisiensi biaya yang signifikan.

    Shinji Matsumoto, Software Engineer di Ciao Inc.
  • The Asahi Shimbun Company

    Asahi Shimbun adalah salah satu surat kabar harian paling populer di Jepang. Media Lab, yang didirikan sebagai salah satu departemen perusahaan kami, memiliki misi untuk meneliti teknologi terkini, khususnya AI, dan menghubungkan teknologi-teknologi mutakhir untuk bisnis baru. Dengan peluncuran instans Inf1 Amazon EC2 berbasis AWS Inferentia di Tokyo, kami menguji aplikasi AI peringkasan teks berbasis PyTorch kami pada instans ini. Aplikasi ini memproses teks dalam jumlah besar dan menghasilkan berita utama dan kalimat ringkasan yang dilatih tentang artikel dari 30 tahun terakhir. Dengan Inferentia, kami berhasil menurunkan biaya menurut tingkat besaran dibandingkan instans berbasis CPU. Penghematan biaya yang signifikan ini memungkinkan kami melakukan deployment model paling kompleks dalam skala besar, yang sebelumnya tidak dapat kami lakukan karena kendala biaya yang besar.”

    Hideaki Tamori, PhD, Senior Administrator, Media Lab di The Asahi Shimbun Company
  • CS Disco

    CS Disco menyempurnakan teknologi hukum sebagai penyedia solusi AI yang terkemuka untuk penemuan elektronik yang dikembangkan oleh dan untuk para praktisi hukum. AI Disco mempercepat pekerjaan penyisiran data berukuran terabita yang begitu rumit, mempercepat waktu peninjauan, dan meningkatkan akurasi peninjauan dengan memanfaatkan model NLP kompleks, yang secara komputasional sangat mahal dan membutuhkan banyak biaya. Disco mendapati fakta bahwa instans Inf1 berbasis AWS Inferentia dapat mengurangi biaya inferensi AI Disco sekurang-kurangnya 35% dibandingkan instans GPU yang ada saat ini. Berkat pengalaman positif dengan instans Inf1 ini, CS Disco akan menjajaki kemungkinan untuk bermigrasi ke Inferentia.

    Alan Lockett, Sr. Peneliti Senior di CS Disco
  • Talroo

    Di Talroo, kami memberi para pelanggan sebuah platform berbasis data yang memungkinkan mereka untuk menarik banyak kandidat karyawan yang unik untuk kemudian dapat direkrut. Kami selalu menjajaki teknologi baru untuk memastikan bahwa kami menawarkan produk dan layanan yang terbaik kepada pelanggan. Dengan Inferentia, kami mengekstraksi wawasan dari korpus data teks untuk menyempurnakan teknologi cari-dan-cocokkan milik kami yang didukung oleh AI. Talroo memanfaatkan instans Inf1 Amazon EC2 untuk membuat model NLU throughput tinggi dengan SageMaker. Pengujian awal Talroo menunjukkan bahwa instans Inf1 Amazon EC2 memberikan latensi inferensi 40% lebih rendah dan throughput 2x lebih tinggi dibandingkan instans berbasis GPU G4dn. Berdasarkan hasil ini, Talroo ingin menggunakan instans Inf1 Amazon EC2 sebagai bagian dari infrastruktur AWS mereka.

    Janet Hu, Software Engineer di Talroo
  • Digital Media Professionals

    Digital Media Professionals (DMP) memvisualisasikan masa depan dengan platform ZIA™ berbasis AI. Teknologi klasifikasi penglihatan komputer efisien milik DMP digunakan untuk membangun wawasan mengenai data citra waktu nyata dalam jumlah besar, seperti observasi kondisi, pencegahan kejahatan, dan pencegahan kecelakaan. Kami mengetahui bahwa model segmentasi citra kami berjalan empat kali lebih cepat pada instans Inf1 berbasis AWS Inferentia dibandingkan instans G4 berbasis GPU. Karena throughput yang lebih tinggi dan biaya yang lebih rendah, Inferentia memungkinkan deployment beban kerja AI, seperti aplikasi untuk kamera dasbor mobil, dalam skala besar.

    Hiroyuki Umeda, Director & General Manager, Sales & Marketing Group di Digital Media Professionals
  • Hotpot.ai

    Hotpot.ai memberdayakan non-desainer untuk membuat grafik yang menarik dan membantu desainer profesional mengotomatiskan tugas repetitif. 

    Kami begitu antusias untuk mencoba instans Inf1 berbasis AWS Inferentia karena ML adalah inti strategi kami. Kami mendapati bahwa instans Inf1 dapat dengan mudah diintegrasikan ke dalam pipeline penelitian dan pengembangan kami. Yang terpenting, kami amati peningkatan kinerjanya yang mengesankan dibandingkan dengan instans berbasis GPU G4dn. Dengan model pertama kami, instans Inf1 menghasilkan throughput sekitar 45% lebih tinggi dan menurunkan biaya per inferensi sebesar hampir 50%. Kami ingin bekerja sama dengan tim AWS untuk mengadaptasi model lain dan mengalihkan sebagian besar infrastruktur inferensi ML ke AWS Inferentia.

    Clarence Hu, Founder di Hotpot.ai
  • SkyWatch

    SkyWatch memproses ratusan triliun piksel data observasi bumi, yang diambil dari luar angkasa setiap harinya. Mengadopsi instans Inf1 baru berbasis AWS Inferentia menggunakan Amazon SageMaker untuk deteksi cloud secara waktu nyata dan menjadikan penilaian kualitas gambar cepat dan mudah. Semua itu hanya masalah mengganti jenis instans dalam konfigurasi penerapan kami. Dengan mengalihkan jenis instans ke Inf1 berbasis Inferentia, kami meningkatkan kinerja sebesar 40% dan menurunkan biaya sebesar 23% secara keseluruhan. Ini merupakan capaian yang luar biasa. Karena hal tersebut, kami berhasil menurunkan keseluruhan biaya operasional sambil terus memberikan citra satelit berkualitas tinggi kepada pelanggan, dengan overhead rekayasa minimal. Kami berharap dapat mengalihkan semua titik akhir inferensi dan proses ML batch kami untuk menggunakan instans Inf1 agar lebih meningkatkan keandalan data serta pengalaman pelanggan.

    Adler Santos, Engineering Manager di SkyWatch
  • Money Forward Inc.

    Money Forward, Inc. melayani bisnis dan perorangan dengan platform keuangan yang terbuka dan adil. Sebagai bagian dari platform ini, HiTTO Inc., perusahaan dari grup Money Forward, menawarkan layanan chatbot AI yang menggunakan model NLP yang disesuaikan untuk menjawab beragam kebutuhan pelanggan korporat mereka.

    Memigrasikan layanan chatbot AI kami ke instans Inf1 Amazon EC2 sangatlah praktis. Kami menyelesaikan migrasi dalam waktu dua bulan dan meluncurkan layanan berskala besar pada instans Inf1 menggunakan Amazon ECS. Kami dapat mengurangi latensi inferensi sebesar 97% dan biaya inferensi lebih dari 50% (daripada instans berbasis GPU yang sebanding) dengan memberikan beberapa model per instans Inf1. Kami berharap dapat menjalankan lebih banyak beban kerja pada instans Inf1 berbasis Inferentia.

    Kento Adachi, Technical lead, CTO di Money Forward Inc.
  • Amazon Advertising

    Amazon Advertising membantu bisnis dari semua ukuran terhubung dengan pelanggan di setiap tahap perjalanan belanja mereka. Jutaan iklan, termasuk teks dan citra, dimoderasi, diklasifikasikan, dan ditayangkan untuk pengalaman pelanggan yang optimal setiap hari.

    Baca blog berita

    Untuk pemrosesan iklan teks, kami melakukan deployment model BERT berbasis PyTorch secara global pada instans Inf1 berbasis AWS Inferentia. Dengan pindah ke Inferentia dari GPU, kami dapat menurunkan biaya sebesar 69% dengan performa yang sebanding. Mengompilasi dan menguji model kami untuk AWS Inferentia membutuhkan waktu kurang dari tiga minggu. Dengan menggunakan Amazon SageMaker untuk men-deploy model kami ke instans Inf1 memastikan deployment kami dapat diskalakan dan mudah dikelola. Ketika saya pertama kali menganalisis model yang dikompilasi, performa dengan AWS Inferentia sangatlah mengesankan sampai-sampai saya harus menjalankan kembali tolok ukur untuk memastikan bahwa tidak ada kesalahan. Ke depannya, kami berencana untuk memigrasikan model pemrosesan iklan citra kami ke Inferentia. Kami mendapatkan tolok ukur latensi 30% lebih rendah dan penghematan biaya 71% dibandingkan dengan instans berbasis GPU yang sebanding untuk model ini.

    Yashal Kanungo, Applied Scientist di Amazon Advertising
  • Amazon Alexa

    Kecerdasan berbasis AI dan ML Amazon Alexa, yang didukung oleh AWS, saat ini tersedia di lebih dari 100 juta perangkat—dan janji kami kepada pelanggan adalah bahwa Alexa akan selalu menjadi lebih pintar, lebih komunikatif, lebih proaktif, serta lebih menyenangkan. Untuk memenuhi janji itu, perlu penyempurnaan berkelanjutan dalam hal waktu respons dan biaya infrastruktur ML. Karena itulah kami sangat senang menggunakan Inf1 Amazon EC2 untuk menurunkan latensi inferensi dan biaya per inferensi pada teks-ke-ucapan Alexa. Dengan Inf1 Amazon EC2, kami akan mampu memperbaiki layanan bagi puluhan juta pelanggan yang menggunakan Alexa setiap bulannya.

    Tom Taylor, Senior Vice President di Amazon Alexa
  • Amazon Prime Video

    Amazon Prime Video menggunakan model ML penglihatan komputer untuk menganalisis kualitas video peristiwa langsung guna memastikan anggota Prime Video mendapatkan pengalaman penonton yang optimal. Kami melakukan deployment model ML klasifikasi gambar di instans Inf1 EC2 dan memperoleh 4x peningkatan dalam hal performa serta penghematan biaya hingga 40%. Kami kini ingin memanfaatkan penghematan biaya ini untuk berinovasi dan membangun model canggih yang dapat mendeteksi kecacatan yang lebih kompleks, seperti kesenjangan sinkronisasi antara file audio dan video, guna menghadirkan pengalaman menonton yang lebih baik bagi anggota Prime Video.

    Victor Antonino, Solutions Architect di Amazon Prime Video
  • Amazon Rekognition and Video

    Amazon Rekognition adalah aplikasi analisis gambar dan video yang sederhana serta mudah, yang membantu pelanggan mengidentifikasi objek, orang, teks, dan aktivitas. Amazon Rekognition memerlukan infrastruktur DL performa tinggi yang dapat menganalisis miliaran gambar dan video setiap harinya untuk pelanggan kami. Dengan instans Inf1 berbasis AWS Inferentia, pengoperasian model Amazon Rekognition, seperti klasifikasi objek, menghasilkan latensi 8x lebih rendah dan throughput 2x lipat jika dibandingkan dengan menjalankan model ini pada GPU. Berdasarkan hasil ini, kami memindahkan Amazon Rekognition ke Inf1 agar pelanggan kami dapat memperoleh hasil yang akurat dengan lebih cepat.

    Rajneesh Singh, Director, SW Engineering di Amazon Rekognition and Video

Detail produk

* Harga yang ditunjukkan adalah untuk Wilayah AWS US East (Northern Virginia). Harga untuk instans cadangan 1 tahun dan 3 tahun adalah untuk opsi pembayaran "Sebagian di Muka" atau "Tanpa Biaya di Muka" untuk instans tanpa opsi Sebagian di Muka.

Instans Inf1 Amazon EC2 tersedia di Wilayah AWS AS Timur (Virginia U.), AS Barat (Oregon) sebagai Instans Sesuai Permintaan, Terpesan, atau Spot.