Amazon Elastic Inference memungkinkan Anda memasang akselerasi yang didukung GPU dengan biaya rendah ke instans Amazon EC2 dan SageMaker atau tugas Amazon ECS, untuk mengurangi biaya menjalankan inferensi deep learning hingga 75%. Amazon Elastic Inference mendukung model TensorFlow, Apache MXNet, PyTorch, dan ONNX.

Inferensi adalah proses membuat prediksi menggunakan model terlatih. Dalam aplikasi deep learning, inferensi menyumbang hingga 90% dari total biaya operasional karena dua alasan. Pertama, instans GPU mandiri biasanya dirancang untuk pelatihan model - bukan untuk inferensi. Sedangkan tugas pelatihan memproses ratusan sampel data secara paralel, tugas inferensi biasanya memproses satu masukan waktu nyata, dan dengan demikian menggunakan komputasi GPU dalam jumlah kecil. Hal ini membuat inferensi GPU mandiri menjadi tidak efisien terkait biaya. Di sisi lain, instans CPU mandiri tidak dikhususkan untuk operasi matriks, sehingga sering kali terlalu lambat untuk inferensi deep learning.. Kedua, model yang berbeda memiliki persyaratan CPU, GPU, dan memori. Mengoptimalkan satu sumber daya dapat menyebabkan sumber daya lain tidak dimanfaatkan dan biaya lebih tinggi.

Amazon Elastic Inference memecahkan masalah tersebut dengan memungkinkan Anda memasangkan jumlah akselerasi inferensi dari GPU yang tepat ke jenis instans Amazon EC2 atau Amazon SageMaker atau tugas Amazon ECS mana pun tanpa perubahan kode. Dengan Amazon Elastic Inference, Anda dapat memilih tiap instans CPU di AWS yang paling sesuai dengan keseluruhan komputasi dan kebutuhan memori aplikasi Anda, lalu secara terpisah mengonfigurasi jumlah akselerasi inferensi yang tepat dengan dukungan GPU agar Anda dapat memanfaatkan sumber daya secara efisien dan mengurangi biaya.