Amazon SageMaker HyperPod kini mendukung pengambilan data untuk beban kerja inferensi
Amazon SageMaker HyperPod kini mendukung pengambilan data untuk beban kerja inferensi, sebuah kemampuan baru yang merekam payload permintaan dan respons inferensi dari titik akhir produksi ke Amazon S3. Pelanggan yang menerapkan model AI generatif di HyperPod membutuhkan visibilitas ke dalam input dan output model untuk mendeteksi penyimpangan, memecahkan masalah produksi, membangun set data evaluasi, dan terus meningkatkan model yang diterapkan, tetapi sebelumnya harus membangun pipeline pencatatan khusus di luar layanan untuk mendapatkan visibilitas ini.
Dengan pengambilan data, pelanggan dapat melatih model draf dekoding spekulatif dari lalu lintas produksi nyata mereka untuk kinerja yang lebih baik daripada model draf generik, membangun pipeline evaluasi dari data produksi, memberi masukan pada pekerjaan penyempurnaan dengan input dunia nyata, dan memelihara jejak audit untuk kepatuhan. Pelanggan memilih di mana lalu lintas inferensi akan ditangkap pada setiap titik akhir, yaitu di titik akhir SageMaker, penyeimbang beban, atau model pod. Data yang diambil dikirim secara asinkron ke bucket Amazon S3 mereka tanpa menghalangi inferensi, dan mendukung pengambilan sampel yang dapat dikonfigurasi serta enkripsi AWS KMS yang dikelola pelanggan. Anda dapat mengaktifkan pengambilan data saat menerapkan model melalui HyperPod Inference Operator, dan menggunakan data yang diambil dengan Amazon SageMaker Model Monitor dan alur kerja evaluasi, penyempurnaan, dan pelatihan model draf yang sudah ada.
Fitur ini tersedia untuk klaster SageMaker HyperPod yang menggunakan orkestrator EKS di semua AWS Region tempat Amazon SageMaker HyperPod didukung. Untuk mempelajari lebih lanjut, lihat Pengambilan data untuk inferensi di HyperPod.