Amazon SageMaker HyperPod artık çıkarım iş yükleri için veri yakalamayı destekliyor
Amazon SageMaker HyperPod, üretim uç noktalarından Amazon S3'e çıkarım isteği ve yanıt yüklerini kaydeden yeni çıkarım iş yükleri için veri yakalama özelliğini destekliyor. HyperPod'da üretken yapay zeka modelleri dağıtan müşteriler, sürüklenmeyi tespit etmek, üretim sorunlarını gidermek, değerlendirme veri kümeleri oluşturmak ve dağıtılan modellerini sürekli iyileştirmek için model girdi ve çıktılarında görünürlüğe ihtiyaç duyarlar, ancak daha önce bu görünürlüğü elde etmek için hizmetin dışında özel günlük işlem hatları oluşturmak zorundaydılar.
Müşteriler, veri yakalamayla genel taslak modellerden daha iyi performans için gerçek üretim trafiklerinden spekülatif kod çözme taslak modelleri eğitebilir, üretim verilerinden değerlendirme hatları oluşturabilir, ince ayar işlerini gerçek hayattaki girdilerle besleyebilir ve uyumluluk için denetim izlerini sürdürebilir. Müşteriler; her uç noktada, SageMaker uç noktasında, yük dengeleyicisinde veya model pod'unda çıkarım trafiğinin nerede yakalanacağını seçer. Yakalanan veriler, çıkarımı engellemeden Amazon S3 bucket'larına zaman uyumsuz olarak teslim edilir ve yapılandırılabilir örnekleme ve müşteri tarafından yönetilen AWS KMS şifrelemesini destekler. HyperPod Çıkarım Operatörü aracılığıyla modelleri dağıtırken veri yakalamayı etkinleştirebilir ve yakalanan verileri Amazon SageMaker Model İzleyici ile ve mevcut değerlendirme, ince ayar ve modeli eğitimi taslağı iş akışlarınızla kullanabilirsiniz.
Bu özellik, Amazon SageMaker HyperPod'un desteklendiği tüm AWS Bölgelerinde EKS düzenleyicisini kullanan SageMaker HyperPod kümeleri için mevcuttur. Daha fazla bilgi edinmek için HyperPod'da çıkarım için veri yakalama sayfasına bakın.