Amazon Bedrock artık Anthropic Claude Sonnet 4 ve OpenAI GPT-OSS modelleri için toplu çıkarımı destekliyor
Anthropic'in Claude Sonnet 4 ve OpenAI'nin GPT-OSS 120B ve 20B modelleri artık Amazon Bedrock'ta toplu çıkarım için kullanılabilir. Toplu çıkarım ile birden çok çıkarım isteğini zaman uyumsuz olarak çalıştırabilirsiniz. Böylece, isteğe bağlı çıkarım fiyatının %50'siyle büyük veri kümelerinde performansı artırabilirsiniz. Amazon Bedrock, toplu çıkarım için Anthropic, OpenAI, Meta ve Amazon gibi önde gelen yapay zeka sağlayıcılarından seçkin altyapı modelleri (FM'ler) sunar. Bu altyapı modelleri, yüksek hacimli iş yüklerini işlemeyi daha kolay ve daha uygun maliyetli hale getirir.
Claude Sonnet 4 ve OpenAI GPT-OSS modellerinde toplu çıkarım ile; belge veya geri bildirim analizi gibi durumlar için büyük veri kümelerini işleyebilirsiniz, toplu içerik oluşturabilirsiniz (ör. pazarlama kopyası, ürün açıklamaları), büyük ölçekte komut veya çıktı değerlendirmsi yapabilirsiniz, bilgi tabanlarının ve arşivlerin otomatik özetini çıkarabilirsiniz, destek ticketları ve e-postaları toplu sınıflandırabilirsiniz ve yapılandırılmamış veriden yapılandırılmış veriyi çıkartabilirsiniz, hem de uygun ölçekte ve daha düşük maliyetlerle. Toplu tekliflerimizi, bu yeni modellerde öncekilere kıyasla daha yüksek genel toplu iş verimi sunmak için optimize ettik. Buna ek olarak, artık Amazon CloudWatch metrikleriyle Batch iş yükü ilerlemenizi AWS hesabı düzeyinde takip edebilirsiniz. Tüm modellerde toplam bekleyen kayıtları, işlenmiş kayıtlar ve dakika başına belirteç için metrikler bulunmaktadır. Claude modellerinde ayrıca bekleyen belirteç işleme metrikleri de bulunur.
Amazon Bedrock'ta Toplu çıkarım hakkında daha fazla bilgi edinmek için Toplu çıkarım belgelerini ziyaret edin. Desteklenen modeller hakkında daha fazla ayrıntı için Desteklenen Bölgeler ve toplu çıkarım modelleri sayfasını ziyaret edebilir ve toplu çıkarımı kullanmaya başlamak için Amazon Bedrock API referansını takip edebilirsiniz.