Amazon Bedrock prend désormais en charge l'inférence par lots pour les modèles Claude Sonnet 4 d’Anthropic et GPT-OSS d’OpenAI
Les modèles Claude Sonnet 4 d'Anthropic et GPT-OSS 120B et 20B d'OpenAI sont désormais disponibles pour l'inférence par lots dans Amazon Bedrock. Grâce à l'inférence par lots, vous pouvez exécuter plusieurs demandes d'inférence de manière asynchrone, améliorant ainsi les performances sur de grands jeux de données à 50 % du prix de l'inférence à la demande. Amazon Bedrock propose une sélection de modèles de fondation (FM) provenant de fournisseurs d'IA de premier plan tels qu'Anthropic, OpenAI, Meta et Amazon pour l'inférence par lots, ce qui permet de traiter des charges de travail volumineuses de manière plus simple et plus rentable.
Grâce à l'inférence par lots sur les modèles Claude Sonnet 4 et OpenAI GPT-OSS, vous pouvez traiter de grands jeux de données pour des scénarios tels que l'analyse de documents et de commentaires clients, la génération de contenu en masse (p. ex., des textes marketing, des descriptions de produits), des évaluations de sortie ou d’invites à grande échelle, la synthèse automatisée des bases de connaissances et des archives, la catégorisation en masse des tickets d'assistance ou des e-mails et l'extraction de données structurées à partir de texte non structuré, à grande échelle et à moindre coût. Nous avons optimisé notre offre de traitement par lots afin d'offrir un débit de traitement par lots global plus élevé sur ces nouveaux modèles par rapport aux modèles précédents. En outre, vous pouvez désormais suivre la progression de votre charge de travail par lots au niveau du compte AWS grâce aux métriques Amazon CloudWatch. Pour tous les modèles, ces mesures incluent le total des enregistrements en attente, les enregistrements traités et les jetons par minute, et pour les modèles Claude, elles incluent également les jetons en attente de traitement.
Pour en savoir plus sur l'inférence par lots dans Amazon Bedrock, consultez la documentation sur l'inférence par lots. Vous pouvez consulter la page Régions et modèles pris en charge pour l'inférence par lots pour en savoir plus sur les modèles pris en charge et suivre la référence de l'API Amazon Bedrock pour commencer à utiliser l'inférence par lots.