Amazon Bedrock propose des FM sélectionnés pour l'inférence par lots à 50 % du prix de l'inférence à la demande
L'année dernière, nous avons introduit la prise en charge de l'inférence par lots dans la version préliminaire, qui vous permettait de traiter les demandes par lots afin d’obtenir des réponses pour l'évaluation du modèle, l'expérimentation et le traitement hors ligne. À compter d'aujourd'hui, Amazon Bedrock prend en charge l'inférence par lots en général dans toutes les régions AWS prises en charge pour les modèles pris en charge. Utilisez l'inférence par lots pour exécuter plusieurs demandes d'inférence de manière asynchrone et améliorer les performances de l'inférence de modèles sur des jeux de données volumineux. Amazon Bedrock propose certains modèles de fondation (FM) provenant de principaux fournisseurs d'IA tels qu'Anthropic, Meta, Mistral AI et Amazon pour l'inférence par lots à 50 % du prix de l’inférence à la demande. Le délai d'exécution de l'inférence par lots dépend de divers facteurs tels que la taille de la tâche, mais vous pouvez vous attendre à un délai de réalisation d'un travail type sous 24 heures. Apprenez-en davantage dans notre documentation sur l'inférence par lots ou notre documentation de référence sur les API.
Amazon Bedrock est un service entièrement géré qui propose un choix de modèles de fondation (FM) très performants issus de grandes sociétés d'IA telles que AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon via une seule API. Amazon Bedrock fournit également un large éventail de fonctionnalités dont les clients ont besoin pour créer des applications d'IA générative sécurisées, respectueuses de la confidentialité et dotées d'une intelligence artificielle responsable. Ces fonctionnalités vous aident à créer des applications personnalisées pour de multiples cas d'utilisation dans différents secteurs, aidant ainsi les organisations à atteindre une croissance durable grâce à l'IA générative tout en garantissant la confiance des clients et la gouvernance des données.
Pour en savoir plus sur Amazon Bedrock, rendez-vous sur la page d’Amazon Bedrock et consultez la documentation relative à Amazon Bedrock.