L'inférence par lots Amazon Bedrock prend désormais en charge le format d'API Converse
L'inférence par lots Amazon Bedrock prend désormais en charge l'API Converse en tant que type d'invocation de modèle, ce qui vous permet d'utiliser un format d'entrée cohérent et indépendant du modèle pour vos charges de travail par lots.
Auparavant, l'inférence par lots nécessitait des formats de demande spécifiques au modèle à l'aide de l'API InvokeModel. Désormais, lors de la création d'une tâche d'inférence par lots, vous pouvez sélectionner Converse comme type d'invocation du modèle et structurer vos données d'entrée à l'aide du format de demande d'API Converse standard. La sortie des tâches par lots Converse suit le format de réponse de l'API Converse. Grâce à cette fonctionnalité, vous pouvez utiliser le même format de demande unifié pour l'inférence par lots et en temps réel, ce qui simplifie la gestion des invites et réduit les efforts nécessaires pour passer d'un modèle à l'autre. Vous pouvez configurer le type d'invocation du modèle Converse via la console Amazon Bedrock et l'API.
Cette fonctionnalité est disponible dans toutes les Régions AWS qui prennent en charge l'inférence par lots Amazon Bedrock. Pour commencer, consultez les sections Créer une tâche d'inférence par lots et Formater et charger vos données d'inférence par lots dans le Guide de l'utilisateur Amazon Bedrock.