Amazon Bedrock Knowledge Bases prennent désormais en charge l'inférence interrégionale
Amazon Bedrock Knowledge Bases annonce la prise en charge de l'inférence interrégionale, une fonctionnalité optionnelle qui permet aux développeurs de gérer de manière fluide les pics de trafic en utilisant le calcul dans différentes régions AWS.
En utilisant l'inférence interrégionale, les clients Amazon Bedrock Knowledge Bases utilisant l'API RetrieveAndGenerate pourront obtenir des limites de débit plus élevées et une résilience accrue pendant les périodes de pointe de demande. En s'inscrivant, les développeurs n'ont plus à consacrer du temps et des efforts à prévoir les fluctuations de la demande. Au contraire, l'inférence interrégionale achemine le trafic de manière dynamique entre plusieurs régions, garantissant une disponibilité optimale pour chaque demande et des performances plus fluides pendant les périodes de forte utilisation. Pour utiliser l'inférence interrégionale, les clients doivent spécifier le profil d'inférence « modelARN » dans la demande de l'API RetrieveAndGenerate. L'utilisation de l'inférence interrégionale n'entraîne aucun coût de routage supplémentaire, et vous serez facturé en fonction de la région dans laquelle vous avez fait la demande (région source).
Vous trouverez la liste des modèles pris en charge et des régions prédéfinies ici. Pour en savoir plus sur cette fonctionnalité et savoir comment démarrer, consultez la documentation relative à Amazon Bedrock ou ce blog.