Amazon Bedrock prend désormais en charge l'inférence interrégionale
Amazon Bedrock annonce aujourd'hui la prise en charge de l'inférence interrégionale, une fonctionnalité optionnelle qui permet aux développeurs de gérer de manière fluide les pics de trafic en utilisant le calcul dans différentes régions AWS. En utilisant l'inférence interrégionale, les clients de Bedrock utilisant le mode à la demande pourront obtenir des limites de débit plus élevées (jusqu'à deux fois les quotas régionaux qui leur sont alloués) et une résilience accrue pendant les périodes de pointe de demande. En s'inscrivant, les développeurs n'ont plus à consacrer du temps et des efforts à prévoir les fluctuations de la demande. Au contraire, l'inférence interrégionale achemine le trafic de manière dynamique entre plusieurs régions, garantissant une disponibilité optimale pour chaque demande et des performances plus fluides pendant les périodes de forte utilisation.
Les clients peuvent contrôler l'endroit où leurs données d'inférence circulent en choisissant parmi un ensemble prédéfini de régions, ce qui les aide à se conformer aux exigences de résidence des données et aux lois de souveraineté applicables. De plus, cette fonctionnalité donne la priorité à la région source de l'API Bedrock connectée lorsque cela est possible, ce qui permet de minimiser la latence et d'améliorer la réactivité. Les clients peuvent ainsi améliorer la fiabilité, les performances et l'efficacité de leurs applications.
L'utilisation de l'inférence interrégionale n'entraîne aucun coût de routage supplémentaire, et vous serez facturé en fonction de la région dans laquelle vous avez fait la demande (région source). Vous trouverez la liste des modèles pris en charge et des régions prédéfinies ici. Pour en savoir plus sur cette fonctionnalité et savoir comment démarrer, consultez la documentation relative à Amazon Bedrock ou ce blog.