Amazon Bedrock annonce la mise en cache des invites en version préliminaire
AWS annonce aujourd'hui qu'Amazon Bedrock prend désormais en charge la mise en cache des invites. La mise en cache des invites est une nouvelle fonctionnalité qui permet de réduire les coûts jusqu'à 90 % et la latence jusqu'à 85 % pour les modèles pris en charge en mettant en cache les invites fréquemment utilisées lors de plusieurs appels d'API. Elle vous permet de mettre en cache des entrées répétitives et d'éviter le retraitement du contexte, comme les longues invites système et les exemples courants, qui aident à orienter la réponse du modèle. Lorsque le cache est utilisé, une sortie peut être générée sans autant de ressources informatiques. Ainsi, non seulement nous pouvons traiter votre requête plus rapidement, mais nous pouvons également vous faire bénéficier des économies réalisées grâce à la réduction des ressources.
Amazon Bedrock est un service entièrement géré, qui propose un choix de modèles de fondation (FM) hautement performants issus de grandes sociétés d’IA via une API unique. Amazon Bedrock fournit également un large éventail de fonctionnalités dont les clients ont besoin pour créer des applications d'IA générative sécurisées, respectueuses de la confidentialité et dotées de fonctionnalités d’intelligence artificielle responsable. Ces fonctionnalités vous aident à créer des applications personnalisées pour de multiples cas d'utilisation dans différents secteurs, aidant ainsi les organisations à atteindre une croissance durable grâce à l'IA générative tout en fournissant des outils pour renforcer la confiance des clients et la gouvernance des données.
La mise en cache des invites est désormais disponible sur Claude 3.5 Haiku et Claude 3.5 Sonnet v2 dans les régions USA Ouest (Oregon) et USA Est (Virginie du Nord) par inférence entre régions, et sur les modèles Nova Micro, Nova Lite et Nova Pro dans la région USA Est (Virginie du Nord). Au lancement, seul un certain nombre de clients auront accès à cette fonctionnalité. Pour en savoir plus sur la participation à la version préliminaire, consultez cette page. Pour en savoir plus sur la mise en cache des invites, consultez notre documentation et notre blog.