Knowledge Base per Amazon Bedrock ora supportano l'inferenza interregionale
Knowledge Bases per Amazon Bedrock presente il supporto per l'inferenza interregionale, una funzionalità facoltativa che consente agli sviluppatori di gestire in modo efficiente i picchi di traffico utilizzando le risorse di calcolo disponibili in diverse regioni AWS.
Utilizzando l'inferenza interregionale, i clienti di Knowledge Base per Amazon Bedrock che utilizzano l'API RetrieveAndGenerate saranno in grado di ottenere limiti di throughput più elevati e una maggiore resilienza durante i picchi della domanda. Attivando questa funzione, gli sviluppatori possono evitare di dedicare tempo e risorse alla previsione delle fluttuazioni della domanda. L'inferenza interregionale, invece, distribuisce automaticamente il traffico tra più regioni, garantendo la massima disponibilità per ogni richiesta e un'esperienza più fluida durante i picchi di utilizzo. Per utilizzare l'inferenza interregionale, i clienti devono specificare un profilo di inferenza, ad esempio "modelARN", nella richiesta dell'API RetrieveAndGenerate. L'uso dell'inferenza interregionale non comporta costi di instradamento aggiuntivi e l'addebito verrà effettuato in base alla regione da cui è stata originata la richiesta (regione sorgente).
L'elenco dei modelli supportati e delle regioni predefinite è disponibile qui. Per ulteriori informazioni sulla funzionalità e su come iniziare, consulta la documentazione di Amazon Bedrock o questo blog.