L'API di conteggio token è ora supportata per i modelli Claude di Anthropic in Amazon Bedrock
L'API di conteggio token è ora disponibile in Amazon Bedrock, consentendo di determinare il numero di token per un prompt o input specifico da inviare a un determinato ID modello prima di eseguire operazioni di inferenza.
Fornendo il conteggio dei token di un prompt, l'API di conteggio token consente di stimare con maggiore precisione i costi e offre una trasparenza e un controllo più elevati sull'utilizzo dei modelli IA. Consente di gestire in modo proattivo i limiti di token su Amazon Bedrock, contribuendo a ottimizzare l'utilizzo ed evitare limitazioni impreviste della velocità di elaborazione. Inoltre, aiuta a garantire che i carichi di lavoro rientrino nei limiti di lunghezza del contesto del modello, consentendo un'ottimizzazione più efficiente dei prompt.
Al momento del lancio l'API di conteggio token supporterà i modelli Claude, con la funzionalità disponibile in tutte le regioni in cui tali modelli sono supportati. Per maggiori informazioni su questa nuova funzionalità, inclusi i modelli supportati e i casi d'uso, consulta la documentazione dell'API di conteggio token.