Die Count Tokens API wird nun für die Claude-Modelle von Anthropic in Amazon Bedrock unterstützt
Die Count Tokens API ist nun in Amazon Bedrock verfügbar. Damit können Sie die Tokenanzahl für einen bestimmten Prompt oder eine bestimmte Eingabe, die an eine bestimmte Modell-ID gesendet wird, ermitteln, bevor Sie eine Inferenz durchführen.
Durch die Anzeige der Token-Anzahl eines Prompts ermöglicht Ihnen die Count Tokens API eine genauere Kostenprognose und bietet Ihnen mehr Transparenz und Kontrolle über die Nutzung Ihres KI-Modells. Damit können Sie Ihre Token-Limits auf Amazon Bedrock proaktiv verwalten, was zur Optimierung Ihrer Nutzung beiträgt und unerwartete Drosselungen verhindert. Dies trägt auch dazu bei, dass Ihre Workload innerhalb der Kontextlängenbeschränkung eines Modells bleiben, was eine effizientere Optimierung des Prompt ermöglicht.
Bei der Einführung wird die Count Tokens API Claude-Modelle unterstützen, wobei die Funktionalität in allen Regionen verfügbar ist, in denen diese Modelle unterstützt werden. Weitere Informationen zu dieser neuen Funktion, einschließlich der unterstützten Modelle und Anwendungsfälle, finden Sie in der Dokumentation zur Count Tokens API.