Amazon Bedrock 以按需推理价格的 50% 为批量推理提供精选基础模型

发布于: 2024年8月21日

去年，我们在预览版中推出了对批量推理的支持，允许您批量处理提示，以获得模型评估、试验和离线处理的响应。即日起，Amazon Bedrock 支持批量推理，在所有支持的 AWS 区域面向支持的模型全面推出。使用批量推理可异步运行多个推理请求，并提高模型推理在大型数据集上的性能。Amazon Bedrock 提供了来自领先 AI 提供商（如 Anthropic、Meta、Mistral AI 和 Amazon）的精选基础模型 (FM) 进行批量推理，价格为按需推理定价的 50%。批量推理的完成时间取决于各种因素（例如作业规模），但预计在 24 小时内完成典型作业。您可以在我们的批量推理文档中了解更多信息，也可以参考我们的 API 参考文档。

Amazon Bedrock 是一项完全托管式服务，可通过单个 API 选择来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型 (FM)。Amazon Bedrock 还提供了客户构建内置安全性、隐私性和负责任的人工智能的生成式人工智能应用程序所需的大量功能。这些功能可帮助您为不同行业的多个应用场景构建量身定制的应用程序，帮助组织在维护客户信任和数据治理的同时，通过生成式人工智能实现可持续增长。

要了解有关 Amazon Bedrock 的更多信息，请访问 Amazon Bedrock 页面，并参阅 Amazon Bedrock 文档以了解更多详细信息。