Amazon Bedrock oferece FMs selecionados para inferência em lotes por 50% do preço da inferência sob demanda
No ano passado, apresentamos a pré-visualização do suporte para inferência em lotes, permitindo que você processe prompts em lotes para obter respostas de avaliação, experimentação e processamento offline de modelos. A partir de hoje, o Amazon Bedrock oferece suporte à inferência em lotes, disponível ao público em geral em todas as regiões da AWS e modelos com suporte. Use a inferência em lotes para executar várias solicitações de inferência de forma assíncrona e melhorar a performance da inferência de modelos em grandes conjuntos de dados. O Amazon Bedrock oferece modelos de base (FMs) selecionados dos principais fornecedores de IA, como Anthropic, Meta, Mistral AI e Amazon, para inferência em lote por 50% dos preços da inferência sob demanda. O tempo de conclusão da inferência em lotes depende de vários fatores, como o tamanho do trabalho, mas você pode esperar um prazo de conclusão de 24 horas para trabalhos típicos. Você pode saber mais em nossa documentação de inferência em lotes e consultar nossa documentação de referência de API.
O Amazon Bedrock é um serviço totalmente gerenciado que oferece uma variedade de modelos de base (FMs) de alta performance das principais empresas de IA, como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI e Amazon por meio de uma única API. Além disso, o Amazon Bedrock oferece um amplo conjunto de recursos necessários para que os clientes criem aplicações de IA generativa que incorporam segurança, privacidade e IA responsável. Esses recursos ajudam você a criar aplicações personalizadas para vários casos de uso em diferentes setores, ajudando as organizações a desbloquear o crescimento sustentado da IA generativa e, ao mesmo tempo, garantir a confiança do cliente e a governança dos dados.
Para obter mais informações sobre o Amazon Bedrock, acesse a página do Amazon Bedrock e consulte a documentação do Amazon Bedrock para obter mais detalhes.