Perguntas frequentes sobre o Amazon Bedrock

Geral

O Amazon Bedrock é um serviço totalmente gerenciado que oferece uma variedade de modelos de base (FMs) de alta performance, juntamente com um amplo conjunto de recursos necessários para criar aplicações de IA generativa, simplificando o desenvolvimento com segurança, privacidade e IA responsável. Com os recursos abrangentes do Amazon Bedrock, você pode experimentar facilmente vários dos principais FMs, personalizá-los de forma privada com seus próprios dados usando técnicas como ajuste fino e geração aumentada de recuperação (RAG) e criar agentes gerenciados para executar tarefas comerciais complexas, desde reservar viagens e processar pedidos de seguro até criar campanhas publicitárias e gerenciar inventários, tudo isso sem precisar escrever código. Como o Amazon Bedrock usa tecnologia sem servidor, você não precisa gerenciar nenhuma infraestrutura e pode integrar e implantar com segurança recursos de IA generativa em suas aplicações usando os serviços da AWS que já conhece.

Os clientes do Amazon Bedrock podem escolher entre alguns dos FMs mais avançados disponíveis atualmente. Isso inclui Claude da Anthropic, Jurassic-2 da AI21 Labs, Stable Diffusion da Stability AI, Command e Embed da Cohere, Llama 2 da Meta e a linguagem e os modelos de incorporação do Amazon Titan.

Há cinco motivos para usar o Amazon Bedrock para criar aplicações de IA generativa.

  • Escolha de modelos de base das principais empresas: o Amazon Bedrock oferece uma experiência de desenvolvedor fácil de usar para que você trabalhe com uma ampla gama de FMs de alta performance da Amazon e das principais empresas de IA, como AI21 Labs, Anthropic, Cohere, Meta e Stability AI. Você pode experimentar rapidamente vários FMs na área de testes e usar uma única API para inferência, qualquer que seja o modelo escolhido. Assim, você tem a flexibilidade de usar FMs de diferentes fornecedores e ficar a par das versões mais recentes do modelo com o mínimo de alterações no código.
  • Fácil personalização do modelo com seus dados: personalize FMs de forma privada com seus próprios dados em uma interface visual sem precisar escrever código. Basta selecionar os conjuntos de dados de treinamento e validação armazenados no Amazon Simple Storage Service (Amazon S3) e, se necessário, ajustar os hiperparâmetros para obter o melhor desempenho possível do modelo.
  • Agentes totalmente gerenciados que invocam APIs dinamicamente para executar tarefas: crie agentes para executar tarefas comerciais complexas, desde reservar viagens e processar pedidos de seguro até criar campanhas publicitárias, preparar declarações de imposto e gerenciar inventários, chamando dinamicamente os sistemas e as APIs de sua empresa. Os atendentes totalmente gerenciados do Amazon Bedrock ampliam as capacidades de raciocínio dos FMs para detalhar tarefas e criar e executar um plano de orquestração.
  • Suporte nativo para RAG para ampliar o poder dos FMs com dados proprietários: com as bases de conhecimento do Amazon Bedrock, você pode conectar com segurança os FMs às suas fontes de dados para aumentar a recuperação dentro do serviço gerenciado, ampliando os recursos já poderosos do FM e aprofundando o conhecimento do modelo sobre seu domínio e sua organização.
  • Certificações de segurança e conformidade de dados: o Amazon Bedrock oferece vários recursos para atender aos requisitos de segurança e privacidade. O Bedrock está no escopo de padrões de conformidade comuns elegíveis, como o Service Organization Controls (SOC), a Organização Internacional para Padronização (ISO) e a Lei de portabilidade e responsabilidade de provedores de saúde dos EUA (HIPAA), e os clientes podem usar o Bedrock em conformidade com o Regulamento Geral sobre a Proteção de Dados (GDPR). O Amazon Bedrock tem a certificação CSA Security Trust Assurance and Risk (STAR) de nível 2, que valida o uso de práticas recomendadas e a postura de segurança das ofertas de nuvem AWS. Com o Amazon Bedrock, seu conteúdo não é usado para melhorar os modelos de base e não é compartilhado com outros provedores de modelos. Seus dados no Amazon Bedrock são sempre criptografados em trânsito e em repouso, e, se desejar, você pode usar suas próprias chaves para a criptografia. Você pode usar o AWS PrivateLink com o Amazon Bedrock para estabelecer uma conexão privada entre os FMs e a Amazon Virtual Private Cloud (Amazon VPC) sem expor o tráfego à Internet.

Com a experiência sem servidor do Amazon Bedrock, você pode começar rapidamente. Navegue até o Amazon Bedrock no console da AWS e experimente os FMs no playground. Você também pode criar um agente e testá-lo no console. Depois de identificar seu caso de uso, você pode integrar facilmente os FMs às suas aplicações usando as ferramentas da AWS, sem precisar gerenciar nenhuma infraestrutura.

O Amazon Bedrock utiliza o AWS Lambda para invocar ações, o Amazon S3 para dados de treinamento e validação e o Amazon CloudWatch para monitorar métricas.

Você pode começar com casos de uso rapidamente

  • Crie novos conteúdos originais, como histórias curtas, ensaios, publicações em redes sociais e textos de páginas da Web.
  • Pesquise, encontre e sintetize informações para responder a perguntas com base em um amplo conjunto de dados.
  • Crie imagens realistas e artísticas de vários objetos, ambientes e cenas a partir de instruções de linguagem.
  • Ajude os clientes a encontrar o que estão procurando com recomendações de produtos mais relevantes e contextuais do que a correspondência de palavras.
  • Obtenha um resumo do conteúdo textual, como artigos, postagens de blog, livros e documentos, para conhecer a essência sem precisar ler o conteúdo completo.

Explore mais casos de uso de IA generativa aqui.

O Amazon Bedrock oferece um playground que permite testar vários FMs usando uma interface de bate-papo conversacional. Você pode fornecer um prompt e usar uma interface Web dentro do Console de Gerenciamento da AWS para fornecer um prompt e usar os modelos pré-treinados para gerar texto ou imagens ou, alternativamente, usar um modelo ajustado que tenha sido adaptado para seu caso de uso.

Para obter uma lista das regiões da AWS nas quais o Amazon Bedrock está disponível, consulte Endpoints e cotas do Amazon Bedrock, no Guia de referência do Amazon Bedrock.

Você pode ajustar FMs facilmente no Amazon Bedrock. Para começar, forneça o conjunto de dados de treinamento e validação, configure hiperparâmetros (epochs, tamanho do lote, taxa de aprendizado, etapas de aquecimento) e envie o trabalho. Em algumas horas, seu modelo ajustado pode ser acessado com a mesma API (InvokeModel).

O Amazon Bedrock é um serviço gerenciado que você pode usar para acessar modelos de base. Você pode ajustar um modelo e usá-lo com a API do Amazon Bedrock.

Atendentes

Os agentes do Amazon Bedrock são recursos totalmente gerenciados que facilitam aos desenvolvedores a criação de aplicações baseadas em IA generativa que podem concluir tarefas complexas para uma ampla variedade de casos de uso e fornecer respostas atualizadas com base em fontes de conhecimento patenteadas. Com apenas alguns cliques, os Agents for Amazon Bedrock dividem automaticamente as tarefas e criam um plano de orquestração, sem nenhuma codificação manual. O agente se conecta com segurança aos dados da empresa por meio de uma API, convertendo automaticamente os dados em um formato legível por máquina e aumentando a solicitação com informações relevantes para gerar a resposta mais precisa. Os agentes podem então chamar automaticamente as APIs para atender à solicitação do usuário. Por exemplo, uma empresa de manufatura pode querer desenvolver uma aplicação de IA generativa que automatize o rastreamento de níveis de estoque, dados de vendas e informações da cadeia de suprimentos e possa recomendar quantidades e pontos de reordenamento ideais para maximizar a eficiência. Como recursos totalmente gerenciados, os Agents for Amazon Bedrock eliminam o esforço indiferenciado de gerenciar a integração do sistema e o provisionamento da infraestrutura, permitindo que os desenvolvedores usem a IA generativa em toda a organização.

Você pode conectar FMs com segurança às fontes de dados da empresa usando Agents for Amazon Bedrock. Com uma base de conhecimento, você pode usar agentes para dar aos FMs do Amazon Bedrock acesso a dados adicionais que ajudam o modelo a gerar respostas mais relevantes, específicas ao contexto e precisas sem treinar continuamente esses FMs. Com base nas informações do usuário, os agentes identificam a base de conhecimento apropriada, recuperam as informações relevantes e adicionam as informações ao prompt de entrada, fornecendo ao modelo mais informações de contexto para gerar uma conclusão.

Os agentes do Amazon Bedrock podem ajudar você a aumentar a produtividade, melhorar sua experiência de atendimento ao cliente ou automatizar tarefas de DevOps.

Com agentes, os desenvolvedores têm suporte contínuo para monitoramento, criptografia, permissões de usuário e gerenciamento de invocações de API sem escrever código personalizado. Os agentes do Amazon Bedrock automatizam a engenharia de prompts e a orquestração de tarefas solicitadas pelos usuários. Os desenvolvedores podem usar o modelo de prompt criado pelo agente como base para refiná-lo ainda mais e garantir uma experiência aprimorada para os usuários. Eles podem atualizar a entrada do usuário, o plano de orquestração e a resposta do FM. Com acesso ao modelo de prompt, os desenvolvedores têm melhor controle sobre a orquestração do agente.

Com agentes totalmente gerenciados, você não precisa se preocupar em provisionar ou gerenciar a infraestrutura e pode levar as aplicações à produção mais rapidamente.

Segurança

Qualquer conteúdo de cliente processado pelo Amazon Bedrock é criptografado e armazenado em repouso na região da AWS na qual você está usando o Amazon Bedrock.

Não. As entradas de usuários e as saídas de modelos não são compartilhadas com outros provedores de modelos.

O Amazon Bedrock oferece vários recursos para dar suporte a requisitos de segurança e privacidade. O Bedrock está no escopo de padrões de conformidade comuns elegíveis, como o Service Organization Controls (SOC), a Organização Internacional para Padronização (ISO) e a Lei de portabilidade e responsabilidade de provedores de saúde dos EUA (HIPAA), e os clientes podem usar o Bedrock em conformidade com o Regulamento Geral sobre a Proteção de Dados (GDPR). O Amazon Bedrock está incluído no escopo dos relatórios SOC 1, 2 e 3, permitindo que os clientes obtenham insights sobre nossos controles de segurança. Demonstramos a conformidade por meio de auditorias abrangentes de terceiros sobre os controles da AWS. O Amazon Bedrock é um dos serviços da AWS em conformidade com as seguintes normas ISO: ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 e ISO 20000. O Amazon Bedrock tem a certificação CSA Security Trust Assurance and Risk (STAR) de nível 2, que valida o uso de práticas recomendadas e a postura de segurança das ofertas de nuvem AWS. Com o Amazon Bedrock, seu conteúdo não é usado para melhorar os modelos de base e não é compartilhado com outros provedores de modelos. Você pode usar o AWS PrivateLink para estabelecer conectividade privada da nuvem privada virtual (VPC) com o Amazon Bedrock, sem precisar expor os dados ao tráfego da Internet.

 

Não, a AWS e fornecedores terceirizados de modelos não usarão nenhuma entrada ou saída do Bedrock para treinar o Amazon Titan ou qualquer modelo de terceiros.

SDK

O Amazon Bedrock é compatível com SDKs para serviços de runtime. Os SDKs do iOS e do Android, bem como Java, JS, Python, CLI, .Net, Ruby, PHP, Go e CPP, oferecem suporte à entrada de texto e fala.

O streaming é compatível com todos os SDKs.

Cobrança e suporte

Consulte a Página de preços do Amazon Bedrock para obter informações atuais sobre preços.

Dependendo do contrato com o AWS Support, o Amazon Bedrock recebe suporte nos planos Developer Support, Business Support e Enterprise Support.

Você pode usar métricas do CloudWatch para rastrear tokens de entrada e saída.

Personalização

Lançamos o pré-treinamento contínuo para os modelos Titan Text Express e Titan no Amazon Bedrock; isso permitirá que você continue o pré-treinamento em um modelo de base do Titan usando grandes volumes de dados não rotulados. Esse tipo de treinamento adaptará o modelo de um corpus de domínio geral para um corpus de domínio mais específico, como médico, jurídico, financeiro etc., mas preservando a maioria dos recursos do modelo de base do Titan. 

Normalmente, as empresas querem criar modelos para tarefas em um domínio específico. Os modelos de base talvez não sejam treinados no jargão técnico usado nesse domínio específico. Portanto, o ajuste direto do modelo de base exigirá grandes volumes de registros rotulados e um treinamento muito longo para obter resultados precisos. Para aliviar essa carga, o cliente pode, em vez disso, fornecer grandes volumes de dados não rotulados para um trabalho de pré-treinamento contínuo. Esse trabalho adaptará o modelo de base do Titan ao novo domínio. Assim, o cliente pode ajustar o modelo personalizado que acabou de ser pré-treinado para tarefas downstream usando registros de treinamento com um número significativamente menor de rótulos e um tempo de treinamento reduzido. 

O pré-treinamento contínuo (CPT) e o ajuste fino (FT) do Bedrock têm requisitos muito semelhantes. Por esse motivo, estamos optando por criar APIs unificadas compatíveis com CPT e FT. A unificação das APIs reduz a curva de aprendizado e ajudará os clientes a usar recursos padrão, como o CloudWatch Event Bridge para rastrear trabalhos de longa duração, integração com o S3 para buscar dados de treinamento, tags de recursos e criptografia de modelos. 

O pré-treinamento contínuo ajuda você a adaptar facilmente os modelos do Titan aos dados específicos do domínio, preservando a funcionalidade básica dos modelos do Titan. Para criar um trabalho de pré-treinamento contínuo, navegue até o console do Bedrock e clique em “Modelos personalizados”. Navegue até a página do modelo personalizado que tem duas guias: Modelos e Trabalhos de treinamento. Essas duas guias têm uma lista suspensa à direita chamada “Personalizar modelo”. Selecione “Pré-treinamento contínuo” no menu suspenso Personalizar modelo para navegar até a tela “Criar trabalho de pré-treinamento contínuo”. Você fornecerá o modelo de origem, o nome, a criptografia do modelo, os dados de entrada, os hiperparâmetros e os dados de saída. Além disso, você pode fornecer tags junto com detalhes sobre perfis do IAM e políticas de recursos para o trabalho.

Amazon Titan

Exclusiva do Amazon Bedrock, a família de modelos do Amazon Titan incorpora os 25 anos de experiência da Amazon inovando com IA e machine learning em todos os setores da empresa. Os modelos de base (FMs) do Amazon Titan oferecem aos clientes uma variedade de opções de modelos de imagem, multimodais e de texto de alta performance, por meio de uma API totalmente gerenciada. Os modelos do Amazon Titan são criados pela AWS e pré-treinados em grandes conjuntos de dados, o que os torna avançados e prontos para uso geral, criados para dar suporte a uma variedade de casos de uso, além de apoiar o uso responsável da IA. Use-os como estão ou personalize-os de forma privada com seus próprios dados.

Para saber mais sobre dados processados para desenvolver e treinar FMs do Amazon Titan, visite a página Amazon Titan Model Training & Privacy.

Geração aumentada de recuperação (RAG)

Os formatos de dados compatíveis incluem arquivos .pdf, .txt, .md, .html, .doc e .docx, .csv, .xls e .xlsx. Os arquivos devem ser carregados para o Amazon S3. Basta apontar para a localização de seus dados no Amazon S3 e as bases de conhecimento do Amazon Bedrock cuidarão de todo o fluxo de trabalho de ingestão em seu banco de dados de vetores.

O Knowledge Bases for Amazon Bedrock oferece três opções para dividir o texto em blocos antes de convertê-lo em incorporações. 

1.  Opção padrão: o Knowledge Bases for Amazon Bedrock divide automaticamente o documento em blocos, cada um contendo 200 tokens, para garantir que uma frase não seja quebrada no meio. Se um documento contiver menos de 200 tokens, ele não será mais dividido. Uma sobreposição de 20% de tokens é mantida entre dois blocos consecutivos.

2.  Divisão em blocos de tamanho fixo: nessa opção, você pode especificar o número máximo de tokens por bloco e a porcentagem de sobreposição entre os blocos para que o Knowledge Bases for Amazon Bedrock divida automaticamente o documento em blocos, para garantir que uma frase não seja quebrada no meio. 

3.  Opção de criar uma incorporação por documento: o Amazon Bedrock cria uma incorporação por documento. Essa opção é adequada se você pré-processou os documentos dividindo-os em arquivos separados e não deseja que o Bedrock os fragmente ainda mais.
 

Atualmente, o Knowledge Bases for Amazon Bedrock usa a versão mais recente do modelo Titan Text Embeddings disponível no Amazon Bedrock. O modelo Titan Text Embeddings é compatível com tokens de 8K e mais de 25 idiomas e cria uma incorporação de 1.536 dimensões. 

O Knowledge Bases for Amazon Bedrock cuida de todo o fluxo de trabalho de ingestão, convertendo os documentos em incorporações (vetoriais) e armazenando as incorporações em um banco de dados de vetores especializado. O Knowledge Bases for Amazon Bedrock oferece suporte a bancos de dados populares para armazenamento vetorial, incluindo mecanismo de pesquisa vetorial para Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (em breve) e MongoDB (em breve). Se você não tiver um banco de dados de vetores existente, o Amazon Bedrock criará um armazenamento vetorial do Amazon OpenSearch Sem Servidor para você.

Dependendo do caso de uso, você pode usar o Amazon EventBridge para criar uma sincronização periódica ou orientada a eventos entre o Amazon S3 e o Knowledge Bases for Amazon Bedrock.

Avaliação de modelo

A avaliação de modelo no Amazon Bedrock permite avaliar, comparar e selecionar os melhores modelos de base para seu caso de uso, com apenas alguns cliques. O Amazon Bedrock oferece a opção entre avaliação automática e avaliação humana. Você pode usar a avaliação automática com métricas predefinidas, como precisão, robustez e toxicidade. Você pode usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, estilo e alinhamento com o tom de voz da marca. Para a avaliação humana, é possível aproveitar seus próprios funcionários ou uma equipe gerenciada pela AWS como revisores. A avaliação do modelo fornece conjuntos de dados selecionados integrados, ou você pode trazer seus próprios conjuntos de dados.

Você pode analisar uma variedade de métricas predefinidas, como precisão, robustez e toxicidade, usando avaliações automáticas. Também é possível usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, relevância, estilo e alinhamento com o tom de voz da marca.

As avaliações automáticas permitem que você reduza rapidamente a lista de FMs disponíveis em relação aos critérios padrão (como precisão, toxicidade e robustez). As avaliações humanas são frequentemente usadas para avaliar critérios mais sutis ou subjetivos que exigem julgamento humano e nos casos para os quais talvez não existam avaliações automáticas (como tom de voz da marca, intenção criativa, simpatia).

Você pode avaliar rapidamente os modelos do Bedrock para métricas como precisão, robustez e toxicidade, aproveitando conjuntos de dados integrados selecionados ou trazendo conjuntos de dados de prompts próprios. Depois que os conjuntos de dados de prompts são enviados aos modelos do Amazon Bedrock para inferência, as respostas do modelo são pontuadas com algoritmos de avaliação para cada dimensão. O mecanismo de back-end agrega pontuações individuais de resposta rápida em pontuações resumidas e as apresenta por meio de relatórios visuais fáceis de entender.

O Amazon Bedrock permite que você configure fluxos de trabalho de revisão humana com alguns cliques e aproveite os funcionários internos ou utilize uma equipe especializada gerenciada pela AWS para avaliar modelos. Por meio da interface intuitiva do Amazon Bedrock, as pessoas podem revisar e dar feedback sobre as respostas do modelo clicando nos polegares para cima/para baixo, avaliando em uma escala de 1 a 5, escolhendo a melhor das várias respostas ou classificando os prompts. Por exemplo, um membro da equipe pode ver como dois modelos respondem ao mesmo prompt e, em seguida, ser solicitado a selecionar o modelo que mostra resultados mais precisos, relevantes ou estilísticos. É possível especificar os critérios de avaliação que são mais importantes para você simplesmente personalizando as instruções e os botões que aparecerão na interface do usuário de avaliação da equipe. Você também pode fornecer instruções detalhadas com exemplos e o objetivo geral da avaliação do modelo, para alinhar o trabalho de maneira adequada. Esse método é útil para avaliar critérios subjetivos que exigem julgamento humano ou conhecimentos mais diferenciados no assunto e não podem ser facilmente julgados por avaliações automáticas.

IA responsável

Com o Guardrails for Amazon Bedrock você pode implementar proteções para as aplicações de IA generativa com base em casos de uso e políticas de IA responsáveis. O Guardrails ajuda a controlar a interação entre usuários e modelos de base (FMs) filtrando conteúdo indesejável e prejudicial e, em breve, ocultará informações de identificação pessoal (PII), aprimorando a segurança e a privacidade do conteúdo nas aplicações de IA generativa. Você pode criar várias barreiras de proteção com diferentes configurações personalizadas para casos de uso específicos. Além disso, é possível monitorar e analisar continuamente entradas de usuários e respostas de FMs que possam violar políticas definidas pelo cliente nas barreiras de proteção.

O Guardrails permite que os clientes definam um conjunto de políticas para ajudar a proteger as aplicações de IA generativa. Em uma barreira de proteção, é possível configurar as políticas a seguir.

  • Tópicos negados: você pode definir um conjunto de tópicos que não são desejáveis no contexto da aplicação. Por exemplo, um assistente de serviços bancários on-line pode ser projetado para evitar consultorias de investimento.
  • Filtros de conteúdo: você pode configurar limites para filtrar conteúdo nocivo nas categorias de ódio, insultos, teor sexual e violência.
  • Filtros de palavras (em breve): você pode definir um conjunto de palavras para bloquear nas entradas de usuário e nas respostas geradas pelo FM.
  • Ocultação de PII (em breve): você pode selecionar um conjunto de PII que pode ser ocultado em respostas geradas pelo FM. Com base no caso de uso, você também pode bloquear uma entrada de usuário se ela contiver PII.

As barreiras de proteção podem ser usadas com todos os grandes modelos de linguagem disponíveis no Amazon Bedrock, incluindo os FMs do Titan, do Claude da Anthropic, do Llama 2 da Meta, do Jurassic da AI21 e do Command da Cohere. Ele também pode ser usado com FMs aprimorados, bem como com o Agents for Amazon Bedrock.