Perguntas frequentes sobre o Amazon Bedrock

Os agentes do Amazon Bedrock são recursos totalmente gerenciados que facilitam aos desenvolvedores a criação de aplicações baseadas em IA generativa que podem concluir tarefas complexas para uma ampla variedade de casos de uso e fornecer respostas atualizadas com base em fontes de conhecimento patenteadas. Em apenas algumas etapas curtas, os Agents for Amazon Bedrock dividem automaticamente as tarefas e criam um plano de orquestração, sem qualquer codificação manual. O agente se conecta com segurança aos dados da empresa por meio de uma API, convertendo automaticamente os dados em um formato legível por máquina e aumentando a solicitação com informações relevantes para gerar a resposta mais precisa. Os agentes podem então chamar automaticamente as APIs para atender à solicitação do usuário. Por exemplo, uma empresa de manufatura pode querer desenvolver uma aplicação de IA generativa que automatize o rastreamento de níveis de estoque, dados de vendas e informações da cadeia de suprimentos e possa recomendar quantidades e pontos de reordenamento ideais para maximizar a eficiência. Como recursos totalmente gerenciados, os Agents for Amazon Bedrock eliminam o esforço indiferenciado de gerenciar a integração do sistema e o provisionamento da infraestrutura, permitindo que os desenvolvedores usem a IA generativa em toda a organização.

Você pode conectar FMs com segurança às fontes de dados da empresa usando Agents for Amazon Bedrock. Com uma base de conhecimento, você pode usar agentes para dar aos FMs do Amazon Bedrock acesso a dados adicionais que ajudam o modelo a gerar respostas mais relevantes, específicas ao contexto e precisas sem treinar continuamente esses FMs. Com base nas informações do usuário, os agentes identificam a base de conhecimento apropriada, recuperam as informações relevantes e adicionam as informações ao prompt de entrada, fornecendo ao modelo mais informações de contexto para gerar uma conclusão.

Os agentes do Amazon Bedrock podem ajudar você a aumentar a produtividade, melhorar sua experiência de atendimento ao cliente ou automatizar tarefas de DevOps.

Com agentes, os desenvolvedores têm suporte contínuo para monitoramento, criptografia, permissões de usuário e gerenciamento de invocações de API sem escrever código personalizado. Os agentes do Amazon Bedrock automatizam a engenharia de prompts e a orquestração de tarefas solicitadas pelos usuários. Os desenvolvedores podem usar o modelo de prompt criado pelo agente como base para refiná-lo ainda mais e garantir uma experiência aprimorada para os usuários. Eles podem atualizar a entrada do usuário, o plano de orquestração e a resposta do FM. Com acesso ao modelo de prompt, os desenvolvedores têm melhor controle sobre a orquestração do agente.

Com agentes totalmente gerenciados, você não precisa se preocupar em provisionar ou gerenciar a infraestrutura e pode levar as aplicações à produção mais rapidamente.

Qualquer conteúdo de cliente processado pelo Amazon Bedrock é criptografado e armazenado em repouso na região da AWS na qual você está usando o Amazon Bedrock.

Não. As entradas de usuários e as saídas de modelos não são compartilhadas com outros provedores de modelos.

O Amazon Bedrock oferece vários recursos para dar suporte a requisitos de segurança e privacidade. O Bedrock está no escopo de padrões de conformidade comuns de elegibilidade, como o Service Organization Controls (SOC), a Organização Internacional para Padronização (ISO) e a Lei de portabilidade e responsabilidade de provedores de saúde dos EUA (HIPAA), e os clientes podem usar o Bedrock em conformidade com o Regulamento Geral sobre a Proteção de Dados (GDPR). O Amazon Bedrock está incluído no escopo dos relatórios SOC 1, 2 e 3, permitindo que os clientes obtenham insights sobre nossos controles de segurança. Demonstramos a conformidade por meio de auditorias abrangentes de terceiros sobre os controles da AWS. O Amazon Bedrock é um dos serviços da AWS em conformidade com as seguintes normas ISO: ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 e ISO 20000. O Amazon Bedrock tem a certificação CSA Security Trust Assurance and Risk (STAR) de nível 2, que valida o uso de práticas recomendadas e a postura de segurança das ofertas de nuvem AWS. Com o Amazon Bedrock, seu conteúdo não é usado para melhorar os modelos de base e não é compartilhado com outros provedores de modelos. Você pode usar o AWS PrivateLink para estabelecer conectividade privada da VPC com o Amazon Bedrock, sem precisar expor os dados ao tráfego da Internet.

Não, a AWS e fornecedores terceirizados de modelos não usarão nenhuma entrada ou saída do Amazon Bedrock para treinar o Amazon Titan ou qualquer modelo de terceiros.

O Amazon Bedrock é compatível com SDKs para serviços de runtime. Os SDKs do iOS e do Android, bem como Java, JS, Python, CLI, .Net, Ruby, PHP, Go e C++, oferecem suporte à entrada de texto e fala.

O streaming é compatível com todos os SDKs.

Consulte a definição de preços do Amazon Bedrock para obter informações de preços atualizadas.

Dependendo do contrato com o AWS Support, o Amazon Bedrock recebe suporte nos planos Developer Support, Business Support e Enterprise Support.

Você pode usar métricas do CloudWatch para rastrear tokens de entrada e saída.

Lançamos o pré-treinamento contínuo para os modelos Amazon Titan Text Express e Amazon Titan no Amazon Bedrock. O pré-treinamento contínuo permite que você continue o pré-treinamento em um modelo básico do Amazon Titan usando grandes quantidades de dados não rotulados. Esse tipo de treinamento adaptará o modelo de um corpus de domínio geral para um corpus de domínio mais específico, como médico, jurídico, financeiro, entre outros, mas preservando a maioria dos recursos do modelo de base do Amazon Titan. 

As empresas querem criar modelos para tarefas em um domínio específico. Os modelos de base talvez não sejam treinados no jargão técnico usado nesse domínio específico. Portanto, o ajuste direto do modelo de base exige grandes volumes de registros rotulados e um treinamento muito longo para obter resultados precisos. Para aliviar essa carga, o cliente pode, em vez disso, fornecer grandes volumes de dados não rotulados para um trabalho de pré-treinamento contínuo. Esse trabalho adaptará o modelo de base do Amazon Titan ao novo domínio. Assim, o cliente pode ajustar o modelo personalizado que acabou de ser pré-treinado para tarefas downstream usando registros de treinamento com um número significativamente menor de rótulos e um tempo de treinamento reduzido. 

O pré-treinamento contínuo e o ajuste fino do Amazon Bedrock têm requisitos muito semelhantes. Por esse motivo, estamos optando por criar APIs unificadas e compatíveis com o pré-treinamento contínuo e o ajuste fino. A unificação das APIs reduz a curva de aprendizado e ajudará os clientes a usar recursos padrão, como o Amazon EventBridge para rastrear trabalhos de longa duração, integração com o Amazon S3 para buscar dados de treinamento, tags de recursos e criptografia de modelos. 

O pré-treinamento contínuo ajuda você a adaptar os modelos do Amazon Titan aos dados específicos do domínio, preservando a funcionalidade básica dos modelos do Amazon Titan. Para criar um trabalho de pré-treinamento contínuo, navegue até o console do Amazon Bedrock e clique em “Modelos personalizados”. Navegue até a página do modelo personalizado que tem duas guias: Modelos e Trabalhos de treinamento. Ambas as guias fornecem um menu suspenso “Personalizar modelo” à direita. Selecione “Pré-treinamento contínuo” no menu suspenso para navegar até “Criar trabalho de pré-treinamento contínuo”. Você fornecerá o modelo de origem, o nome, a criptografia do modelo, os dados de entrada, os hiperparâmetros e os dados de saída. Além disso, você pode fornecer tags junto com detalhes sobre perfis do AWS Identity and Access Management (IAM) e políticas de recursos para o trabalho.

Exclusiva do Amazon Bedrock, a família de modelos do Amazon Titan incorpora os 25 anos de experiência da Amazon inovando com IA e machine learning em todos os setores da empresa. Os FMs do Amazon Titan oferecem aos clientes uma variedade de opções de modelos de imagem, multimodais e de texto de alta performance, por meio de uma API totalmente gerenciada. Os modelos do Amazon Titan são criados pela AWS e pré-treinados em grandes conjuntos de dados, o que os torna avançados e prontos para uso geral, criados para dar suporte a uma variedade de casos de uso, além de apoiar o uso responsável da IA. Use-os como estão ou personalize-os de forma privada com seus próprios dados.

Para saber mais sobre dados processados para desenvolver e treinar FMs do Amazon Titan, visite treinamento de modelo e privacidade do Amazon Titan.

Os formatos de dados compatíveis incluem arquivos .pdf, .txt, .md, .html, .doc e .docx, .csv, .xls e .xlsx. Os arquivos devem ser carregados para o Amazon S3. Aponte para a localização de seus dados no Amazon S3 e as bases de conhecimento do Amazon Bedrock cuidarão de todo o fluxo de trabalho de ingestão em seu banco de dados de vetores.

O Knowledge Bases for Amazon Bedrock oferece três opções para dividir o texto em blocos antes de convertê-lo em incorporações. 

1.  Opção padrão: o Knowledge Bases for Amazon Bedrock divide automaticamente o documento em blocos, cada um contendo 200 tokens, para garantir que uma frase não seja quebrada no meio. Se um documento contiver menos de 200 tokens, ele não será mais dividido. Uma sobreposição de 20% de tokens é mantida entre dois blocos consecutivos.

2.  Divisão em blocos de tamanho fixo: nessa opção, você pode especificar o número máximo de tokens por bloco e a porcentagem de sobreposição entre os blocos para o Knowledge Bases for Amazon Bedrock de modo que seu documento seja dividido automaticamente em blocos, para garantir que uma frase não seja quebrada no meio. 

3.  Opção de criar uma incorporação por documento: o Amazon Bedrock cria uma incorporação por documento. Essa opção é adequada se você pré-processou os documentos dividindo-os em arquivos separados e não deseja que o Amazon Bedrock os fragmente ainda mais.
 

Atualmente, o Knowledge Bases for Amazon Bedrock usa a versão mais recente do modelo Amazon Titan Text Embeddings disponível no Amazon Bedrock. O modelo Amazon Titan Text Embeddings é compatível com tokens de 8K e mais de 25 idiomas e cria uma incorporação de 1.536 dimensões. 

O Knowledge Bases for Amazon Bedrock cuida de todo o fluxo de trabalho de ingestão, convertendo os documentos em incorporações (vetoriais) e armazenando as incorporações em um banco de dados de vetores especializado. O Knowledge Bases for Amazon Bedrock oferece suporte a bancos de dados populares para armazenamento vetorial, incluindo mecanismo de pesquisa vetorial para Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (em breve) e MongoDB (em breve). Se você não tiver um banco de dados de vetores existente, o Amazon Bedrock criará um armazenamento vetorial do OpenSearch Sem Servidor para você.

Dependendo do caso de uso, você pode usar o Amazon EventBridge para criar uma sincronização periódica ou orientada a eventos entre o Amazon S3 e o Knowledge Bases for Amazon Bedrock.

A avaliação de modelo no Amazon Bedrock permite avaliar, comparar e selecionar os melhores FMs para seu caso de uso em apenas algumas etapas curtas. O Amazon Bedrock oferece a opção entre avaliação automática e avaliação humana. Você pode usar a avaliação automática com métricas predefinidas, como precisão, robustez e toxicidade. Você pode usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, estilo e alinhamento com o tom de voz da marca. Para a avaliação humana, é possível aproveitar seus próprios funcionários ou uma equipe gerenciada pela AWS como revisores. A avaliação do modelo no Amazon Bedrock fornece conjuntos de dados selecionados integrados, ou você pode trazer seus próprios conjuntos de dados.

Você pode analisar uma variedade de métricas predefinidas, como precisão, robustez e toxicidade, usando avaliações automáticas. Também é possível usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, relevância, estilo e alinhamento com o tom de voz da marca.

As avaliações automáticas permitem que você reduza rapidamente a lista de FMs disponíveis em relação aos critérios padrão (como precisão, toxicidade e robustez). As avaliações humanas são frequentemente usadas para avaliar critérios mais sutis ou subjetivos que exigem julgamento humano e nos casos para os quais talvez não existam avaliações automáticas (como tom de voz da marca, intenção criativa, simpatia).

Você pode avaliar rapidamente os modelos do Amazon Bedrock para métricas como precisão, robustez e toxicidade, usando conjuntos de dados integrados selecionados ou trazendo conjuntos de dados de prompts próprios. Depois que os conjuntos de dados de prompts são enviados aos modelos do Amazon Bedrock para inferência, as respostas do modelo são pontuadas com algoritmos de avaliação para cada dimensão. O mecanismo de back-end agrega pontuações individuais de resposta rápida em pontuações resumidas e as apresenta por meio de relatórios visuais fáceis de entender.

O Amazon Bedrock permite que você configure fluxos de trabalho de revisão humana em algumas etapas curtas e aproveite os funcionários internos ou use uma equipe especializada gerenciada pela AWS para avaliar modelos. Por meio da interface intuitiva do Amazon Bedrock, as pessoas podem revisar e dar feedback sobre as respostas do modelo clicando nos polegares para cima ou para baixo, avaliando em uma escala de 1 a 5, escolhendo a melhor das várias respostas ou classificando os prompts. Por exemplo, um membro da equipe pode ver como dois modelos respondem ao mesmo prompt e, em seguida, ser solicitado a selecionar o modelo que mostra resultados mais precisos, relevantes ou estilísticos. É possível especificar os critérios de avaliação que são mais importantes para você personalizando as instruções e os botões que aparecerão na interface do usuário de avaliação da equipe. Você também pode fornecer instruções detalhadas com exemplos e o objetivo geral da avaliação do modelo, para que os usuários possam alinhar o trabalho de maneira adequada. Esse método é útil para avaliar critérios subjetivos que exigem julgamento humano ou conhecimentos mais diferenciados no assunto e que não podem ser facilmente julgados por avaliações automáticas.

O Guardrails for Amazon Bedrock ajuda você a implementar proteções para as aplicações de IA generativa com base em casos de uso e políticas de IA responsáveis. O Guardrails ajuda a controlar a interação entre usuários e (FMs) filtrando conteúdo indesejável e prejudicial e, em breve, ocultará informações de identificação pessoal (PII), aprimorando a segurança e a privacidade do conteúdo nas aplicações de IA generativa. Você pode criar várias barreiras de proteção com diferentes configurações personalizadas para casos de uso específicos. Além disso, com a barreira de proteção, é possível monitorar e analisar continuamente entradas de usuários e respostas de FMs que possam violar políticas definidas pelo cliente.

O Guardrails permite que você defina um conjunto de políticas para ajudar a proteger as aplicações de IA generativa. Em uma barreira de proteção, é possível configurar as políticas a seguir.

• Tópicos negados: defina um conjunto de tópicos que não são desejáveis no contexto da aplicação. Por exemplo, um assistente de serviços bancários on-line pode ser projetado para evitar consultorias de investimento.
• Filtros de conteúdo: configure limites para filtrar conteúdo nocivo nas categorias de ódio, insultos, teor sexual e violência.
• Filtros de palavras (em breve): defina um conjunto de palavras para bloquear nas entradas de usuário e nas respostas geradas pelo FM.
• Ocultação de PII (em breve): selecione um conjunto de PII que pode ser ocultado em respostas geradas pelo FM. Com base no caso de uso, você também pode bloquear uma entrada de usuário se ela contiver PII.

As barreiras de proteção podem ser usadas com todos os grandes modelos de linguagem disponíveis no Amazon Bedrock, incluindo os FMs do Titan, do Claude da Anthropic, do Llama 2 da Meta, do Jurassic da AI21 e do Command da Cohere. Ele também pode ser usado com FMs aprimorados, bem como com o Agents for Amazon Bedrock.

A AWS oferece uma indenização ilimitada de propriedade intelectual (IP) por reivindicações de direitos autorais decorrentes da produção generativa dos seguintes serviços de IA generativa da Amazon amplamente disponíveis: modelos do Amazon Titan, nível profissional do Amazon CodeWhisperer e outros serviços listados na Seção 50.10 dos Termos de serviço (os “Serviços de IA generativa Indenizáveis”). Isso significa que os clientes estão protegidos contra reivindicações de terceiros alegando violação de direitos autorais pela saída gerada pelos Serviços de IA generativa indenizáveis em resposta a entradas ou outros dados fornecidos pelo cliente. Os clientes também devem usar os serviços com responsabilidade, como não inserir dados infringentes nem desabilitar os recursos de filtragem de um serviço.

Além disso, nossa indenização padrão de IP pelo uso dos serviços protege os clientes de reivindicações de terceiros alegando violação de IP (incluindo reivindicações de direitos autorais) pelos serviços e pelos dados usados para treiná-los.