Nível gratuito do Amazon SageMaker

O teste do Amazon SageMaker é gratuito. Como parte do nível gratuito da AWS, você pode começar a usar o Amazon SageMaker gratuitamente. O seu nível gratuito começa no primeiro mês, assim que você criar seu primeiro recurso do SageMaker. Os detalhes do nível gratuito do Amazon SageMaker estão descritos na tabela abaixo.

Capacidade do Amazon SageMaker Uso do nível gratuito por mês pelos primeiros dois meses
Blocos de anotações do Studio e instâncias de blocos de anotações sob demanda 250 horas da instância ml.t3.medium em blocos de anotações do Studio OU 250 horas da instância ml.t2 medium ou ml.t3.medium em blocos de anotações sob demanda
RStudio no SageMaker 250 horas da instância ml.t3.medium na aplicação RSession E instância ml.t3.medium gratuita para a aplicação RStudioServerPro
Data Wrangler 25 horas da instância ml.m5.4xlarge
Arquivo de atributos 10 milhões de unidades de gravação, 10 milhões de unidades de leitura, 25 GB de armazenamento (armazenamento on-line padrão)
Treinamento 50 horas das instâncias m4.xlarge ou m5.xlarge
Amazon SageMaker com TensorBoard 300 horas da instância ml.r5.large
Inferência em tempo real 125 horas de instâncias m4.xlarge ou m5.xlarge
Inferência Sem Servidor 150 mil segundos de duração da inferência sob demanda
Canvas 160 horas/mês para o tempo de sessão
HyperPod 50 horas de instância m5.xlarge

Preço sob demanda

  • Estúdio clássico
  • Amazon SageMaker Studio Classic
    O Studio Classic oferece cadernos Jupyter de uma etapa em nossa experiência de IDE legada. Os recursos de computação subjacentes são totalmente elásticos e os cadernos podem ser facilmente compartilhados com outras pessoas, permitindo uma colaboração transparente. Você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • JupyterLab
  • Amazon SageMaker JupyterLab
    Inicie o JupyterLab totalmente gerenciado em segundos. Use o mais recente ambiente de desenvolvimento interativo baseado na web para notebooks, código e dados. Você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • Editor de código
  • Editor de código do Amazon SageMaker
    O Code Editor, baseado no Code-OSS (Visual Studio Code – Open Source), permite que você escreva, teste, depure e execute suas análises e código de ML. Ele é totalmente integrado ao SageMaker Studio e oferece suporte às extensões IDE disponíveis no registro de extensões Open VSX.

  • RStudio
  • RStudio
    O RStudio oferece recursos de computação em nuvem sob demanda para acelerar o desenvolvimento do modelo e melhorar a produtividade. Você é cobrado pelos tipos de instância que escolhe para executar o aplicativo RStudio Session e o aplicativo RStudio Server Pro.

    Aplicação RStudioServerPro

  • Instância de blocos de anotações
  • Instância de blocos de anotações
    Instâncias de blocos de anotações são instâncias de computação executando a aplicação caderno Jupyter. Você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • Processamento
  • Amazon SageMaker Processing
    O Amazon SageMaker Processing permite executar facilmente suas cargas de trabalho de pré-processamento, pós-processamento e avaliação de modelos em uma infraestrutura totalmente gerenciada. Você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • TensorBoard
  • Amazon SageMaker com TensorBoard
    O Amazon SageMaker com TensorBoard fornece uma experiência hospedada do TensorBoard para visualizar e depurar problemas de convergência de modelos para trabalhos de treinamento do Amazon SageMaker.

  • Data Wrangler
  • Amazon SageMaker Data Wrangler

    O Amazon SageMaker Data Wrangler reduz o tempo para agregação e preparação de dados para machine learning de semanas para minutos. Você paga pelo tempo gasto para limpar, explorar e visualizar dados. Os clientes que executam instâncias do SageMaker Data Wrangler estão sujeitos aos preços abaixo.* Os clientes que executam o SageMaker Data Wrangler nas instâncias do espaço de trabalho do SageMaker Canvas estão sujeitos aos preços do SageMaker Canvas. Consulte a página de preços do SageMaker Canvas para obter mais detalhes.

    Trabalhos do Amazon SageMaker Data Wrangler

    Uma tarefa do Amazon SageMaker Data Wrangler é criada quando um fluxo de dados é exportado do SageMaker Data Wrangler. Com as tarefas do SageMaker Data Wrangler, você pode automatizar seus fluxos de trabalho de preparação de dados. Os trabalhos do SageMaker Data Wrangler ajudam a reaplicar seus fluxos de trabalho de preparação de dados em novos conjuntos de dados para ajudar você a economizar tempo, e são cobradas por segundo.

  • Feature Store
  • Amazon SageMaker Feature Store
    O Amazon SageMaker Feature Store é um repositório central para consumir, armazenar e oferecer atributos de machine learning. A cobrança é feita com base no número de gravações do grupo de atributos e leituras e no armazenamento de dados no SageMaker Feature Store, com preços diferentes para o armazenamento on-line padrão e armazenamento on-line na memória.

     Para o armazenamento on-line padrão, o armazenamento de dados é cobrado por GB por mês. Para taxa de transferência, é possível escolher entre o modo de capacidade sob demanda ou provisionada. Para uso sob demanda, as gravações são cobradas como unidades de solicitação de gravação por KB e as leituras são cobradas como unidades de solicitação de leitura por 4 KB. Para o modo de capacidade provisionada, você especifica a capacidade de leitura e gravação que espera que sua aplicação exija. O Sagemaker Feature Store cobra uma WCU para cada gravação por segundo (até 1 KB) e uma RCU para cada leitura por segundo (até 4 KB). Você será cobrado pela capacidade de throughput (leituras e gravações) provisionada para seu grupo de atributos, mesmo que não utilize totalmente a capacidade provisionada.

    No armazenamento on-line na memória, as gravações são cobradas como unidades de solicitação de gravação por KB com um mínimo de uma unidade por gravação, as leituras são cobradas como unidades de solicitação de leitura por KB com um mínimo de uma unidade por leitura e o armazenamento de dados é cobrado por GB por hora. Há uma taxa mínima de armazenamento de dados de 5 GiB (5,37 GB) por hora para a loja on-line na memória.

  • Treinamento
  • Treinamento do Amazon SageMaker
    O Amazon SageMaker facilita o treinamento de modelos de machine learning (ML) fornecendo tudo o que você precisa para treinar, ajustar e depurar modelos. Você será cobrado pelo uso do tipo de instância que escolher. Ao usar o Amazon SageMaker Debugger para depurar problemas e monitorar recursos durante treinamentos, você pode usar regras internas para depurar suas tarefas de treinamento ou gravar suas próprias regras personalizadas. Não há custos para usar regras internas para depurar suas tarefas de treinamentos. Já para regras personalizadas, você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • MLflow
  • Amazon SageMaker com o MLflow
    O Amazon SageMaker com MLflow permite que os clientes paguem somente pelo que usam. Os clientes pagam pelos servidores de rastreamento MLflow com base nos custos de computação e armazenamento.

    Os clientes pagarão pela computação com base no tamanho do servidor de rastreamento e no número de horas em que ele esteve em execução. Além disso, os clientes pagarão por quaisquer metadados armazenados no MLflow Tracking Server.

  • Inferência em tempo real
  • Hospedagem do Amazon SageMaker: inferência em tempo real
    O Amazon SageMaker oferece inferência em tempo real para seus casos de uso que precisam de previsões em tempo real. Você será cobrado pelo uso do tipo de instância que escolher. Ao usar o Amazon SageMaker Model Monitor para manter modelos altamente precisos oferecendo inferência em tempo real, você pode usar regras internas para monitorar seus modelos ou gravar suas próprias regras personalizadas. Para regras internas, você recebe até 30 horas de monitoramento de graça. Cobranças adicionais serão baseadas na duração do uso. Ao usar regras personalizadas, você é cobrado separadamente.

  • Inferência assíncrona
  • Inferência assíncrona do Amazon SageMaker:
    A Inferência assíncrona do Amazon SageMaker é uma opção de inferência em tempo quase real que enfileira as solicitações recebidas e as processa de forma assíncrona. Use esta opção quando precisar processar grandes cargas úteis à medida que os dados chegam ou rodam modelos que têm longos tempos de processamento de inferência e não têm requisitos de latência de subsegundo. Você é cobrado pelo tipo de instância que você escolher.

  • Batch Transform
  • Transformação em lote do Amazon SageMaker
    Com o recurso Transformação em lote do Amazon SageMaker, não há necessidade de dividir seu conjunto de dados em várias partes, nem de gerenciar endpoints em tempo real. O SageMaker Batch Transform permite que você execute previsões sobre conjuntos de dados de lotes grandes ou pequenos. Você é cobrado pelo tipo de instância que escolhe, com base na duração de uso.

  • Inferência sem servidor
  • Amazon SageMaker Serverless Inference
    A Inferência Sem Servidor do Amazon SageMaker permite a implantação de modelos de machine learning para inferência sem configurar ou gerenciar qualquer infraestrutura subjacente. Você pode usar a inferência sem servidor sob demanda ou adicionar simultaneidade provisionada ao seu endpoint para uma performance previsível.

    Com a inferência sem servidor sob demanda, você paga apenas pela capacidade computacional usada para processar solicitações de inferência, cobradas por milissegundo, e pela quantidade de dados processados. A cobrança pela computação depende da configuração de memória que você escolher.

    Simultaneidade provisionada

    Opcionalmente, você também pode ativar a simultaneidade provisionada para seus endpoints sem servidor. A simultaneidade provisionada permite que você implante modelos em endpoints sem servidor com performance previsível e alta escalabilidade, mantendo seus endpoints aquecidos para um número especificado de solicitações simultâneas e um tempo especificado. Assim como na Inferência Sem Servidor sob demanda, quando a simultaneidade provisionada é ativada, você paga pela capacidade computacional usada para processar solicitações de inferência, cobrada por milissegundo, e pela quantidade de dados processados. Você também paga pelo uso da simultaneidade provisionada, com base na memória configurada, na duração provisionada e na quantidade de simultaneidade habilitada.

  • JumpStart
  • Amazon SageMaker JumpStart
    O Amazon SageMaker JumpStart ajuda você a começar a usar o machine learning de forma rápida e fácil com acesso com um clique a coleções de modelos populares (também conhecidos como “zoológicos modelo”). O Jumpstart também oferece soluções completas que resolvem casos de uso comuns de ML que podem ser personalizados de acordo com as suas necessidades. Não há custo adicional pelo uso de modelos ou soluções JumpStart. Você será cobrado pelas horas de instância de treinamento e inferência subjacentes usadas como se as tivesse criado manualmente.

  • Profiler
  • O Amazon SageMaker Profiler coleta dados em nível de sistema para visualização de gráficos de rastreamento de CPU e GPU de alta resolução. Essa ferramenta foi projetada para ajudar cientistas e engenheiros de dados a identificar gargalos de performance relacionados ao hardware em seus modelos de aprendizado profundo, economizando tempo e custos de treinamento de ponta a ponta. Atualmente, o SageMaker Profiler aceita somente a criação de perfis de trabalhos de treinamento utilizando os tipos de instância de computação de treinamento ml.g4dn.12xlarge, ml.p3dn.24xlarge e ml.p4d.24xlarge.

    Regiões: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Europa (Frankfurt), Europa (Irlanda) e Israel (Tel Aviv).

    No momento, o Amazon SageMaker Profiler está em versão de demonstração e disponível gratuitamente para clientes nas regiões com suporte. 

  • HyperPod
  • Amazon SageMaker HyperPod
    O Amazon SageMaker HyperPod foi desenvolvido especificamente para acelerar o desenvolvimento de modelos de base (FMs). Para tornar o treinamento de FM mais resiliente, ele monitora continuamente a integridade do cluster, repara e substitui nós defeituosos em tempo real e salva pontos de verificação frequentes para retomar automaticamente o treinamento sem perder o progresso. O SageMaker HyperPod é pré-configurado com as bibliotecas de treinamento distribuídas do SageMaker que permitem melhorar a performance do treinamento de FM enquanto utiliza totalmente a infraestrutura de computação e rede do cluster

    Observação: os preços do SageMaker HyperPod não cobrem as cobranças de serviços conectados a clusters HyperPod, como Amazon EKS, Amazon FSx para Lustre e Amazon Simple Storage Service (Amazon S3).

  • Otimização de inferência
  • O kit de ferramentas de otimização de inferência facilita a implementação das técnicas mais recentes de otimização de inferência para alcançar um desempenho de custo de última geração (SOTA, na sigla em inglês) no Amazon SageMaker, economizando meses de tempo de desenvolvimento. É possível escolher entre diversas técnicas de otimização populares disponibilizadas pelo SageMaker, executar trabalhos de otimização antecipadamente, realizar avaliações comparativas do modelo para métricas de desempenho e de precisão, e, em seguida, implantar o modelo otimizado em um endpoint do SageMaker para realizar inferências.

Detalhes da instância

Detalhes do produto da instância P5 do Amazon SageMaker

Tamanho da instância vCPUs Memória da instância (TiB) Modelo de GPU  GPU Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) RDMA GPUDirect Ponto a ponto de GPUs Armazenamento de instâncias (TB) Largura de banda do EBS (Gbps)
ml.p5.48xlarge 192 2 NVIDIA H100 8 640 HBM3 80 3200 EFAv2   Sim NVSwitch de 900 GB/s   8x3.84 SSD NVMe 80

Detalhes do produto da instância P4d do Amazon SageMaker

Tamanho da instância vCPUs Memória da instância (GiB) Modelo de GPU GPUs Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) RDMA GPUDirect Peer-to-peer de GPUs Armazenamento de instâncias (GB) Largura de banda do EBS (Gbps)
ml.p4d.24xlarge 96 1.152 NVIDIA A100 8 320 HBM 2 40 ENA E EFA de 400 Sim NVSwitch de 600 GB/s 8x1000 NVMe SSD 19
ml.p4de.24xlarge 96 1.152 NVIDIA A100 8 640 HNM2e 80 ENA e EFA de 400 Sim NVSwitch de 600 GB/s 8x1000 SSD NVMe 19

Detalhes do produto da instância do Amazon SageMaker P3

Tamanho da instância vCPUs Memória da instância (GiB) Modelo de GPU GPUs Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) Ponto a ponto de GPUs Armazenamento de instâncias (GB) Largura de banda do EBS (Gbps)
ml.p3.2xlarge 8 61 NVIDIA V100 1 16 16 Até 10 N/D Somente EBS 1,5
ml.p3.8xlarge 32 244 NVIDIA V100 4 64 16 10 NVLink Somente EBS 7
ml.p3.16xlarge 64 488 NVIDIA V100 8 128 16 25 NVLink Somente EBS 14
ml.p3dn.24xlarge 96 768 NVIDIA V100 8 256 32 100 NVLink 2 x 900 NVMessD 19

Detalhes do produto da instância P2 do Amazon SageMaker

Tamanho da instância vCPUs Memória da instância (GiB) Modelo de GPU GPUs Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) Largura de banda do EBS (Gbps)
ml.p2.xlarge 4 61 NVIDIA K80 1 12 12 Até 10 Alta
ml.p2.8xlarge 32 488 NVIDIA K80 8 96 12 10 10
ml.p2.16xlarge 64 732 NVIDIA K80 16 192 12 25 20

Detalhes do produto da instância G4 do Amazon SageMaker

Tamanho da instância vCPUs Memória da instância (GiB) Modelo de GPU GPUs Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) Armazenamento de instâncias (GB) Largura de banda do EBS (Gbps)
ml.g4dn.xlarge 4 16 NVIDIA T4 1 16 16 Até 25 1 x 125 SSD NVMe Até 3,5
ml.g4dn.2xlarge 8 32 NVIDIA T4 1 16 16 Até 25 1 x 125 SSD NVMe Até 3,5
ml.g4dn.4xlarge 16 64 NVIDIA T4 1 16 16 Até 25 1 x 125 SSD NVMe 4,75
ml.g4dn.8xlarge 32 128 NVIDIA T4 1 16 16 50 1 x 900 SSD NVMe 9,5
ml.g4dn.16xlarge 64 256 NVIDIA T4 1 16 16 50 1 x 900 SSD NVMe 9,5
ml.g4dn.12xlarge 48 192 NVIDIA T4 4 64 16 50 1 x 900 SSD NVMe 9,5

Detalhes do produto da instância do Amazon SageMaker G5

Tamanho da instância vCPUs Memória da instância (GiB) Modelo de GPU GPUs Memória total da GPU (GB) Memória por GPU (GB) Largura de banda da rede (Gbps) Largura de banda do EBS (Gbps) Armazenamento de instâncias (GB)
ml.g5n.xlarge 4 16 NVIDIA A10G 1 24 24 Até 10 Até 3,5 1x250
ml.g5.2xlarge 8 32 NVIDIA A10G 1 24 24 Até 10 Até 3,5 1x450
ml.g5.4xlarge 16 64 NVIDIA A10G 1 24 24 Até 25 8 1x600
ml.g5.8xlarge 32 128 NVIDIA A10G 1 24 24 25 16 1x900
ml.g5.16xlarge 64 256 NVIDIA A10G 1 24 24 25 16 1x1900
ml.g5.12xlarge 48 192 NVIDIA A10G 4 96 24 40 16 1x3800
ml.g5.24xlarge 96 384 NVIDIA A10G 4 96 24 50 19 1x3800
ml.g5.48xlarge 192 768 NVIDIA A10G 8 192 24 100 19 2x3800

Detalhes do produto da instância Trn1 do Amazon SageMaker

Tamanho da instância vCPUs Memória (GiB) Aceleradores Trainium Memória total do acelerador (GB) Memória por acelerador (GB) Armazenamento de instâncias (GB) Largura de banda de rede (Gbps) Largura de banda do EBS (Gbps)
ml.trn1.2xlarge 8 32 1 32 32 1 x 500 NVMe SSD Até 12,5 Até 20
ml.trn1.32xlarge 128 512 16 512 32 4 x 2000 SSD NVMe 800 80

Detalhes do produto da instância Inf1 do Amazon SageMaker

Tamanho da instância vCPUs Memória (GiB) Aceleradores Inferentia Memória total do acelerador (GB) Memória por acelerador (GB) Armazenamento de instâncias  Interconexão entre aceleradores Largura de banda de rede (Gbps) Largura de banda do EBS (Gbps)
ml.inf1.xlarge 4 8 1 8 8 Somente EBS N/D Até 25 Até 4,75
ml.inf1.2xlarge 8 16 1 8 8 Somente EBS N/D Até 25 Até 4,75
ml.inf1.6xlarge 24 48 4 32 8 Somente EBS Sim 25 4,75
ml.inf1.24xlarge 96 192 16 128 8 Somente EBS sim 100 19

Detalhes do produto da instância Inf2 do Amazon SageMaker

Tamanho da instância vCPUs Memória (GiB) Aceleradores Inferentia Memória total do acelerador (GB) Memória por acelerador (GB) Armazenamento de instâncias  Interconexão entre aceleradores Largura de banda de rede (Gbps) Largura de banda do EBS (Gbps)
ml.inf2.xlarge 4 16 1 32 32 Somente EBS N/D Até 25 Até 10
ml.inf2.8xlarge 32 128 1 32 32 Somente EBS N/D Até 25 10
ml.inf2.24xlarge 96 384 6 196 32 Somente EBS Sim 50 30
ml.inf2.48xlarge 192 768 12 384 32 Somente EBS Sim 100 60

Amazon SageMaker Studio

O Amazon SageMaker Studio é uma única interface baseada na web para o desenvolvimento completo de ML, oferecendo uma escolha de ambientes de desenvolvimento integrado (IDEs) totalmente gerenciados e ferramentas criadas especificamente. Você pode acessar o SageMaker Studio gratuitamente. Você só é cobrado pela computação e pelo armazenamento subjacentes usados para diferentes IDEs e ferramentas de ML no SageMaker Studio.

É possível usar vários serviços do SageMaker Studio, do AWS SDK para Python (Boto3) ou da AWS Command Line Interface (AWS CLI), incluindo os seguintes:

  • IDEs no SageMaker Studio para realizar o desenvolvimento completo de ML com um amplo conjunto de IDEs totalmente gerenciados, incluindo JupyterLab, editor de código baseado em Code-OSS (Visual Studio Code - Open Source) e RStudio
  • SageMaker Pipelines para automatizar e gerenciar fluxos de trabalho de ML
  • SageMaker Autopilot para criar automaticamente modelos de ML com visibilidade total
  • SageMaker Experiments para organizar e rastrear suas tarefas e versões de treinamento
  • SageMaker Debugger para depurar anomalias durante treinamentos
  • SageMaker Model Monitor para manter modelos de alta qualidade
  • SageMaker Clarify para explicar melhor os seus modelos de ML e detectar tendências
  • SageMaker JumpStart para implantar facilmente soluções de ML para vários casos de uso. Você pode acumular em cobranças de outros produtos da AWS usados na solução para as chamadas de API subjacentes feitas pelo Amazon SageMaker em seu nome.
  • SageMaker Inference Recommender para obter recomendações para a configuração correta do endpoint

Você paga somente pelos recursos de computação e de armazenamento subjacentes do SageMaker ou de outros serviços da AWS, com base no seu uso.

Para usar o nível gratuito do Amazon Q Developer, siga as instruções aqui. Para usar o Amazon Q Developer Pro, é necessário se inscrever no Amazon Q Developer. Os preços do Amazon Q Developer estão disponíveis aqui.

Avaliações do modelo de base

O SageMaker Clarify oferece suporte a avaliações do modelo de base com métodos de avaliação automáticos e por pessoas. Cada um deles tem preços diferentes. Se você estiver avaliando um modelo básico do Amazon SageMaker JumpStart que ainda não foi implantado em sua conta, o SageMaker implantará temporariamente o modelo JumpStart em uma instância do SageMaker durante a inferência. A instância específica estará em conformidade com a recomendação de instância fornecida pelo JumpStart para esse modelo.

Avaliação automática:
As avaliações do modelo de base são executadas como um trabalho de processamento do SageMaker. O trabalho de avaliação invocará a inferência do SageMaker. Os clientes são cobrados pela inferência e pelo trabalho de avaliação. Os clientes são cobrados apenas pela duração do trabalho de avaliação. O custo do trabalho de avaliação seria a soma do custo por hora da instância de avaliação e a soma do custo por hora da instância de hospedagem.

Avaliações por pessoas:
Quando você usa o atributo de avaliação por pessoas, no qual você traz sua própria mão de obra, você é cobrado por três itens: 1) instância do SageMaker usada para inferência, 2) a instância usada para executar o trabalho de processamento do SageMaker que hospeda a avaliação humana e 3) uma cobrança de USD 0,21 por tarefa de avaliação humana concluída. Uma tarefa humana é definida como a ocorrência de um trabalhador humano enviando uma avaliação de um único prompt e suas respostas de inferência associadas na interface do usuário de avaliação humana. O preço é o mesmo, quer você tenha 1 ou 2 modelos em seu trabalho de avaliação ou faça sua própria inferência, e também é o mesmo, independentemente de quantas dimensões de avaliação e métodos de classificação você incluir. O preço de USD 0,21 por tarefa é o mesmo para todas as regiões da AWS. Não há cobrança separada para a mão de obra, pois ela é fornecida por você.

Avaliação gerenciada pela AWS:
Para uma avaliação especializada gerenciada pela AWS, os preços são personalizados para suas necessidades de avaliação em um contrato privado enquanto trabalha com a equipe de avaliações de especialistas da AWS.

Amazon SageMaker Studio Lab

Você pode criar e treinar modelos de machine learning usando o Amazon SageMaker Studio Lab gratuitamente. O SageMaker Studio Lab oferece aos desenvolvedores, acadêmicos e cientistas de dados um ambiente de desenvolvimento sem configuração para aprender e experimentar o machine learning sem custo adicional.

Amazon SageMaker Canvas

Amazon SageMaker Canvas expande o acesso ao ML, fornecendo aos analistas de negócios a capacidade de gerar previsões precisas de ML usando uma interface visual de apontar e clicar - sem necessidade de codificação ou experiência em ML.

Rotulagem de dados Amazon SageMaker

O Amazon SageMaker Data Labeling oferece duas ofertas de rotulagem de dados: Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Saiba mais sobre o Amazon SageMaker Data Labeling, um serviço totalmente gerenciado de rotulagem de dados que facilita a construção de conjuntos de dados de treinamento altamente precisos para machine learning.

Teste de sombra do Amazon SageMaker

O SageMaker ajuda você a executar testes de sombra para avaliar um novo modelo de ML antes da liberação em produção, testando sua performance em comparação com o modelo já implantado. Não há cobrança adicional para o teste de sombra do SageMaker além das cobranças de uso para as instâncias de ML e armazenamento de ML provisionado para hospedar o modelo de sombra. O preço para instâncias de ML e dimensões de armazenamento de ML é igual à opção de inferência em tempo real especificada na tabela de preços anterior. Não há custo adicional para dados processados dentro e fora das implantações de sombra.

Amazon SageMaker Edge

Saiba mais sobre a definição de preço do Amazon SageMaker Edge para otimizar, executar e monitorar modelos de ML em frotas de dispositivos de borda. 

Amazon SageMaker Savings Plans

Os Amazon SageMaker Savings Plans ajudam a reduzir seus custos em até 64%. Esses planos são aplicados automaticamente a usos de instâncias de ML qualificadas do SageMaker, entre elas, os blocos de anotações do SageMaker Studio, instâncias dos blocos de anotações do Sagemaker, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference e SageMaker Batch Transform, independentemente da família, tamanho ou região das instâncias. Por exemplo, você pode alterar o uso de uma instância de CPU ml.c5.xlarge em execução no Leste dos EUA (Ohio) para uma instância ml.Inf1 no Oeste dos EUA (Oregon) para workloads de inferência a qualquer momento e continuar automaticamente a pagar o preço dos Savings Plans. 

Saiba mais »

Custo total de propriedade (TCO) com o Amazon SageMaker

O Amazon SageMaker oferece pelo menos 54% a menos de custo total de propriedade (TCO) durante um período de três anos em comparação com outras soluções autogerenciadas baseadas na nuvem. Saiba mais por meio da análise completa do TCO para o Amazon SageMaker.

Exemplos de preço

  • Como cientista de dados, você passa 20 dias usando o JupyterLab para experimentação rápida em notebooks, código e dados por 6 horas por dia em uma instância ml.g4dn.xlarge. Você cria e depois executa um espaço do JupyterLab para acessar o IDE do JupyterLab. A computação é cobrada apenas pela instância usada quando o espaço do JupyterLab está em execução. As cobranças de armazenamento de um espaço do JupyterLab são acumuladas até que ele seja excluído.

    Computação

    Instância Duração Dias Duração total Custo por hora Total
    ml.g4dn.xlarge 6 horas 20 6 * 20 = 120 horas USD 0,7364 USD 88,368

    Armazenamento

    Você usará o armazenamento SSD de uso geral por 480 horas (24 horas * 20 dias). Em uma região que cobra USD 0,1125 por GB por mês:
    USD 0,112 por GB por mês * 5 GB * 480 (24 horas/dia * 30 dias por mês) = USD 0,373

  • Como engenheiro de ML, você passa 20 dias usando o Code Editor para edição, execução e depuração de código de produção de ML por 6 horas por dia em uma instância ml.g4dn.xlarge. Você cria e, em seguida, executa um espaço do Editor de Código para acessar o IDE do Editor de Código. A computação só é cobrada pela instância usada quando o espaço do Editor de Códigos está em execução. As cobranças de armazenamento de um espaço do Editor de Códigos são acumuladas até que ele seja excluído.

    Computação

    Instância Duração Dias Duração total Custo por hora Total
    ml.g4dn.xlarge 6 horas 20 6 * 20 = 120 horas USD 0,7364 USD 88,368

    Armazenamento

    Você usará o armazenamento SSD de uso geral por 480 horas (24 horas * 20 dias). Em uma região que cobra USD 0,1125 por GB por mês:
    USD 0,112 por GB por mês * 5 GB * 480 (24 horas/dia * 30 dias por mês) = USD 0,373

  • Um cientista de dados executa a seguinte sequência de ações ao usar cadernos no Amazon SageMaker Studio Classic.

    1. Ele abre o caderno 1 em um kernel do TensorFlow em uma instância ml.c5.xlarge e trabalha nesse caderno por uma hora.
    2. Ele abre o caderno 2 em uma instância ml.c5.xlarge. O caderno abrirá automaticamente na mesma instância ml.c5.xlarge que está executando o caderno 1. 
    3. O cientista trabalha no bloco de anotações 1 e no bloco de anotações 2 simultaneamente por 1 hora.
    4. O cientista de dados será cobrado por um total de duas horas de uso da ml.c5.xlarge. Para a hora sobreposta durante a qual ele trabalhou no caderno 1 e no caderno 2 ao mesmo tempo, cada aplicação do kernel será medida por meia hora e ele será cobrado por uma hora.
    Aplicação do kernel Instância de cadernos Horas Custo por hora Total
    TensorFlow ml.c5.xlarge 1 USD 0,204 USD 0,204
    TensorFlow ml.c5.xlarge 0,5 USD 0,204 USD 0,102
    Ciência de dados ml.c5.xlarge 0,5 USD 0,204 USD 0,102
            USD 0,408
  • Uma cientista de dados executa a seguinte sequência de ações enquanto usa o RStudio:

    1. Inicia o RSession 1 em uma instância ml.c5.xlarge e trabalha nesse caderno por uma hora.
    2. Executa o RSession 2 em uma instância ml.c5.xlarge. Ele se abrirá automaticamente na mesma instância ml.c5.xlarge que está executando o RSession 1.
    3. Funciona no RSesssion 1 e RSession 2 simultaneamente por 1 hora.
    4. O cientista de dados será cobrado por um total de duas (2) horas de uso da ml.c5.xlarge. Para a hora sobreposta durante a qual ele trabalhou no RSession 1 e RSession 2 ao mesmo tempo, cada aplicação RSession será medida por meia hora e ele será cobrado por uma hora.

    Nesse ínterim, o servidor R está funcionando 24 horas por dia, 7 dias na semana, independentemente de haver sessões do R em execução ou não. Se o administrador escolher “Pequeno” (ml.t3.medium), então é gratuito. Se o administrador escolher "Médio" (ml.c5.4xlarge) ou "Grande" (ml.c5.9xlarge), ele será cobrado por hora, desde que o RStudio esteja habilitado para o domínio do SageMaker.

    Aplicação do RSession Instância do RSession Horas Custo por hora Total
    Base R ml.c5.xlarge 1 USD 0,204 USD 0,204
    Base R ml.c5.xlarge 0,5 USD 0,204 USD 0,102
    Base R ml.c5.xlarge 0,5 USD 0,204 USD 0,102
            USD 0,408
  • O Amazon SageMaker Processing somente cobra pelas instâncias utilizadas durante a execução dos seus trabalhos. Quando você fornece os dados de entrada para processamento no Amazon S3, o Amazon SageMaker baixa os dados do Amazon S3 para o armazenamento local de arquivos no início de um trabalho de processamento.

    A analista de dados executa um trabalho de processamento para pré-processar e validar dados em duas instâncias ml.m5.4xlarge por uma duração de dez minutos. Ela carrega um conjunto de dados de 100 GB no S3 como entrada para o trabalho de processamento, e os dados de saída (que têm aproximadamente o mesmo tamanho) são armazenados no S3.

    Horas  Instâncias de processamento Custo por hora Total
    1 * 2 * 0,167 = 0,334 ml.m5.4xlarge 0,922 USD USD 0,308
    Armazenamento de uso geral (SSD) (GB)  Custo por hora Total
    100 GB * 2 = 200 0,14 USD USD 0,0032

    Subtotal do trabalho do Amazon SageMaker Processing = USD 0,308.
    Subtotal de 200 GB do armazenamento de uso geral em SSD = USD 0,0032.
    O preço total para esse exemplo seria de USD 0,3112.

  • Na tabela, você usa o Amazon SageMaker Data Wrangler por um total de 18 horas em 3 dias para preparar seus dados. Além disso, você cria uma tarefa do Amazon SageMaker Data Wrangler para preparar dados atualizados semanalmente. Cada trabalho dura 40 minutos e é executado semanalmente por um mês.

    Total de cobranças mensais para o uso do Data Wrangler = USD 16,596 + USD 2,461 = USD 19,097

    Aplicação Instância do SageMaker Studio Dias Duração Duração total Custo por hora  Subtotal de custos
    SageMaker Data Wrangler ml.m5.4xlarge 3 6 horas 18 horas 0,922 USD 16,596 USD
    Trabalho do SageMaker Data Wrangler ml.m5.4xlarge - 40 minutos 2,67 horas 0,922 USD 2,461 USD

    Como um cientista de dados, você gasta três dias usando o Amazon SageMaker Data Wrangler para limpar, explorar e visualizar seus dados por seis horas por dia. Para executar o seu pipeline de preparação de dados, você então inicia uma tarefa do Amazon SageMaker Data Wrangler agendada para executar semanalmente.

    A tabela abaixo resume seu uso total do mês bem como as cobranças associadas ao uso do Amazon SageMaker Data Wrangler.

  • ++ Todas as unidades fracionárias de leitura são arredondadas para o número inteiro seguinte

    Armazenamento de dados
    Total de dados armazenados = 31,5 GB
    Cobranças mensais por armazenamento de dados = 31,5 GB * 0,45 USD = 14,175 USD

    Total de cobranças mensais para o Amazon SageMaker Feature Store = USD 56,875 + USD 3,185 + USD 14,175 = USD 74,235

    Dia do mês Total de gravações Total de unidades de gravação Total de leituras Total de unidades de leitura
    Dias 1 a 10 100.000 gravações 
    (10.000 gravações * 10 dias)
    2.500.000 
    (100.000 * 25 KB)
    100.000 
    (10.000 * 10 dias)
    700.000++ 
    (100.000 * 25/4 KB )
             
    Dia 11 200.000 gravações 5.000.000 
    (200.000 * 25 KB)
    200.000 leituras 1.400.000++ 
    (200.000 * 25/4 KB)
             
    Dia 12 de 30 1.520.000 gravações 
    (80.000 * 19 dias)
    38.000.000 
    (1.520.000 * 25 KB)
    1.520.000 gravações
    (80.000 * 19 dias)
    10.640.000++
    (1.520.000 * 25/4 KB)
             
    Total de unidades passíveis de cobrança   45.500.000 de unidades de gravação   12.740.000 de unidades de leitura
    Cobranças mensais para gravações e leituras   56,875 USD 
    (45.5 milhão de unidades de gravação * 1,25 USD por milhão de gravações)
      3.185 USD 
    (12.74 milhão de unidades de leitura * 0,25 USD por milhão de leituras)

    Você possui uma aplicação Web que emite leituras e gravações de 25 KB cada para o Amazon SageMaker Feature Store. Nos primeiros dez dias de um mês, você recebe pouco tráfego para sua aplicação, resultando em 10.000 gravações e 10.000 leituras para o SageMaker Feature Store todo dia. No dia 11º dia do mês, sua aplicação chama a atenção nas redes sociais e o tráfego da aplicação atinge um pico de 200.000 leituras e 200.000 gravações neste dia. A sua aplicação então estabiliza em um padrão de tráfego mais regular, com uma média de 80.000 leituras e 80.000 gravações por dia até o fim do mês.

    A tabela abaixo resume seu uso total do mês, bem como as cobranças associadas ao uso do Amazon SageMaker Feature Store.

  • O total de cobranças de treinamento e depuração neste exemplo é de 2,38 USD. As instâncias de computação e os volumes de armazenamento de uso geral usados pelas regras internas do Amazon SageMaker Debugger não incorrem em cobranças adicionais.

      Armazenamento de uso geral (SSD) para treinamento (GB)  Armazenamento de uso geral (SSD) para regras internas do depurador (GB) Armazenamento de uso geral (SSD) para regras personalizadas do depurador (GB) Custo por GB/mês Subtotal
    Capacidade usada 3 2 1    
    Custo USD 0 Sem cobranças adicionais para volumes de armazenamento de regras internas USD 0 0,10 USD USD 0

     

    Horas Instância de treinamento Instância de depuração Custo por hora  Subtotal
    4 * 0,5 = 2,00 ml.m4.4xlarge n/d 0,96 USD 1,92 USD
    4 * 0,5 * 2 = 4 N/D Sem encargos adicionais para instâncias de regra internas USD 0 USD 0
    4 * 0,5 = 2 ml.m5.xlarge n/d 0,23 USD 0,46 USD
            -------
            USD 2,38

    Uma cientista de dados passou uma semana trabalhando em um modelo para uma nova ideia. Ela treina o modelo 4 vezes em uma ml.m4.4xlarge por 30 minutos executando o treinamento com o Amazon SageMaker Debugger ativado usando duas regras internas e uma regra personalizada que ela escreveu. Para a regra personalizada, ela especificou a instância ml.m5.xlarge. Ela treina usando 3 GB de dados de treinamento no Simple Storage Service (Amazon S3) e envia a saída do modelo de 1 GB para o Simple Storage Service (Amazon S3). O SageMaker cria volumes de uso geral com SSD (gp2) para cada instância de treinamento. O SageMaker também cria volumes de uso geral com SSD (gp2) para cada regra especificada. Neste exemplo, um total de quatro volumes de uso geral com SSD (gp2) será criado. O SageMaker Debugger envia 1 GB de dados de depuração para o bucket do Simple Storage Service (Amazon S3) do cliente.

  • Você tem duas equipes de cientistas de dados. Uma equipe com 10 cientistas de dados e a outra equipe com 40. Para acomodar essas duas equipes, você opta por habilitar dois servidores de rastreamento MLflow diferentes: um pequeno e um médio. Cada equipe está conduzindo experimentos de machine learning (ML) e precisa registrar as métricas, os parâmetros e os artefatos produzidos por suas tentativas de treinamento. Eles querem usar os servidores de rastreamento MLflow por 160 horas por mês. Supondo que cada equipe de ciência de dados armazene 1 GB de metadados para monitorar as execuções em experimentos. A conta no final do mês seria calculada da seguinte forma:  

    Cobranças de computação para pequenas instâncias: 160 x USD 0,60 = USD 96
    Cobranças de computação para instâncias médias: 160 x USD 1,04 = USD 166,4
    Cobranças de armazenamento para duas equipes: 2 * 1 * USD 0,10 = USD 0,20

    Total = USD 262,60

  • Subtotal para treinamento, hospedagem e monitoramento = USD 305,827. Subtotal para 3.100 MB de dados de entrada processados e 310 MB de dados de saída processados para hospedagem por mês = USD 0,054. O total de cobranças para este exemplo seria de USD 305,881 por mês.

    Observação: para regras internas com a instância ml.m5.xlarge, você obtém até 30 horas de monitoramento agregado em todos os endpoints todo mês, sem custos.

     

    Dados de entrada por mês: hospedagem Dados de saída por mês: hospedagem Custo por GB de entrada ou saída Total
    100 MB * 31 = 3.100 MB   USD 0,016 USD 0,0496
      10 MB * 31 = 310 MB USD 0,016 USD 0,00496
    Horas por mês Instâncias de hospedagem Instâncias do monitor de modelos  Custo por hora Total
    24 * 31 * 2 = 1488 ml.c5.xlarge   USD 0,204 303,522 USD
    31*0,08 = 2,5   ml.m5.4xlarge 0,922 USD USD 2,305

    O modelo no exemplo n.º 5 é então implantado na produção para 2 (duas) instâncias ml.c5.xlarge para obter uma hospedagem multi-AZ confiável. O Amazon SageMaker Model Monitor é ativado com 1 (uma) instância ml.m5.4xlarge e os trabalhos de monitoramento são agendados uma vez por dia. Cada trabalho de monitoramento leva cinco minutos para ser concluído. O modelo recebe 100 MB de dados por dia e as inferências têm 1/10 do tamanho dos dados de entrada.

  • Subtotal do SageMaker Asynchronous Inference = USD 15,81 + USD 0,56 + 2 * 0,0048 = USD 16,38. O total de cobranças de inferência assíncrona para este exemplo seria de USD 16,38 por mês. 

    Dados de entrada por mês Dados de saída por mês Custo por GB de entrada ou saída Total
    10 KB * 1.024 * 31 = 310 MB 10 KB * 1.024 * 31 = 310 MB USD 0,02 0,0048
      10 KB * 1.024 * 31 = 310 MB USD 0,02 0,0048
    Armazenamento de uso geral (SSD) (GB) Custo por GB/mês Total
    4 0,14 USD USD 0,56
    Horas por mês Instâncias de hospedagem Custo por hora Total
    2,5 * 31 * 1 = 77,5 ml.c5.xlarge 0,20 USD USD 15,81

    O Amazon SageMaker Asynchronous Inference cobra pelas instâncias usadas pelo endpoint. Quando não está processando solicitações ativamente, é possível configurar a autoescalabilidade para escalar a contagem da instância para zero para economizar em custos. Para cargas úteis de entrada no Simple Storage Service (Amazon S3), não há custo para ler dados de entrada do Simple Storage Service (Amazon S3) e gravar dados de saída no S3 da mesma região.

    O modelo no exemplo n.º 5 é usado para executar um endpoint do SageMaker Asynchronous Inference. O endpoint é configurado para executar em uma instância ml.c5.xlarge e reduzir a escala na vertical da contagem de instâncias para zero quando não estiver processando solicitações ativamente. A instância ml.c5.xlarge do endpoint tem um armazenamento de uso geral (SSD) de 4 GB anexado a ela. Neste exemplo, o endpoint mantém uma contagem de instância de um, por duas horas por dia, e tem um período de desaquecimento de 30 minutos, após o qual ele reduz a escala na vertical para uma contagem de instância de zero pelo resto do dia. Portanto, você é cobrado por 2,5 horas de uso por dia. 

    O endpoint processa 1.024 solicitações por dia. O tamanho de cada corpo de solicitação/resposta de invocação é de 10 KB e cada carga útil de solicitação de inferência no Simple Storage Service (Amazon S3) é de 100 MB. As saídas de inferência têm 1/10 do tamanho dos dados de entrada, os quais são armazenados de volta no Simple Storage Service (Amazon S3) na mesma região. Neste exemplo, as cobranças de processamento de dados se aplicam ao corpo de solicitação e de resposta, mas não aos dados transferidos do Simple Storage Service (Amazon S3) e para ele. 

  • O total da cobrança pela inferência neste exemplo seria de USD 2,88.

    Horas  Instâncias de hospedagem Custo por hora Total
    3 * 0,25 * 4 = 3 horas ml.m4.4xlarge 0,96 USD USD 2,88

    O modelo no exemplo n.º 5 é usado para executar a transformação em lote do SageMaker. A cientista de dados executa quatro tarefas separadas do SageMaker Batch Transform em três ml.m4.4xlarge por 15 minutos por execução de tarefa. Ela carrega um conjunto de dados de avaliação de 1 GB no S3 para cada execução, e as inferências têm 1/10 do tamanho dos dados de entrada armazenados de volta no S3.

  • Cobranças mensais de processamento de dados

    Processamento de dados (GB) Custo por GB de entrada ou saída Taxa mensal de processamento de dados
    10 GB USD 0,016 USD 0,16

    O subtotal da cobrança pela duração da Inferência Sem Servidor do SageMaker sob demanda = USD 40. Subtotal da cobrança pelo processamento de dados de 10 GB = USD 0,16. O total da cobrança para este exemplo seria de USD 40,16.

    Cobranças mensais por computação

    Número de solicitações Duração de cada pedido Duração total de inferência (segundos) Custo por segundo Cobrança de duração de inferência mensal
    10 milhões 100 ms 1 milhão USD 0,00004 USD 40

    Com a inferência sem servidor sob demanda, você paga apenas pela capacidade computacional usada para processar solicitações de inferência, cobradas por milissegundo, e pela quantidade de dados processados. A cobrança pela computação depende da configuração de memória que você escolher.

    Se você alocou 2 GB de memória para seu endpoint, executou 10 milhões de vezes em um mês, funcionou por 100 ms toda vez e processou 10 GB de entrada/saída de dados no total, suas cobranças serão calculadas da seguinte forma:

  • Suponhamos que você esteja administrando um serviço de chatbot para uma empresa de processamento de folhas de pagamento. Você espera um aumento das consultas de clientes no final de março, antes do prazo final para a entrega da declaração de impostos. No entanto, no resto do mês, espera-se que o tráfego seja baixo. Assim, você implanta um endpoint sem servidor com 2 GB de memória e adiciona uma simultaneidade provisionada de 100 nos últimos cinco dias do mês, das 9h às 17h (8h), durante a qual o endpoint processa 10 milhões de solicitações e 10 GB de entrada e saída de dados no total. No resto do mês, o chatbot executa inferência sem servidor sob demanda e processa 3 milhões de solicitações e 3 GB de entrada/saída de dados. Vamos supor que a duração de cada solicitação seja de 100 ms.

    Cobranças pela Simultaneidade provisionada (PC)
    O preço da PC é USD 0,000010/seg
    Duração de uso da PC (segundos) = 5 dias x 100 PC x 8 horas x 3600 segundos = 14.400.000 segundos
    Cobrança pelo uso da PC = 14.400.000 segundos x USD 0,000010/seg = USD 144.

    Cobranças pela duração da inferência para tráfego servido pela simultaneidade provisionada
    O preço da duração da inferência é USD 0,000023/seg
    Duração total da inferência para a PC (seg.) = 10M* (100ms) /1000 = 1 milhão de segundos.
    Cobranças pela duração da inferência para a PC = 1.000.000 segundos* x USD 0,000023/segundos = USD 23

    Cobranças pela duração da inferência sob demanda
    O preço mensal da computação é de USD 0,00004 por segundo e o nível gratuito oferece 150 mil segundos.
    Cálculo total (segundos) = (3) M * (100 ms) /1000 = 0,3 milhões de segundos.
    Cálculo total − Cálculo do nível gratuito = cobrança mensal calculada em segundos
    0,3 milhões de segundos — 150 mil segundos = 150 mil segundos
    Cobranças mensais pela computação = 150 mil x USD 0,00004 = USD 6

    Processamento de dados
    Custo/GB de dados processados de entrada/saída = 0,016 USD
    Total de GBs processados = 10+3=13
    Custo total = USD 0,016 * 13 = USD 0,208

    Total de cobranças para correspondência
    Total de cobranças = cobranças pela simultaneidade provisionadas+ Duração da inferência para simultaneidade provisionada + Duração da inferência para computação sob demanda + Cobranças pelo processamento de dados
    = USD 144 + USD 23 + USD 6 + USD 0,208 = USD 173,2

  • O cliente usa o JumpStart para implantar um modelo pré-treinado BERT Base Uncased para classificar o sentimento de avaliação do cliente como positivo ou negativo.

    O cliente implanta o modelo em 2 (duas) instâncias ml.c5.xlarge para hospedagem Multi-AZ confiável. O modelo recebe 100 MB de dados por dia e as inferências têm 1/10 do tamanho dos dados de entrada.

    Horas por mês Instâncias de hospedagem Custo por hora Total
    24 * 31 * 2 = 1488 ml.c5.xlarge USD 0,204 USD 303,55
     
    Dados de entrada por mês: hospedagem Dados de saída por mês – Hospedagem Custo por GB de entrada ou saída

    Total

    100 MB * 31 = 3.100 MB   USD 0,02 USD 0,06
      10 MB * 31 = 310 MB USD 0,02 USD 0,01
     

    Subtotal para treinamento, hospedagem e monitoramento = USD 305,827. Subtotal para 3.100 MB de dados de entrada processados e 310 MB de dados de saída processados para hospedagem por mês = USD 0,06. As cobranças totais para este exemplo seriam de USD 305,887 por mês.

  • Vamos supor que você deseja provisionar um cluster com quatro instâncias ml.g5.24xlarge por um mês (30 dias), além de 100 GB de armazenamento adicional por instância para apoiar o desenvolvimento de modelos. As cobranças totais para o cluster e para o armazenamento adicional neste exemplo corresponde a USD 29.374,40.

    Computação

    Instância Duração Instâncias Custo por hora Subtotal
    ml.g5.24xlarge 30 dias * 24 horas = 720 horas 4 USD 10,18 USD 29.318,40

    Armazenamento

    Armazenamento de uso geral (SSD) Duração Instâncias Custo por GB/mês Subtotal
    100 GB 30 dias * 24 horas = 720 horas 4 USD 0,14 USD 56,00
  • As avaliações do modelo de base com o SageMaker Clarify cobram apenas pelas instâncias usadas enquanto seus trabalhos de avaliação automática estão em execução. Quando você seleciona uma tarefa de avaliação automática e um conjunto de dados, o SageMaker carrega o conjunto de dados de prompts do Amazon S3 em uma instância de avaliação do SageMaker.

    No exemplo a seguir, um engenheiro de ML executa uma avaliação do modelo Llama2 7B no Leste dos EUA (Norte da Virgínia) para obter a precisão da tarefa de resumo. O tipo de instância recomendado para inferência para o Llama 2 7B é ml.g5.2xlarge. A instância mínima recomendada para uma avaliação é ml.m5.2xlarge. Neste exemplo, o trabalho é executado por 45 minutos (dependendo do tamanho do conjunto de dados). Neste exemplo, o custo seria de USD 1,48 para o trabalho de avaliação e resultados detalhados.

    Horas de trabalho de processamento (exemplo)

    Região

    Tipo de instância

    Instância

    Custo por hora

    Custo

    0,45

    US-east-1

    Hospedagem LLM

    ml.g5.2xlarge

    1,52 USD

    USD 1,14

    0,45

    US-east-1

    avaliação

    ml.m5.2xlarge

    USD 0,46

    USD 0,35

    Total

           

    USD 1,48

    No exemplo a seguir, o mesmo engenheiro na Virgínia executa outro trabalho de avaliação para a precisão da tarefa de resumo, mas usa uma versão personalizada do Llama 2 7B que é implantada em sua conta e está em funcionamento. Nesse caso, como o modelo já está implantado em sua conta, o único custo incremental seria para a instância de avaliação.

    Horas de trabalho de processamento

    Região

    Tipo de instância

    Instância

    Custo por hora

    Custo

    0,45

    US-east-1

    avaliação

    ml.m5.2xlarge

    USD 0,46

    USD 0,35

    Total

           

    USD 0,35

  • No exemplo a seguir, um engenheiro de machine learning no Leste dos EUA (Norte da Virgínia) executa uma avaliação humana do Llama-2-7B para a precisão da tarefa de resumo e usa sua própria mão de obra privada para a avaliação. O tipo de instância recomendado para Llama-2-7B é ml.g5.2xlarge. A instância mínima recomendada para um trabalho de processamento de avaliação por pessoas é ml.t3.medium. A inferência no Llama-2-7B é executada por 45 minutos (depende do tamanho do conjunto de dados). O conjunto de dados contém 50 solicitações e o desenvolvedor exige que 2 trabalhadores avaliem cada conjunto de prompts de resposta (configurável na criação do trabalho de avaliação como parâmetro “trabalhadores por prompt”). Haverá 100 tarefas neste trabalho de avaliação (1 tarefa para cada par de resposta de prompt por cada trabalhador: 2 trabalhadores x 50 conjuntos de respostas de prompt = 100 tarefas humanas). A mão de obra humana leva um dia (24 horas) para concluir todas as 100 tarefas de avaliação humana no trabalho de avaliação (depende do número e do nível de habilidade dos trabalhadores e da duração/complexidade dos prompts e das respostas de inferência).

    Horas de computação

    Tarefas humanas

    Região

    Tipo de instância

    Instância

    Custo por hora

    Custo por tarefa humana

    Custo total

    0,45

     

    Leste dos EUA (Norte da Virgínia)

    Hospedagem LLM

    ml.g5.2xlarge

    1,52 USD

     

    USD 1,14

    24

     

    Leste dos EUA (Norte da Virgínia)

    Trabalho de processamento

    ml.t3.medium

    0,05 USD

     

    USD 1,20

     

    100

    Qualquer

         

    USD 0,21

    USD 21,00

    Total

               

    USD 23,34

    No próximo exemplo, o mesmo engenheiro no Leste dos EUA (Norte da Virgínia) executa o mesmo trabalho de avaliação, mas usa o Llama-2-7B já implantado em sua conta e em funcionamento. Nesse caso, o único custo incremental seria para o trabalho de processamento de avaliação e para as tarefas humanas.

    Horas de computação

    Tarefas humanas

    Região

    Tipo de instância

    Instância

    Custo por hora

    Custo por tarefa humana

    Custo total

    24

     

    Leste dos EUA (Norte da Virgínia)

    Trabalho de processamento

    ml.t3.medium

    0,05 USD

     

    USD 1,20

     

    100

    Qualquer

         

    USD 0,21

    USD 21,00

    Total

               

    USD 22,20