Geral

P: O que é o Amazon SageMaker?

O Amazon SageMaker é um serviço totalmente gerenciado que permite que cientistas de dados e desenvolvedores criem, treinem e implantem de modo rápido e fácil modelos de Machine Learning.

P: O que posso fazer com o Amazon SageMaker?

O Amazon SageMaker permite que os desenvolvedores e cientistas criem modelos de Machine Learning para uso em aplicativos inteligentes e preditivos.

P: Como posso começar a usar o Amazon SageMaker?

Para começar a usar o Amazon SageMaker, faça login no console do Amazon SageMaker, inicie uma instância de notebook com um notebook de exemplo, modifique-o para conexão às fontes de dados, siga o exemplo para criar/treinar/validar modelos e implante o modelo resultante em produção com apenas algumas entradas.

P: Em quais regiões o Amazon SageMaker está disponível?

Para obter uma lista das regiões da AWS em que o Amazon SageMaker está disponível, acesse a Tabela de regiões da AWS de toda a infraestrutura global da AWS. Para obter mais informações, consulte Regiões e endpoints na Referência geral da AWS.

P: Posso obter um histórico das chamadas de API do Amazon SageMaker realizadas na minha conta para fins de análise de segurança ou solução de problemas operacionais? 

Sim. Para receber um histórico das chamadas de API do Amazon SageMaker efetuadas na sua conta, basta ativar o AWS CloudTrail no Console de Gerenciamento da AWS. As seguintes chamadas de API no Amazon SageMaker Runtime *não* são gravadas e entregues: InvokeEndpoint.

P: Qual a disponibilidade dos serviços do Amazon SageMaker?

O Amazon SageMaker foi projetado para oferecer alta disponibilidade. Não há janelas de manutenção nem tempos de inatividade programados. As APIs do Amazon SageMaker são executadas nos datacenters comprovados e de alta disponibilidade da Amazon, com replicação da pilha de serviços configurada em três unidades em cada região da AWS para proporcionar tolerância a falhas em caso de falha de servidor ou interrupção de zona de disponibilidade.

P: Quais as medidas de segurança implementadas no Amazon SageMaker?

O Amazon SageMaker garante que os artefatos de modelos de Machine Learning e outros artefatos de sistema sejam criptografados quando em trânsito e quando ociosos. As solicitações para a API e o console do Amazon SageMaker são efetuadas em uma conexão segura (SSL). Você envia funções do AWS Identity and Access Management ao Amazon SageMaker para fornecer permissões para acessar recursos em seu nome para fins de treinamento e implantação. Você pode usar buckets do S3 criptografados para modelar artefatos e datas, bem como passar uma chave do KMS a notebooks, trabalhos de treinamento e endpoints do Amazon SageMaker para criptografar o volume associado de armazenamento de Machine Learning.

P: Como o Amazon SageMaker protege meu código?

O Amazon SageMaker armazena código em volumes de armazenamento de Machine Learning, protegidos por security groups e, opcionalmente, criptografados quando ociosos.

P: Como sou cobrado pelo uso do Amazon SageMaker?

Você paga pelos recursos de computação, armazenamento e processamento de dados de Machine Learning usados para hospedar o notebook, treinar o modelo, executar previsões e registrar as saídas. O Amazon SageMaker permite selecionar o número e o tipo de instâncias usadas para o notebook hospedado, para treinamento e para hospedagem de modelos. O pagamento é feito conforme o uso. Não há taxas mínimas nem compromissos antecipados.

P: E se eu tiver o meu próprio ambiente de notebook, treinamento ou hospedagem?

O Amazon SageMaker oferece um fluxo de trabalho completo e abrangente, mas você pode continuar a usar suas ferramentas atuais com o Amazon SageMaker. É possível transferir facilmente os resultados de cada fase para dentro e para fora do Amazon SageMaker para atender a requisitos de negócios.

Notebooks Jupyter hospedados

P: Quais tipos de notebooks têm suporte?

No momento, os notebooks Jupyter têm suporte.

P: Como persistir arquivos de notebook quando paro a minha área de trabalho?

Você pode persistir arquivos do notebook no volume de armazenamento de Machine Learning associado. O volume de armazenamento de Machine Learning será desassociado quando a instância do notebook for desligada. Quando a instância for reiniciada, o volume será associado novamente. Os itens armazenados na memória não serão persistidos.

P: Como posso aumentar os recursos disponíveis para um notebook?

Você pode modificar a instância do notebook e selecionar um perfil maior por meio do console do Amazon SageMaker após salvar os arquivos e os dados no volume de armazenamento de Machine Learning associado. A instância do notebook será reiniciada com mais recursos disponíveis, com os mesmos arquivos de notebook e bibliotecas instaladas.

P: Como posso treinar um modelo de um notebook do Amazon SageMaker?

Após iniciar um notebook de exemplo, você poderá personalizá-lo de acordo com a fonte de dados e o schema, e executar as APIs da AWS para criar um trabalho de treinamento. O progresso ou a conclusão do trabalho de treinamento estão disponíveis no console do Amazon SageMaker ou por meio das APIs da AWS.

Treinamento de modelos

P: O que é Treinamento gerenciado de spots?

O Treinamento gerenciado de spots com o Amazon SageMaker permite treinar seus modelos de machine learning usando instâncias spot do Amazon EC2 e reduzir o custo do treinamento de seus modelos em até 90%.

P: Como uso o Treinamento gerenciado de spots?

Você habilita a opção de Treinamento gerenciado de spots ao enviar suas tarefas de treinamento e também especifica por quanto tempo aguardará a capacidade spot. O Amazon SageMaker usará as instâncias spot do Amazon EC2 para executar sua tarefa e gerenciar a capacidade spot. Você tem total visibilidade do status de sua tarefa de treinamento, tanto enquanto ela está em execução como enquanto ela está aguardando a capacidade.

P: Como devo usar o Treinamento gerenciado de spots?

O Treinamento gerenciado de spots é ideal quando você tem a flexibilidade com suas execuções de treinamento e quando quer minimizar o custo de suas tarefas de treinamento. Com o Treinamento gerenciado de spots, você pode reduzir o custo de treinar seus modelos de machine learning em até 90%.

P:Como o Treinamento gerenciado de instância funciona?

O Treinamento gerenciado de spots usa instâncias spot do Amazon EC2 para treinamento, e essas instâncias poderão ser pré-esvaziadas quando a AWS precisar de capacidade. Como resultado, as tarefas de Treinamento gerenciado de spots podem ser executadas em pequenos incrementos como e quando a capacidade se tornar disponível. As tarefas de treinamento não precisam ser reiniciadas do zero quando há um interrupção já que o Amazon SageMaker pode retomar tarefas de treinamento usando o ponto de verificação mais recente do modelo. As estruturas integradas e os algoritmos integrados de visão de computador com o Amazon SageMaker habilitam pontos de verificação periódicos, e é possível habitá-los com modelos personalizados.

P: Preciso usar um ponto de verificação periodicamente com o Treinamento gerenciado de spots?

Recomendamos usar pontos de verificação periódicos como melhor prática para execução prolongada de tarefas de treinamento. Isso impede que suas tarefas de Treinamento gerenciado de spots sejam reinicializadas se a capacidade for pré-esvaziada. Quando você habilita os pontos de verificação, o Amazon SageMaker retoma suas tarefas de Treinamento gerenciado de spots desde o ponto de verificação mais recente. 

P: Como você calcula a economia de custo com tarefas de Treinamento gerenciado de spots?

Depois de concluir uma tarefa de Treinamento gerenciado de spots, você pode ver a economia do Console de Gerenciamento da AWS e também calcular a economia de custo como a diferença percentual entre a duração da tarefa de treinamento e a duração que foi faturada.

Independentemente de quantas vezes suas tarefas de Treinamento gerenciado de spots foram interrompidas, você será cobrado somente uma vez com base na quantidade de dados obtidos por download.

P: Quais instâncias posso usar com o Treinamento gerenciado de instâncias?

O Treinamento gerenciado de instâncias pode ser usado com todas as instâncias compatíveis com o Amazon SageMaker.

P: Que regiões da AWS são compatíveis com o Treinamento gerenciado de spots?

O Treinamento gerenciado de spots é compatível com todas as regiões da AWS em que o Amazon SageMaker está disponível atualmente.

P: Há limite para o tamanho do conjunto de dados que posso usar para treinamento?

Não há limites fixos para o tamanho do conjunto de dados que pode ser usado para modelos de treinamento com o Amazon SageMaker.

P: Quais fontes de dados posso usar facilmente com o Amazon SageMaker?

Você pode especificar o local dos dados de treinamento no Amazon S3 como parte da criação de um trabalho de treinamento.

P: Quais algoritmos são usados pelo Amazon SageMaker para gerar modelos?

O Amazon SageMaker inclui algoritmos incorporados para regressão linear, regressão logística, agrupamentos k-means, análise de componente principal, máquinas de fatorização, modelagem de tópicos neural, alocação latente de dirichlet, árvores reforçadas com gradiente, sequence2sequence, previsão de séries temporais, word2vec e classificação de imagens. O Amazon SageMaker também disponibiliza contêineres otimizados do Apache MXNet, do Tensorflow, do Chainer e do PyTorch. Além disso, o Amazon SageMaker oferece suporte a algoritmos de treinamento personalizados fornecidos por meio de uma imagem de Docker de acordo com a especificação documentada.

P: O que é o ajuste automático de modelos?

A maioria dos algoritmos de machine learning expõe diversos parâmetros que controlam a operação do algoritmo subjacente. Normalmente, esses parâmetros são mencionados como hiperparâmetros e seus valores afetam a qualidade dos modelos treinados. O ajuste automático de modelos é o processo de encontrar um conjunto de hiperparâmetros de um algoritmo que gera um modelo ideal.

P: Quais modelos podem ser ajustados com o ajuste automático de modelos?

Você pode executar o ajuste automático de modelos no Amazon SageMaker para qualquer algoritmo, desde que cientificamente viável, incluindo algoritmos incorporados do SageMaker, redes neurais profundas ou algoritmos arbitrários a serem incorporados ao Amazon SageMaker na forma de imagens de Docker.

P: Posso usar o ajuste automático de modelos fora do Amazon SageMaker?

Não neste momento. A performance e a experiência do ajuste de modelos são melhores dentro do Amazon SageMaker.

P: Qual é o algoritmo de ajuste subjacente?

No momento, o nosso algoritmo de ajuste de hiperparâmetros é uma implementação personalizada da otimização bayesiana. Essa implementação pretende otimizar uma métrica de objetivo especificada pelo cliente durante todo o processo de ajuste. Especificamente, a implementação verifica a métrica do objeto para trabalhos de treinamento concluídos e usa esse conhecimento para inferir a combinação de hiperparâmetros para o próximo trabalho de treinamento.

P: A AWS recomenda hiperparâmetros específicos para ajuste?

Não. O impacto de determinados hiperparâmetros sobre o desempenho do modelo depende de vários fatores. É difícil afirmar com certeza se um hiperparâmetro é mais importante que os demais e, portanto, precisa de ajuste. Para algoritmos incorporados ao Amazon SageMaker, informamos se um hiperparâmetro é ajustável.

P: Quanto tempo demora o trabalho de ajuste de um hiperparâmetro?

A duração do trabalho de ajuste de um hiperparâmetro depende de vários fatores, incluindo o tamanho dos dados, o algoritmo subjacente e os valores dos hiperparâmetros. Além disso, os clientes podem escolher o número de trabalhos de treinamento simultâneos e o seu número total. Todas essas escolhas afetam a duração do trabalho de ajuste de hiperparâmetros. 

P: Posso otimizar simultaneamente vários objetivos como, por exemplo, a velocidade e a precisão de um modelo?

Não neste momento. Por enquanto, é necessário especificar uma única métrica de objetivo a ser otimizada, ou alterar o código do algoritmo para emitir uma nova métrica (que é uma média ponderada entre duas ou mais métricas úteis) e fazer o processo de ajuste otimizar considerando essa nova métrica de objetivo.

P: Quanto custa o ajuste automático de modelos?

O trabalho de ajuste de hiperparâmetros não é cobrado. Serão cobradas as tarefas de treinamento iniciadas pela tarefa de ajuste de hiperparâmetros, de acordo com a definição de preço de treinamento dos modelos.

P: O que é aprendizado por reforço?

O aprendizado por reforço é uma técnica de machine learning que permite que um agente aprenda em um ambiente interativo por tentativa e erro, usando feedback recebido por suas próprias ações e experiências.

P: Posso treinar modelos de aprendizado por reforço no Amazon SageMaker?

Sim, você pode treinar modelos de aprendizado por reforço no Amazon SageMaker, além dos modelos de aprendizado supervisionado e não supervisionado.

P: Qual é a diferença entre o aprendizado por reforço e o aprendizado supervisionado?

Embora ambos os aprendizados usem mapeamento entre entrada e saída, ao contrário do aprendizado supervisionado em que o feedback fornecido para o agente é o conjunto correto de funções para execução de uma tarefa, o aprendizado por reforço usa um feedback atrasado onde sinais de recompensa são otimizados para garantir um objetivo a longo prazo por meio de uma sequência de ações.

P: Quando devo usar o aprendizado por reforço?

Enquanto o objetivo das técnicas de aprendizado supervisionado é encontrar a resposta certa com base nos padrões dos dados de treinamento, o objetivo das técnicas de aprendizado não supervisionado é encontrar semelhanças e diferenças entre os pontos de dados. Em contraste, o objetivo das técnicas de aprendizado por reforço é aprender como alcançar um resultado desejado mesmo quando não estiver claro o que deve ser feito para isso. Como resultado, o RL (reinforcement learning, aprendizado por reforço) é mais adequado para habilitar aplicativos inteligentes onde um agente pode tomar decisões autônomas, como robótica, veículos autônomos, HVAC, controle industrial e muito mais.

P: Quais tipos de ambientes possa usar para o treinamento dos modelos de aprendizado por reforço?

O RL do Amazon SageMaker oferece suporte a diversos ambientes diferentes para treinamento dos modelos de aprendizado por reforço. Use serviços da AWS, como o AWS RoboMaker, ambientes de código aberto ou ambientes personalizados desenvolvidos usando interfaces Open AI Gym, ou ambientes de simulação comerciais, como o MATLAB e o SimuLink.

P: Preciso escrever meus próprios algoritmos de agente de RL para treinar os modelos de aprendizado por reforço?

Não, o RL do Amazon SageMaker inclui toolkits de RL, como Coach and Ray RLLib, que oferecem implementações de algoritmos do agente de RL, como DQN, PPO, A3C e muito mais.

P: Posso usar minhas próprias bibliotecas de RL e implementação de algoritmo, e executar no RL do Amazon SageMaker?

Sim, você pode usar suas próprias bibliotecas de RL e implementações de algoritmo em contêineres Docker e executá-las no RL do Amazon SageMaker.

P: Posso fazer lançamentos distribuídos usando o RL do Amazon SageMaker?

Sim. Também é possível selecionar um cluster heterogêneo onde o treinamento pode ser executado em uma instância da GPU e as simulações podem ser executadas em várias instâncias da CPU.

P: O que é o Amazon SageMaker Neo?

O Amazon SageMaker Neo é um novo recurso que permite que os modelos de machine learning sejam treinados uma vez e executados em qualquer lugar na nuvem e localmente. O SageMaker Neo otimiza automaticamente os modelos criados com estruturas de deep learning populares que podem ser usadas para implantação em várias plataformas de hardware. Os modelos otimizados são executados até duas vezes mais rápido e consomem menos de um décimo dos recursos dos modelos de machine learning usuais.

P: Como posso começar a usar o Amazon SageMaker Neo?

Para começar a usar o Amazon SageMaker Neo, faça login no console do Amazon SageMaker, escolha um modelo de treinamento, siga o exemplo para compilar modelos e implante o modelo resultante na plataforma de hardware de destino.

P: Quais são os principais componentes do Amazon SageMaker Neo?

O Amazon SageMaker Neo contém dois componentes principais – um compilador e um tempo de execução. Primeiro, o compilador Neo lê os modelos exportados por estruturas diferentes. Em seguida, ele converte as funções e operações específicas para cada estrutura em uma representação intermediária indiferente à estrutura. Depois, realiza uma série de otimizações. Em seguida, o compilador gera código binário para as operações otimizadas e grava em uma biblioteca de objetos compartilhados. O compilador também salva a definição do modelo e os parâmetros em arquivos separados. Durante a execução, o tempo de execução do Neo carrega os artefatos gerados pelo compilador – definição do modelo, parâmetros e a biblioteca de objetos compartilhados para executar o modelo.

P: Preciso usar o SageMaker para treinar meu modelo com o intuito de usar o Neo para converter o modelo?

Não. Você pode treinar os modelos em outros lugares e usar o Neo para otimizá-los para instâncias de ML do SageMaker ou dispositivos compatíveis do Greengrass. 

P: A quais modelos o SageMaker Neo oferece suporte?

Atualmente, o SageMaker Neo oferece suporte à maioria dos modelos de deep learning que alimentam os aplicativos de visão computacional e os modelos de árvore de decisões mais populares usados no Amazon SageMaker atualmente. O Neo otimiza o desempenho dos modelos AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet e DenseNet treinados em MXNet e TensorFlow, e modelos de floresta de corte de classificação e aleatórios treinados em XGBoost.

P: A quais plataformas o SageMaker Neo oferece suporte?

Atualmente, o Neo oferece suporte às instâncias ML.C5, ML.C4, ML.M5, ML.M4, ML.P3 e ML.P2 do SageMaker e aos dispositivos AWS DeepLens, Raspberry Pi e Jetson TX1 e TX2, e às CPUs Intel® Atom e Intel® Xeon, ARM Cortex-A e GPUs Nvidia Maxwell e Pascal baseadas em dispositivo do Greengrass.

P: Preciso usar uma versão específica de uma estrutura compatível com o hardware de destino?

Não. Os desenvolvedores podem executar os modelos usando o contêiner do SageMaker Neo sem dependências na estrutura.

P: Quanto custa usar o SageMaker Neo?

Você paga pelo uso da instância de ML do SageMaker que executa a inferência usando o SageMaker Neo.

P: Em quais regiões da AWS do SageMaker Neo está disponível?

No momento, o SageMaker Neo está disponível nas seguintes regiões da AWS: Norte da Virgínia, Oregon, Ohio, Irlanda, Ásia-Pacífico (Tóquio), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Seul), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Hong Kong), Canadá (Central), UE (Frankfurt), UE (Londres), UE (Paris), UE (Estocolmo), América do Sul (São Paulo) e Oeste dos EUA (Carolina do Norte).

P: O que é o rastreamento de modelos do Amazon SageMaker?

O rastreamento de modelos do Amazon SageMaker permite que você encontre e avalie rapidamente os treinamentos de modelos mais relevantes entre centenas e milhares de tarefas de treinamento de modelos do Amazon SageMaker. O SageMaker Search está disponível por meio do Console de Gerenciamento da AWS e das APIs do AWS SDK para o Amazon SageMaker.

P: Como posso organizar e rastrear minhas execuções de treinamento do modelo?

Usando o recurso de rastreamento de modelos, você pode pesquisar e organizar as execuções de treinamento do modelo por qualquer propriedade da tarefa de treinamento de sua escolha, como a hora de criação da tarefa de treinamento, URI do conjunto de dados do treinamento, valores de parâmetro hyper ou qualquer metadado da tarefa de treinamento. Uma maneira flexível de organizar e agrupar as tarefas de treinamento relacionadas é usar tags para rotular as tarefas de treinamento do modelo. Pesquisar por tags permite encontrar rapidamente as execuções de treinamento do modelo associadas a um projeto comercial específico, um laboratório de pesquisa ou uma equipe de ciência de dados, ajudando a categorizar e catalogar significativamente suas execuções de treinamento do modelo.

P: Como posso criar um placar de execuções do treinamento usando os recursos de rastreamento de modelos?

As tarefas de treinamento de modelo são apresentadas a você no console de gerenciamento da AWS em formato tabular, semelhante a um placar. Elas contêm todos os hiperparâmetros e as métricas de treinamento de modelo apresentados em colunas que podem ser classificadas. Você pode clicar no cabeçalho da coluna para classificar o placar pela métrica de desempenho objetiva de sua escolha. Você também pode comparar e classificar rapidamente as execuções de treinamento de modelo com base em métricas de desempenho, como perda de treinamento e precisão de validação, usando, assim, placares para escolher modelos “decisivos” para implantação em ambientes de produção.

P: Como eu rastreio a linhagem de modelo ou endpoint?

Navegue até “Endpoints” no Console de Gerenciamento da AWS para o Amazon SageMaker e escolha o endpoint na lista de todos os endpoints implantados. Em seguida, vá até “Endpoint Configuration Settings” (Definições de configuração do endpoint) na página do endpoint escolhido para ver todas as versões do modelo implantadas no endpoint. Ao lado de cada versão do modelo você pode ver um link direto para a tarefa de treinamento do modelo que criou o modelo.

Implantação de modelo

P: Posso acessar a infraestrutura em que o Amazon SageMaker é executado?

Não. O Amazon SageMaker opera a infraestrutura de computação em seu nome, o que permite executar verificações de integridade, aplicar patches de segurança e realizar outras manutenções de rotina. Você também pode implantar os artefatos do modelo do treinamento com código de inferência personalizado no seu próprio ambiente de hospedagem.

P: Como posso escalar o tamanho e a performance de um modelo do Amazon SageMaker após implantá-lo em produção?

A hospedagem do Amazon SageMaker escala automaticamente a performance necessária para o aplicativo usando Application Auto Scaling. Além disso, você pode alterar manualmente o número e o tipo de instâncias sem causar tempo de inatividade por meio da modificação da configuração do endpoint.

P: Como posso monitorar o ambiente de produção do Amazon SageMaker?

O Amazon SageMaker emite métricas de performance para o Amazon CloudWatch Metrics para que você possa rastrear métricas, definir alarmes e reagir automaticamente a mudanças no tráfego de produção. Além disso, o Amazon SageMaker escreve logs para o Amazon Cloudwatch Logs, o que permite monitorar e solucionar problemas do ambiente de produção.

P: Que tipos de modelos podem ser hospedados com o Amazon SageMaker?

O Amazon SageMaker pode hospedar qualquer modelo que siga a especificação documentada para imagens de Docker de inferência. Isso inclui os modelos criados de artefatos de modelo e código de inferência do Amazon SageMaker.

P: A quantas solicitações de API concorrentes em tempo real o Amazon SageMaker consegue oferecer suporte?

O Amazon SageMaker foi criado para escalar para um grande número de transações por segundo. O número preciso varia em função do modelo implantado e do número e do tipo de instâncias nas quais o modelo é implantado.

P: O que é o Batch Transform?

O Batch Transform permite que você execute previsões em dados em lotes grandes ou pequenos. Não há necessidade de dividir o conjunto de dados em diversas partes nem gerenciar endpoints em tempo real. Com uma API simples, você pode solicitar previsões para um grande número de registros de dados e transformar os dados de maneira rápida e fácil.

Saiba mais sobre a definição de preço do Amazon SageMaker

Acesse a página de definição de preço
Pronto para começar?
Cadastrar-se
Tem outras dúvidas?
Entre em contato conosco