- Produtos›
- Armazenamento›
- Amazon S3
Perguntas frequentes sobre o Amazon S3
Tópicos da página
- Perguntas frequentes gerais sobre o S3
20
- Regiões da AWS
6
- Faturamento
10
- Tabelas do S3
18
- S3 Vectors
12
- Amazon S3 e IPv6
4
- Notificações de eventos do S3
5
- Aceleração de Transferências do Amazon S3
12
- Segurança
14
- Concessão de Acesso do S3
19
- Pontos de acesso do S3
13
- Durabilidade e proteção de dados
23
- Classes de armazenamento
2
- S3 Intelligent-Tiering
15
- S3 Standard
2
- S3 Express One Zone
16
- S3 Standard-Infrequent Access (S3 Standard – IA)
8
- S3 One Zone-Infrequent Access (S3 One Zone-IA)
6
- Classe de armazenamento Amazon S3 Glacier Instant Retrieval
8
- Classe de armazenamento Amazon S3 Glacier Flexible Retrieval
10
- Amazon S3 Glacier Deep Archive
10
- S3 no Outposts
1
- Gerenciamento de armazenamento
46
- Análise e informações de armazenamento
12
- Consulta no local
4
- Replicação
32
- Processamento de dados
9
- Acesso aos dados
20
- Navegador de Armazenamento para Amazon S3
9
Perguntas frequentes gerais sobre o S3
Abrir tudoUm bucket de tabela é criado especificamente para armazenar tabelas usando o formato do Apache Iceberg. Use o Amazon S3 Tables para criar buckets de tabela e configurar permissões em nível de tabela em apenas algumas etapas. Os buckets de tabela do S3 são otimizados especificamente para workloads de analytics e machine learning. Com suporte integrado ao Apache Iceberg, você pode consultar dados tabulares no S3 com mecanismos de consulta populares, incluindo o Amazon Athena, Amazon Redshift e Apache Spark. Use os buckets de tabela do S3 para armazenar dados tabulares, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios, como uma tabela do Iceberg no Amazon S3 e, em seguida, interaja com esses dados usando recursos de analytics.
Um bucket de vetores foi criado especificamente para armazenar e consultar vetores. Em um bucket de vetores, você não usa as APIs de objetos do S3, mas sim APIs vetoriais dedicadas para gravar dados vetoriais e consultá-los com base no significado semântico e na similaridade. Você pode controlar o acesso aos seus dados vetoriais com os mecanismos de controle de acesso existentes no Amazon S3, incluindo políticas de bucket e IAM. Todas as gravações em um bucket de vetores são fortemente consistentes, o que significa que você pode acessar imediatamente os vetores adicionados mais recentemente. À medida que você escreve, atualiza e exclui vetores ao longo do tempo, os buckets de vetores do S3 otimizam automaticamente os dados vetoriais armazenados neles para obter a melhor relação preço/performance, mesmo com a escalabilidade e a evolução dos conjuntos de dados.
Um bucket é um contêiner de tabelas e objetos armazenados no Amazon S3, e você pode armazenar qualquer quantidade de objetos em um bucket. Os buckets de uso geral são o tipo original de bucket do S3, e um único bucket de uso geral pode conter objetos armazenados em todas as classes de armazenamento, exceto no S3 Express One Zone. Eles são recomendados para a maioria dos casos de uso e padrões de acesso. Buckets de diretório do S3 permitem somente objetos armazenados na classe de armazenamento S3 Express One Zone, que fornece processamento de dados mais rápido em uma única zona de disponibilidade. Eles são recomendados para casos de uso de baixa latência. Cada bucket de diretório do S3 pode oferecer suporte a até 2 milhões de transações por segundo (TPS), independentemente do número de diretórios dentro dele. Os buckets de tabela do S3 são criados especificamente para armazenar dados tabulares no S3, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios. Ao usar um bucket de tabela, seus dados são armazenados como uma tabela do Iceberg no S3 e, em seguida, você pode interagir com esses dados usando recursos de analytics, como transações em nível de linha, snapshots de tabelas consultáveis e muito mais, todos gerenciados pelo S3. Além disso, os buckets de tabela realizam a manutenção contínua das tabelas para otimizar automaticamente a eficiência das consultas ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake. Os buckets vetoriais do S3 foram criados especificamente para armazenar e consultar vetores. Em um bucket vetorial, você usa APIs vetoriais dedicadas para gravar dados vetoriais e consultá-los com base no significado semântico e na similaridade. Você pode controlar o acesso aos seus dados vetoriais usando os mecanismos de controle de acesso existentes no Amazon S3, incluindo políticas de bucket e IAM. À medida que você escreve, atualiza e exclui vetores ao longo do tempo, os buckets vetoriais do S3 otimizam automaticamente os dados vetoriais armazenados neles para obter a melhor relação preço/desempenho, mesmo com a escalabilidade e a evolução dos conjuntos de dados.
Regiões da AWS
Abrir tudoA classe de armazenamento Amazon S3 One Zone – IA replica dados em uma única zona de disponibilidade. Os dados armazenados no S3 One Zone – IA não são resilientes à perda física de uma zona de disponibilidade resultante de desastres, como terremotos, incêndios e inundações.
Faturamento
Abrir tudo2) Dia 16 do mês: você realiza uma operação PUT de 5 GB (5.368.709.120 bytes) dentro do mesmo bucket usando a mesma chave que a da operação PUT original no Dia 1º.
Ao analisar os custos de armazenamento das operações acima, observe que o objeto de 4 GB do Dia 1º não foi excluído do bucket quando o objeto de 5 GB foi gravado no Dia 15. Em vez disso, o objeto de 4 GB é preservado como uma versão mais antiga e o objeto de 5 GB se torna a versão mais recentemente gravada do objeto dentro de seu bucket. No final do mês: uso total de bytes por hora
[4.294.967.296 bytes x 31 dias x (24 horas/dia)] + [5.368.709.120 bytes x 16 dias x (24 horas/dia)] = 5.257.039.970.304 byte-horas. Conversão para total de GB-meses
5.257.039.970.304 bytes-hora x (1 GB/1.073.741.824 bytes) x (1 mês/744 horas) = 6,581 GB/mês O custo é calculado com base nas tarifas atuais para sua região na página de preços do Amazon S3.
Tabelas do S3
Abrir tudoO S3 Tables fornece um armazenamento do S3 desenvolvido com propósito específico para armazenar dados estruturados no formato Apache Parquet, Avro e ORC. Em um bucket de tabelas, é possível criar tabelas como recursos primários diretamente no S3. Essas tabelas podem ser protegidas com permissões a nível de tabela definidas em políticas baseadas em identidade ou em recursos e são acessíveis por aplicações ou ferramentas compatíveis o padrão do Apache Iceberg. Ao criar uma tabela no bucket de tabelas, os dados subjacentes no S3 são armazenados como arquivos no formato Parquet, Avro ou ORC. Em seguida, o S3 usa o padrão do Apache Iceberg para armazenar os metadados necessários para tornar esses dados consultáveis pelas aplicações. O S3 Tables inclui uma biblioteca de cliente que é usada por mecanismos de consulta para navegar e atualizar os metadados do Iceberg das tabelas no bucket de tabelas. Essa biblioteca, em conjunto com as APIs do S3 atualizadas para operações de tabelas, permite que vários clientes realizem a leitura e a gravação de dados com segurança em suas tabelas. Ao longo do tempo, o S3 realiza a otimização automática dos dados no formato Parquet, Avro ou ORC subjacentes ao reescrever ou “compactar” os objetos. A compactação otimiza os dados armazenados no S3 para aprimorar a performance das consultas.
Você pode começar a usar o S3 Tables em apenas algumas etapas simples, sem precisar montar nenhuma infraestrutura fora do S3. Primeiro, crie um bucket de tabela no console do S3. Como parte da criação do seu primeiro bucket de tabela por meio do console, a integração com os serviços do AWS Analytics ocorre automaticamente, o que permite que o S3 preencha automaticamente todos os buckets e tabelas da sua conta e região no Catálogo de Dados do AWS Glue. Depois disso, o S3 Tables estará acessível aos mecanismos de consulta da AWS, como Amazon Athena, EMR e Redshift. Em seguida, você poderá clicar para criar uma tabela usando o Amazon Athena a partir do console do S3. Uma vez no Athena, você poderá começar a preencher novas tabelas e consultá-las rapidamente.
Como alternativa, você pode acessar as tabelas do S3 usando o endpoint do catálogo Iceberg REST por meio do Catálogo de Dados do AWS Glue, que permite descobrir todo o seu patrimônio de dados, incluindo todos os recursos da tabela. Você também pode se conectar diretamente a um endpoint de bucket de tabela individual para descobrir todos os recursos do S3 Tables dentro desse bucket. Isso permite que você use o S3 Tables com qualquer aplicação ou mecanismo de consulta compatível com a especificação do catálogo REST do Apache Iceberg.
Você pode esperar uma performance de consultas até três vezes mais rápida e até dez vezes mais transações por segundo (TPS) em comparação ao armazenamento de tabelas do Iceberg em buckets de uso geral do Amazon S3. Isso ocorre porque os buckets de tabela compactam automaticamente os dados subjacentes no formato Parquet, Avro ou ORC para suas tabelas a fim de otimizar a performance de consultas, e o armazenamento com propósito específico oferece suporte a dez vezes mais o volume padrão de TPS.
Os buckets de tabela permitem aplicar políticas de recursos a todo o bucket ou a tabelas individuais. As políticas de bucket de tabela podem ser aplicadas usando as APIs PutTablePolicy e PutTableBucketPolicy. As políticas em nível de tabela permitem que você gerencie permissões para tabelas em seus buckets de tabela com base na tabela lógica à qual elas estão associadas, sem precisar entender a localização física de arquivos individuais no formato Parquet, Avro ou ORC. Além disso, o Bloqueio de Acesso Público do S3 é sempre aplicado aos buckets de tabela.
Os buckets de tabela oferecem suporte ao formato de tabela Apache Iceberg com dados no formato Parquet, Avro ou ORC.
S3 Vectors
Abrir tudoVocê pode começar a usar o S3 Vectors em quatro etapas simples, sem precisar configurar nenhuma infraestrutura fora do Amazon S3. Primeiro, crie um bucket vetorial em uma região específica da AWS por meio da API CreateVectorBucket ou no console do S3. Segundo, para organizar seus dados vetoriais em um bucket vetorial, você cria um índice vetorial com a API CreateIndex ou no console do S3. Ao criar um índice vetorial, você especifica a métrica de distância (cosseno ou euclidiana) e o número de dimensões que um vetor deve ter (até 4092). Para obter resultados mais precisos, selecione a métrica de distância recomendada pelo seu modelo de incorporação. Terceiro, adicione dados vetoriais a um índice vetorial com a API PutVectors. Opcionalmente, você pode anexar metadados como pares de valores-chave a cada vetor para filtrar consultas. Quarto, realize uma consulta de similaridade usando a API QueryVectors, especificando o vetor a ser pesquisado e o número dos resultados mais semelhantes a serem retornados.
Você pode criar um índice vetorial usando o console do S3 ou a API CreateIndex. Durante a criação do índice, você especifica o intervalo vetorial, o índice, a métrica de distância, as dimensões e, opcionalmente, uma lista de campos de metadados que você deseja excluir da filtragem durante consultas de similaridade. Por exemplo, se você quiser armazenar dados associados a vetores apenas para referência, você pode especificá-los como campos de metadados não filtráveis. Após a criação, cada índice recebe um nome do recurso da Amazon (ARN) exclusivo. Posteriormente, ao fazer uma solicitação de gravação ou consulta, você a direciona para um índice vetorial dentro de um bucket vetorial.
Você pode adicionar vetores a um índice vetorial usando a API PutVectors. Cada vetor consiste em uma chave, que identifica exclusivamente cada vetor em um índice vetorial (por exemplo, você pode gerar programaticamente um UUID). Para maximizar o throughput de gravação, é recomendável inserir vetores em grandes lotes, até o tamanho máximo da solicitação. Além disso, você pode anexar metadados (por exemplo, ano, autor, gênero e local) como pares de valores-chave a cada vetor. Quando você inclui metadados, por padrão, todos os campos podem ser usados como filtros em uma consulta de similaridade, a menos que sejam especificados como metadados não filtráveis no momento da criação do índice vetorial. Para gerar novas incorporações vetoriais de seus dados não estruturados, você pode usar a API InvokeModel da Amazon Bedrock, especificando o ID do modelo de incorporação que você deseja usar.
Você pode usar a API GetVectors para pesquisar e retornar vetores e metadados associados pela chave vetorial.
Você pode executar uma consulta de similaridade com a API QueryVectors, especificando o vetor de consulta, o número de resultados relevantes a serem retornados (os k principais vizinhos mais próximos) e o ARN do índice. Ao gerar o vetor de consulta, você deve usar o mesmo modelo de incorporação usado para gerar os vetores iniciais armazenados no índice vetorial. Por exemplo, se você usa o Incorporador de Texto do Amazon Titan v2 no Amazon Bedrock para gerar incorporações de seus documentos, é recomendável usar o mesmo modelo para converter uma pergunta em vetor. Além disso, você pode usar filtros de metadados em uma consulta para pesquisar vetores que correspondam ao filtro. Quando você executa a consulta de similaridade, por padrão, as chaves vetoriais são retornadas. Opcionalmente, você pode incluir a distância e os metadados na resposta.
O S3 Vectors oferece armazenamento vetorial altamente durável e disponível. Os dados gravados no S3 Vectors são armazenados no S3, que foi projetado para 11 noves de durabilidade de dados. Projetado para oferecer disponibilidade de 99,99% com um SLA de disponibilidade de 99,9%.
O S3 Vectors oferece tempos de latência de consulta inferiores a um segundo. Ele usa o throughput elástico do Amazon S3 para lidar com pesquisas em milhões de vetores e é ideal para workloads de consultas pouco frequentes.
Para realizar consultas de similaridade para suas incorporações vetoriais, vários fatores podem afetar a recuperação média, incluindo o modelo de incorporação, o tamanho do conjunto de dados vetoriais (número de vetores e dimensões) e a distribuição das consultas. O S3 Vectors oferece uma recuperação média de mais de 90% para a maioria dos conjuntos de dados. A recuperação média mede a qualidade dos resultados da consulta. 90% significa que a resposta contém 90% dos vetores mais próximos da verdade básica, que estão armazenados no índice, do vetor da consulta. No entanto, como a performance real pode variar dependendo do seu caso de uso específico, recomendamos realizar seus próprios testes com dados e consultas representativas para validar se os índices vetoriais do S3 atendem aos seus requisitos de recall.
Você pode ver uma lista de vetores em um índice vetorial com a API ListVectors, que retorna até 1.000 vetores por vez com um indicador se a resposta estiver truncada. A resposta inclui a data da última modificação, a chave vetorial, os dados vetoriais e os metadados. Você também pode usar a API ListVectors para exportar facilmente dados vetoriais de um índice vetorial especificado. A operação ListVectors é fortemente consistente. Então, depois de escrever, você pode listar imediatamente os vetores com todas as alterações refletidas.
Com o S3 Vectors, você paga pelo armazenamento e por todas as solicitações de gravação e leitura aplicáveis (por exemplo, inserção de vetores e execução de operações de consulta em vetores em um índice vetorial). Para ver os detalhes de preços, consulte a página de preços do S3.
Sim. Ao criar uma base de conhecimento do Bedrock por meio do console ou da API do Bedrock, você pode configurar um índice vetorial do S3 como sua loja de vetores para economizar nos custos de armazenamento de vetores para casos de uso do RAG. Se você preferir deixar o Bedrock criar e gerenciar o índice vetorial para você, use o fluxo de trabalho Quick Create no console do Bedrock. Além disso, você pode configurar um novo índice vetorial do S3 como seu armazenamento de vetores para fluxos de trabalho RAG no Estúdio Unificado Amazon SageMaker.
Sim. Há duas maneiras de usar os vetores do S3 com o Amazon OpenSearch Service. Primeiro, os clientes do S3 podem exportar todos os vetores de um índice vetorial do S3 para o OpenSearch Serverless como uma nova coleção sem servidor usando o console do S3 ou do OpenSearch. Se você criar nativamente no S3 Vectors, você se beneficiará de poder usar o OpenSearch Serverless seletivamente para workloads com necessidades de consulta em tempo real. Em segundo lugar, se você é um cliente gerenciado do OpenSearch, agora pode escolher o S3 Vectors como seu mecanismo para dados vetoriais que podem ser consultados com latência inferior a um segundo. O OpenSearch então usará automaticamente o S3 Vectors como mecanismo subjacente para vetores e você poderá atualizar e pesquisar seus dados vetoriais usando as APIs do OpenSearch. Você obtém os benefícios de custo do S3 Vectors, sem alterações em suas aplicações.
Amazon S3 e IPv6
Abrir tudoNotificações de eventos do S3
Abrir tudoAceleração de Transferências do Amazon S3
Abrir tudoAcesse a seção sobre arquivos das perguntas frequentes sobre o Storage Gateway para saber mais sobre a implementação do AWS.
Segurança
Abrir tudoPara obter mais informações sobre segurança na AWS, consulte a página de segurança da AWS. Para obter informações sobre segurança do S3, visite a página de segurança do S3 e o guia de práticas recomendadas de segurança do S3.
Por padrão, os dados de objetos e metadados de objetos permanecem na zona local dedicada em que você colocou o objeto. Os dados de telemetria e gerenciamento de bucket, incluindo nomes de bucket, métricas de capacidade, logs do CloudTrail, métricas do CloudWatch, chaves gerenciadas pelo cliente do AWS Key Management Service (KMS) e políticas do Identity and Access Management (IAM), são armazenados na região da AWS principal. Opcionalmente, outros recursos de gerenciamento de buckets, como Operações em Lote do S3, armazenam metadados de gerenciamento com nomes de bucket e nomes de objeto na região da AWS principal.
Você pode criar um endpoint da VPC de interface no Console de gerenciamento de VPC da AWS, AWS Command Line Interface (AWS CLI), AWS SDK ou API. Para saber mais, consulte a documentação.
Para obter mais informações, visite a documentação do IAM Access Analyzer.
Concessão de Acesso do S3
Abrir tudoPontos de acesso do S3
Abrir tudoOs Pontos de Acesso Amazon S3 são endpoints que simplificam o gerenciamento do acesso aos dados para qualquer aplicação ou serviço da AWS que funcione com o S3. Os Pontos de Acesso S3 funcionam com buckets do S3 e com os sistemas de arquivos do Amazon FSx para OpenZFS. Você pode controlar e simplificar a forma como diferentes aplicações ou usuários podem acessar dados criando pontos de acesso com nomes e permissões personalizados para cada aplicação ou usuário.
Usando os Pontos de Acesso do S3 com buckets do S3, você não precisa mais gerenciar uma política de bucket única e complexa com centenas de regras de permissão diferentes que precisam ser gravadas, lidas, rastreadas e auditadas. Em vez disso é possível criar centenas de pontos de acesso por bucket que fornecem um caminho personalizado em um bucket, com um nome de host e uma política de acesso únicos, que aplica as permissões e os controles de rede específicos para qualquer solicitação feita por meio do ponto de acesso.
Usando Pontos de Acesso S3 com FSx para OpenZFS, você pode acessar seus dados do FSx usando a API do S3 como se os dados estivessem no S3. Com esse recurso, seus dados de arquivo no FSx para OpenZFS podem ser usados com a ampla variedade de serviços e aplicações de inteligência artificial, machine learning e analytics que funcionam com o S3, enquanto seus dados de arquivo continuam residindo no sistema de arquivos do FSx para OpenZFS.
Com os pontos de acesso do S3, você pode acessar dados de arquivos no Amazon FSx para OpenZFS usando APIs do S3 e sem mover dados para o S3. Os pontos de acesso S3 conectados aos sistemas de arquivos FSx para OpenZFS funcionam de forma semelhante à forma como os pontos de acesso S3 conectados aos buckets do S3 funcionam, fornecendo acesso aos dados via S3 com acesso controlado por políticas de acesso, enquanto os dados continuam sendo armazenados nos sistemas de arquivos FSx para OpenZFS ou nos buckets do S3. Por exemplo, quando um ponto de acesso S3 é conectado a um sistema de arquivos FSx for OpenZFS, os clientes podem usar o ponto de acesso com serviços e aplicações de IA generativa, machine learning e analytics que funcionam com o S3 para acessar seus dados do FSx para OpenZFS.
Durabilidade e proteção de dados
Abrir tudoO Amazon S3 usa uma combinação de somas de verificação Content-MD5, algoritmos de hash seguro (SHA) e verificações de redundância cíclica (CRC) para verificar a integridade dos dados. O Amazon S3 executa essas somas de verificação nos dados em repouso e repara qualquer diferença usando dados redundantes. Além disso, os SDKs mais recentes da AWS calculam automaticamente somas de verificação eficientes baseadas em CRC para todos os uploads. O S3 verifica de forma independente essa soma de verificação e só aceita objetos após confirmar que a integridade dos dados foi mantida em trânsito pela Internet pública. Se uma versão do SDK que não fornece somas de verificação pré-calculadas for usada para carregar um objeto, o S3 calculará uma soma de verificação baseada em CRC de todo o objeto, mesmo para uploads de várias partes. As somas de verificação são armazenadas nos metadados de objeto e, portanto, estão disponíveis para verificar a integridade dos dados a qualquer momento. Você pode escolher entre cinco algoritmos compatíveis de soma de verificação para a verificação de integridade dos dados nas suas solicitações de upload e download. Você pode escolher um algoritmo de soma de verificação SHA-1, SHA-256, CRC32, CRC32C ou CRC64NVME, dependendo das necessidades da sua aplicação. É possível calcular e verificar somas de verificação automaticamente conforme você armazena ou recupera dados do S3. Também é possível acessar as informações de soma de verificação a qualquer momento usando a API HeadObject S3, a API GetObjectAttributes do S3 ou um relatório de Inventário do S3. Calcular uma soma de verificação à medida que você transmite dados ao S3 economiza tempo, pois você pode verificar e transmitir seus dados em uma única passagem, em vez de duas operações sequenciais. O uso de somas de verificação para validação de dados é uma prática recomendada para a durabilidade dos dados, e essas capacidades aumentam a performance e reduzem o custo relacionado.
2) Dia 16 do mês: você realiza uma operação PUT de 5 GB (5.368.709.120 bytes) dentro do mesmo bucket usando a mesma chave que a da operação PUT original no Dia 1º.
Ao analisar os custos de armazenamento das operações acima, observe que o objeto de 4 GB do Dia 1º não foi excluído do bucket quando o objeto de 5 GB foi gravado no Dia 15. Em vez disso, o objeto de 4 GB é preservado como uma versão mais antiga e o objeto de 5 GB se torna a versão mais recentemente gravada do objeto dentro de seu bucket. No final do mês: uso total de bytes por hora
[4.294.967.296 bytes x 31 dias x (24 horas/dia)] + [5.368.709.120 bytes x 16 dias x (24 horas/dia)] = 5.257.039.970.304 byte-horas. Conversão para total de GB-meses
5.257.039.970.304 bytes-hora x (1 GB/1.073.741.824 bytes) x (1 mês/744 horas) = 6,581 GB/mês O custo é calculado com base nas tarifas atuais para sua região na página de preços do Amazon S3.
Para saber mais, acesse o Guia do usuário de bloqueio de objetos do S3.
O bloqueio de objetos do S3 tem dois modos de configuração. Quando implantado no Governance Mode (Modo de governança), contas da AWS com permissões do IAM específicas podem remover a proteção contra WORM de uma versão do objeto. Se você precisar de uma imutabilidade mais forte para conformidade com regulamentos, é possível usar o Compliance Mode (Modo de conformidade). No modo de conformidade, a proteção contra WORM não pode ser removida por nenhum usuário, incluindo a conta raiz.
Não. Você não poderá desativar o Bloqueio de objetos do S3 ou o Versionamento do S3 para buckets depois que o Bloqueio de objetos do S3 estiver habilitado.
Para começar a replicar objetos com a Replicação do S3 a partir de buckets com o Bloqueio de objetos do S3 habilitado, você pode adicionar uma configuração de replicação ao seu bucket de origem, especificando um bucket de destino na mesma região da AWS ou em uma região diferente e na mesma conta da AWS ou em uma conta diferente. É possível optar por replicar todos os objetos no nível do bucket do S3 ou por filtrar objetos em um nível de prefixo compartilhado ou em um nível de objeto usando etiquetas de objetos do S3. Você também precisará especificar um perfil do AWS Identity and Access Management (IAM) com as permissões necessárias para realizar a operação de replicação. Você pode usar o console do S3, a API da AWS, a AWS CLI, os SDKs da AWS ou o AWS CloudFormation para habilitar a replicação e deve ter o Versionamento do S3 habilitado para os buckets de origem e de destino. Além disso, para replicar objetos de buckets habilitados para o Bloqueio de objetos do S3, seu bucket de destino também deve ter o Bloqueio de objetos do S3 habilitado. Para obter mais informações, consulte a documentação sobre como configurar a replicação do S3 e usar o Bloqueio de objetos do S3 com a replicação do S3.
Sim, para replicar objetos de buckets habilitados para Bloqueio de objetos do S3, você precisa conceder duas novas permissões, s3:GetObjectRetention e s3:GetObjectLegalHold, no bucket de origem no perfil do IAM que você usa para configurar a replicação. Como alternativa, se o perfil do IAM tiver uma permissão s3:Get*, ele atenderá ao requisito. Para obter mais informações, consulte a documentação sobre como usar o Bloqueio de objetos do S3 com Replicação do S3.
Não, todos os atributos de Replicação do S3, como Replicação do S3 na Mesma Região (S3 SRR), Replicação do S3 Entre Regiões Diferentes (S3 CRR), métricas de Replicação do S3 para acompanhar o progresso, Controle de Tempo de Replicação do S3 (S3 RTC) e Replicação em Lote do S3, são compatíveis durante a replicação de buckets do Bloqueio de objetos do S3.
Você pode usar a Replicação em lote do S3 para replicar objetos existentes a partir de buckets habilitados para Bloqueio de objetos do S3. Para obter mais informações sobre a replicação de objetos existentes, consulte a documentação sobre a Replicação em lote do S3.
Classes de armazenamento
Abrir tudoAo decidir qual classe de armazenamento do S3 melhor se adapta à sua workload, considere os padrões de acesso e o tempo de retenção de seus dados a fim de otimizar para o menor custo total durante a vida útil de seus dados. Muitas workloads têm padrões de acesso variáveis (conteúdo gerado pelo usuário), imprevisíveis (analytics, data lakes) ou desconhecidos (novas aplicações) e é por isso que a S3 Intelligent-Tiering deve ser a classe de armazenamento padrão para economizar automaticamente nos custos de armazenamento. Se você conhece os padrões de acesso de seus dados, poderá seguir esta orientação. A classe de armazenamento S3 Standard é ideal para dados acessados com frequência; esta é a melhor escolha se você acessar os dados mais de uma vez por mês. A S3 Standard - Infrequent Access é ideal para dados retidos por pelo menos um mês e acessados uma ou duas vezes por mês. As classes de armazenamento Amazon S3 Glacier são desenvolvidas especificamente para o arquivamento de dados para oferecer a você a mais alta performance, a maior flexibilidade de recuperação e o armazenamento de arquivamento de menor custo na nuvem. Agora, você pode escolher entre três classes de armazenamento de arquivo otimizadas para diferentes padrões de acesso e duração de armazenamento. Para dados de arquivos que precisam de acesso imediato, como imagens médicas, ativos de mídia de notícias ou dados de genômica, escolha a classe de armazenamento S3 Glacier Instant Retrieval, que oferece o armazenamento de menor custo com recuperação em milissegundos. Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para recuperar grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, escolha o S3 Glacier Flexible Retrieval, com recuperação em minutos ou recuperações gratuitas em massa de 5 a 12 horas. Para economizar ainda mais em armazenamento de arquivo de longa duração, como arquivos de conformidade e preservação de mídia digital, escolha o S3 Glacier Deep Archive, o armazenamento de menor custo na nuvem com recuperação de dados em até 12 horas. Todas essas classes de armazenamento fornecem resiliência de zona de disponibilidade (AZ) múltipla, armazenando de forma redundante dados em vários dispositivos e zonas de disponibilidade da AWS fisicamente separadas em uma região da AWS.
Para dados que têm um requisito de resiliência menor, você pode reduzir custos selecionando uma classe de armazenamento de AZ única, como a S3 One Zone-Infrequent Access. Caso tenha requisitos de isolamento ou de residência de dados que não podem ser atendidos por uma região da AWS existente, use as classes de armazenamento do S3 em zonas locais dedicadas da AWS ou racks do S3 on Outposts para armazenar seus dados em um perímetro específico.
S3 Intelligent-Tiering
Abrir tudoNão há tamanho mínimo de objeto para a S3 Intelligent-Tiering, mas objetos com menos de 128 KB não são elegíveis para níveis automáticos. Esses objetos menores podem ser armazenados na S3 Intelligent-Tiering, mas sempre serão cobrados com as taxas do nível Frequent Access e não serão cobrados pela taxa de monitoramento e automação. Se você quiser padronizar a S3 Intelligent-Tiering como a classe de armazenamento padrão para dados recém-criados, modifique suas aplicações especificando INTELLIGENT_TIERING no cabeçalho de solicitação da API PUT do S3. A S3 Intelligent-Tiering foi projetada para disponibilidade de 99,9% e durabilidade de 99,999999999% e oferece automaticamente a mesma performance de baixa latência e alta taxa de transferência que a S3 Standard. Você pode usar o Explorador de Custos da AWS para medir as economias adicionais do nível Archive Instant Access.
Por uma pequena taxa de monitoramento e automação, a S3 Intelligent-Tiering monitora padrões de acesso e move objetos automaticamente por meio de níveis de acesso de baixa latência e alta taxa de transferência, bem como ativa dois níveis de acesso de arquivo assíncrono em que os clientes obtêm os menores custos de armazenamento na nuvem para dados que podem ser acessados de forma assíncrona.
A S3 Intelligent-Tiering não tem tamanho mínimo de objeto faturável, porém, os objetos com menos de 128 KB não se qualificam para níveis automáticos. Esses objetos pequenos não serão monitorados e sempre serão cobrados pelas taxas de nível Frequent Access, sem cobrança de monitoramento e automação. Para cada objeto arquivado no nível Archive Access ou no nível Deep Archive Access na S3 Intelligent-Tiering, o Amazon S3 usa 8 KB de armazenamento para o nome do objeto e outros metadados (faturados pelas taxas de armazenamento da S3 Standard) e 32 KB de armazenamento para índice e metadados relacionados (faturados pelas taxas de armazenamento da S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive).
S3 Standard
Abrir tudoS3 Express One Zone
Abrir tudoVocê pode importar dados da mesma região da AWS para a classe de armazenamento S3 Express One Zone por meio do console do S3 usando a opção Importar depois de criar um bucket de diretório. A importação simplifica a cópia de dados para os buckets do diretório S3, permitindo que você escolha um prefixo ou intervalo do qual importar dados sem precisar especificar todos os objetos a serem copiados individualmente. As Operações em lote do S3 copiam os objetos no prefixo selecionado ou no bucket de uso geral, e você pode monitorar o progresso do trabalho de cópia de importação por meio da página de detalhes do trabalho de Operações em lote do S3.
Os buckets de diretório do S3 que não tiverem nenhuma atividade de solicitação por um período de pelo menos 3 meses passarão para um estado inativo. Enquanto estiver em um estado inativo, um bucket de diretório fica temporariamente inacessível para leituras e gravações. Os buckets inativos retêm todo o armazenamento, os metadados do objeto e os metadados do bucket. As taxas de armazenamento existentes serão aplicadas aos buckets inativos. Em uma solicitação de acesso a um bucket inativo, o bucket passará para um estado ativo, normalmente em alguns minutos. Durante esse período de transição, as leituras e gravações retornarão um código de erro 503 SlowDown.
Suponha que você armazene 10 GB de dados na S3 Express One Zone por 30 dias, totalizando 1.000.000 de gravações e 9.000.000 de leituras, acessando com o Athena com um tamanho de solicitações de 10 KB. Em seguida, você exclui 1.000.000 de arquivos ao final de 30 dias. Supondo que seu bucket esteja na região Leste dos EUA (Norte da Virgínia), as taxas de armazenamento e solicitações são calculadas abaixo: Cobranças por armazenamento
Uso total de bytes/hora = 10 GB por mês
Custo total de armazenamento = 10 GB por mês x USD 0,11 = cobranças de solicitação de USD 1,10
1.000.000 solicitações PUT: 1.000.000 solicitações x USD 0,00113/1.000 = USD 1,13
9.000.000 solicitações GET: 9.000.000 solicitações x USD 0,00003/1.000 = USD 0,27
1.000.000 de solicitações DELETE = 1.000.000 de solicitações x USD 0,00 (sem custo) = USD 0 Cobrança de upload de dados: 10 KB/1.048.576 x 1.000.000 x USD 0,0032 = USD 0,03
Cobrança por recuperação de dados: 10 KB/ 1.048.576 x 9.000.000 x USD 0,0006 = USD 0,05
Total de cobranças = USD 1,10 + USD 1,13 + USD 0,27 + USD 0,03 + USD 0,05 = USD 2,58 Exemplo 2:
Suponha que você armazene 10 TB de dados para treinamento de machine learning para uma workload de 8 horas todos os dias e depois os exclua. Durante a workload de 8 horas, você faz 5.242.880 gravações e 10.485.760 leituras para um tamanho de solicitações de 2 MB. Considere que você faz isso por 30 dias (um mês). Cobranças de armazenamento
Uso total de byte/hora = [10.995.116.277.760 bytes x 30 dias x (8 horas/dia)] = 2.638.827.906.662.400 bytes/horas = 3303,77 GB por mês
Custo total de armazenamento = 3.303,77 GB x USD 0,11 = USD 363,41 de cobrança de solicitação
5.242.880 solicitações PUT/dia: 5.242.880 solicitações x 30 x USD 0,00113/1.000 = USD 177,73
10.485.760 solicitações GET por dia: 10.485.760 solicitações x 30 x USD 0,00003/1.000 = USD 9,44
5.242.880 de solicitações DELETE = 5.242.880 de solicitações x USD 0,00 (sem custo) = USD 0 Cobrança de upload de dados: 1024 KB/5.242.880 x 30 x USD 0,0032 = USD 983,04
Cobrança por recuperação de dados: 2 MB/1024 x 10.485.760 x 30 x USD 0,0006 = USD 368,64
Cobranças totais = USD 363,41 + USD 177,73 + USD 9,44 + USD 983,04 + USD 368,64 = USD 1.902,26
S3 Standard-Infrequent Access (S3 Standard – IA)
Abrir tudoS3 One Zone-Infrequent Access (S3 One Zone-IA)
Abrir tudoClasse de armazenamento Amazon S3 Glacier Instant Retrieval
Abrir tudoClasse de armazenamento Amazon S3 Glacier Flexible Retrieval
Abrir tudoObservação: o S3 Glacier Flexible Retrieval também está disponível pelas APIs originais diretas do Glacier e por meio do Console de Gerenciamento do Amazon S3 Glacier. Para ter uma experiência aprimorada abrangente com acesso ao conjunto completo de recursos S3, incluindo gerenciamento de ciclo de vida, S3 Replication, S3 Storage Lens, entre outros, recomendamos usar as APIs do S3 e o Console de Gerenciamento do S3 para utilizar os atributos do S3 Glacier.
Com as unidades de capacidade provisionadas da classe de armazenamento S3 Glacier, você pode pagar uma taxa inicial fixa por um determinado mês para garantir a disponibilidade de capacidade de recuperação para recuperações expressas da S3 Glacier Flexible Retrieval. É possível comprar duas unidades de capacidade provisionadas por mês para aumentar a quantidade de dados que você pode recuperar. Cada unidade de capacidade garante que pelo menos três recuperações expressas poderão ser executadas a cada cinco minutos e disponibiliza até 150 MB/s de taxa de transferência de recuperação. Caso sua workload necessite de acesso altamente confiável e previsível a um subconjunto de dados em minutos, convém adquirir capacidade de recuperação provisionada. Sem capacidade provisionada, as recuperações expressas podem não ser aceitas durante períodos de alta demanda. Caso precise de acesso a recuperações expressas em qualquer circunstância, recomendamos que você adquira capacidade de recuperação provisionada.
É possível adquirir capacidade provisionada usando o console do Amazon S3, a API REST de capacidade provisionada de compra, os AWS SDKs ou a AWS CLI. Uma unidade de capacidade provisionada dura um mês a partir da data e hora da compra, que é a data de início. A unidade expira na data de validade, que é exatamente um mês após a data de início com precisão de segundo. Para obter informações sobre preços de capacidade provisionada, consulte os preços do Amazon S3.
1,000032 gigabyte para cada objeto x 100.000 objetos = 100.003,2 gigabytes de armazenamento do S3 Glacier.
0,000008 gigabytes para cada objeto x 100.000 objetos = 0,8 gigabytes de armazenamento do S3 Standard.
A taxa é calculada com base nas taxas atuais de sua região da AWS na página de preços do Amazon S3. Para obter mais exemplos de preço do Amazon S3, acesse as perguntas frequentes sobre o faturamento do S3 ou use a calculadora de preços da AWS.
A recuperação flexível do S3 Glacier também requer 40 KB de metadados adicionais para cada objeto arquivado. Isso inclui 32 KB de metadados cobrados na taxa de recuperação flexível do S3 Glacier necessária para identificar e recuperar dados. E 8 KB de dados adicionais cobrados na taxa padrão do S3, necessários para manter o nome definido pelo usuário e os metadados para objetos arquivados no S3 Glacier Flexible Retrieval. Isso permite que você obtenha uma lista em tempo real de todos os seus objetos S3 usando a API S3 LIST ou o relatório do S3 Inventory. Consulte a página de preço do Amazon S3 para obter informações sobre os preços do Amazon S3 Glacier Flexible Retrieval.
Amazon S3 Glacier Deep Archive
Abrir tudoVocê também pode usar o AWS Snowball para migrar dados. O Snowball acelera a transferência de terabytes para petabytes de dados dentro e fora da AWS usando dispositivos de armazenamento físico projetados para transporte seguro. O uso do Snowball ajuda a eliminar desafios comuns nas transferências de dados em grande escala, como altos custos de rede, transferências demoradas e problemas de segurança. Por fim, você pode usar o AWS Direct Connect para estabelecer conexões de rede dedicadas das suas instalações para a AWS. Em muitos casos, o Direct Connect pode reduzir seus custos de rede, aumentar o throughput da largura de banda e fornecer uma experiência de rede mais consistente que a de conexões baseadas na Internet.
S3 no Outposts
Abrir tudoGerenciamento de armazenamento
Abrir tudoVocê deve usar os Metadados do Amazon S3 se quiser usar o SQL para consultar as informações sobre seus objetos do S3 para identificar rapidamente conjuntos de dados específicos para sua IA generativa, analytics e outros casos de uso. Os Metadados do S3 mantêm os metadados atualizados quase em tempo real, para que você possa usar qualquer cliente compatível com o Iceberg para executar consultas SQL para encontrar objetos pelos metadados do objeto. Por exemplo, você pode usar uma consulta SQL para retornar uma lista de objetos que correspondem a determinados filtros, como objetos adicionados nos últimos 30 dias em qualquer bucket.
Os S3 Metadata foi projetado para gerar automaticamente metadados que fornecem informações adicionais sobre objetos que são carregados em um bucket e para tornar esses metadados consultáveis em uma tabela somente para leitura. Essas tabelas de metadados são armazenadas nas tabelas do Amazon S3, que são criadas no Apache Iceberg e fornecem uma forma gerenciada de armazenar e consultar dados tabulares no S3. O Metadados do S3 cria e mantém metadados em nível de sistema, como tamanho de objetos, metadados personalizados, como etiquetas e metadados definidos pelo usuário durante o upload de objetos, e metadados de eventos, como o endereço IP que enviou a solicitação. À medida que os dados em seu bucket mudam, o S3 Metadata atualiza quase em tempo real para refletir as mudanças mais recentes. Em seguida, você pode consultar suas tabelas de metadados usando vários serviços do AWS Analytics e ferramentas de código aberto que são compatíveis com o Iceberg, incluindo o Amazon Athena, Amazon QuickSight e Apache Spark.
Você pode começar a usar o S3 Metadata em apenas alguns cliques no Console de Gerenciamento do S3. Basta selecionar o bucket do S3 de uso geral em que você gostaria de ativar o S3 Metadata, e o S3 analisará os dados em seu bucket e criará uma tabela Apache Iceberg totalmente gerenciada com os metadados de todos os seus objetos. Em minutos, você poderá começar a consultar seus metadados usando qualquer mecanismo de consulta ou ferramenta compatível com o Apache Iceberg.
Suas tabelas de metadados do S3 são armazenadas em um bucket de tabelas gerenciado pela AWS em sua conta da AWS chamado aws-s3. Suas tabelas serão somente para leitura e somente o S3 terá permissão para gravar, atualizar ou excluir metadados.
Os Metadados do S3 armazenam metadados em duas tabelas gerenciadas em sua conta: tabelas de diário e tabelas de inventário ao vivo.
A tabela do diário dos Metadados do S3 fornece uma visão das alterações feitas em seu bucket. À medida que os objetos são adicionados, atualizados e removidos de seus buckets do S3 de uso geral, as alterações correspondentes são refletidas nas tabelas do diário quase em tempo real. As tabelas de diário são úteis para entender o comportamento de seus aplicativos e para identificar qualquer alteração feita em seus conjuntos de dados. Por exemplo, você pode escrever consultas SQL para tabelas de diário para encontrar objetos do S3 que correspondam a um filtro, como objetos adicionados nos últimos 30 dias, objetos que foram adicionados por solicitantes ativos ou objetos que tiveram alterações de metadados na última semana.
A tabela de inventário ao vivo dos Metadados do S3 contém uma lista completa de todos os objetos em seu bucket. As tabelas de inventário ao vivo são atualizadas de hora em hora e contêm todas as informações que o S3 conhece sobre seus objetos. As tabelas de inventário em tempo real são úteis para descobrir ou identificar conjuntos de dados em seu bucket, com base nas características geradas nos metadados do objeto. Por exemplo, você pode usar tabelas de inventário em tempo real para identificar conjuntos de dados de treinamento para machine learning, para usar em exercícios de otimização de custos de armazenamento ou para ajudar a aplicar controles de governança.
Ao adicionar novos objetos ao seu bucket, você verá entradas na tabela do diário em minutos e verá entradas na tabela de inventário ao vivo na próxima atualização de hora em hora. Quando você ativa os metadados do S3 em um bucket existente, o S3 inicia automaticamente uma operação de preenchimento para gerar metadados para todos os seus objetos existentes. Esse preenchimento normalmente termina em minutos, mas pode levar várias horas se seus conjuntos de dados existentes contiverem milhões ou bilhões de objetos do S3.
O relatório do Inventário S3 oferece uma alternativa programada à API List síncrona do Amazon S3. Você pode configurar o Inventário S3 para fornecer uma saída de arquivo CSV ORC ou Parquet dos objetos e seus metadados correspondentes com frequência diária ou semanal para um bucket ou prefixo do S3. É possível simplificar e acelerar fluxos de trabalho empresariais e tarefas de big data com o Inventário S3. Você também pode usar o Inventário S3 para verificar o status de criptografia e replicação de objetos para atender a necessidades empresariais, de conformidade ou normativas. Saiba mais no guia do usuário do Inventário Amazon S3.
O S3 Tables fornece um armazenamento do S3 desenvolvido com propósito específico para armazenar dados estruturados no formato Apache Parquet, Avro e ORC. Em um bucket de tabelas, é possível criar tabelas como recursos primários diretamente no S3. Essas tabelas podem ser protegidas com permissões a nível de tabela definidas em políticas baseadas em identidade ou em recursos e são acessíveis por aplicações ou ferramentas compatíveis o padrão do Apache Iceberg. Ao criar uma tabela no bucket de tabelas, os dados subjacentes no S3 são armazenados como arquivos no formato Parquet, Avro ou ORC. Em seguida, o S3 usa o padrão do Apache Iceberg para armazenar os metadados necessários para tornar esses dados consultáveis pelas aplicações. O S3 Tables inclui uma biblioteca de cliente que é usada por mecanismos de consulta para navegar e atualizar os metadados do Iceberg das tabelas no bucket de tabelas. Essa biblioteca, em conjunto com as APIs do S3 atualizadas para operações de tabelas, permite que vários clientes realizem a leitura e a gravação de dados com segurança em suas tabelas. Ao longo do tempo, o S3 realiza a otimização automática dos dados no formato Parquet, Avro ou ORC subjacentes ao reescrever ou “compactar” os objetos. A compactação otimiza os dados armazenados no S3 para aprimorar a performance das consultas.
Você pode começar a usar o S3 Tables em apenas algumas etapas simples, sem precisar montar nenhuma infraestrutura fora do S3. Primeiro, crie um bucket de tabela no console do S3. Como parte da criação do seu primeiro bucket de tabela por meio do console, a integração com os serviços do AWS Analytics ocorre automaticamente, o que permite que o S3 preencha automaticamente todos os buckets e tabelas da sua conta e região no Catálogo de Dados do AWS Glue. Depois disso, o S3 Tables estará acessível aos mecanismos de consulta da AWS, como Amazon Athena, EMR e Redshift. Em seguida, você poderá clicar para criar uma tabela usando o Amazon Athena a partir do console do S3. Uma vez no Athena, você poderá começar a preencher novas tabelas e consultá-las rapidamente.
Como alternativa, você pode acessar as tabelas do S3 usando o endpoint do catálogo Iceberg REST por meio do Catálogo de Dados do AWS Glue, que permite descobrir todo o seu patrimônio de dados, incluindo todos os recursos da tabela. Você também pode se conectar diretamente a um endpoint de bucket de tabela individual para descobrir todos os recursos do S3 Tables dentro desse bucket. Isso permite que você use o S3 Tables com qualquer aplicação ou mecanismo de consulta compatível com a especificação do catálogo REST do Apache Iceberg.
Você pode esperar uma performance de consultas até três vezes mais rápida e até dez vezes mais transações por segundo (TPS) em comparação ao armazenamento de tabelas do Iceberg em buckets de uso geral do Amazon S3. Isso ocorre porque os buckets de tabela compactam automaticamente os dados subjacentes no formato Parquet, Avro ou ORC para suas tabelas a fim de otimizar a performance de consultas, e o armazenamento com propósito específico oferece suporte a dez vezes mais o volume padrão de TPS.
Os buckets de tabela permitem aplicar políticas de recursos a todo o bucket ou a tabelas individuais. As políticas de bucket de tabela podem ser aplicadas usando as APIs PutTablePolicy e PutTableBucketPolicy. As políticas em nível de tabela permitem que você gerencie permissões para tabelas em seus buckets de tabela com base na tabela lógica à qual elas estão associadas, sem precisar entender a localização física de arquivos individuais no formato Parquet, Avro ou ORC. Além disso, o Bloqueio de Acesso Público do S3 é sempre aplicado aos buckets de tabela.
Os buckets de tabela oferecem suporte ao formato de tabela Apache Iceberg com dados no formato Parquet, Avro ou ORC.
Se quiser saber mais sobre Operações em lote do S3, assista aos vídeos de tutoriais e consulte a documentação.
Você também pode especificar uma política de ciclo de vida do S3 para excluir objetos após um período específico. Você poderá usar essa automação orientada por políticas para reduzir, de forma rápida e fácil, custos de armazenamento e poupar tempo. Em cada regra, você pode especificar um prefixo, um período de tempo, uma transição para a S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive e/ou uma validade. Por exemplo, você pode criar uma regra que arquive na S3 Glacier Flexible Retrieval todos os objetos com o prefixo comum “logs/” 30 dias após a criação e expire esses objetos 365 dias após a criação.
Você também pode criar uma regra separada que expire apenas todos os objetos com o prefixo “backups/” 90 dias após a criação. As políticas de ciclo de vida do S3 se aplicam a objetos novos e existentes do S3 e ajudam a otimizar o armazenamento e maximizar as reduções de custos para todos os dados atuais e novos residentes no S3, sem necessidade de migrações e revisões de dados manuais demoradas.
Em uma regra de ciclo de vida, o campo de prefixo identifica os objetos sujeitos à regra. Para aplicar a regra a um objeto individual, especifique o nome da chave. Para aplicar a regra a um conjunto de objetos, especifique o prefixo em comum (por exemplo, "logs/"). Você pode especificar uma ação de transição para ter seus objetos arquivados e uma ação de expiração para que seus objetos sejam removidos. Para o período, informe a data de criação (ex.: 31 de janeiro de 2015) ou o número de dias a partir da data de criação (ex.: 30 dias) depois do qual você deseja que seus objetos sejam arquivados ou removidos. É possível criar várias regras para diferentes prefixos.
Análise e informações de armazenamento
Abrir tudoO painel da Lente de Armazenamento do S3 é organizado através de três tipos principais de questões que podem ser respondidas sobre o armazenamento. No filtro Resumo, podem ser explicadas as perguntas de alto nível relacionadas ao uso geral do armazenamento e às tendências da atividade. Por exemplo: “Com que rapidez minha contagem de bytes geral e contagem de solicitações aumentam com o tempo?” No filtro Otimização do custo, é possível explorar perguntas relacionadas à redução do custo de armazenamento, por exemplo: “É possível economizar dinheiro retendo menos versões não atuais?” Nos filtros Proteção dos dados, e Gerenciamento de acesso, você pode responder questões sobre a segurança dos dados, por exemplo: “Meu armazenamento tem proteção contra a exclusão acidental ou intencional?” Por fim, nos filtros Desempenho e Eventos você pode explorar maneiras de aprimorar o desempenho de fluxos de trabalho. Cada uma dessas perguntas representa uma primeira camada de consulta que provavelmente levaria a uma análise detalhada.
Um painel padrão é configurado automaticamente para a conta inteira e você tem a opção de criar painéis personalizados adicionais no escopo na empresa AWS, em regiões específicas ou buckets em uma conta. Você pode configurar vários painéis personalizados, que podem ser úteis se precisar de uma separação lógica na análise do armazenamento, como segmentar os buckets para representar várias equipes internas. Por padrão, seu painel receberá as métricas gratuitas do S3 Storage Lens, mas você tem a opção de fazer upgrade para receber métricas e recomendações avançadas do S3 Storage Lens (por um custo adicional). As métricas avançadas do S3 Storage Lens contam com sete opções distintas: métricas de atividade, métricas de otimização de custos avançadas, métricas de proteção de dados avançadas, métricas de código de status detalhadas, agregação prefixada, publicação CloudWatch e agregação de grupos do Storage Lens. E mais: para cada painel é possível habilitar a exportação de métrica, com mais opções para especificar o bucket de destino e o tipo de criptografia.
A Lente de Armazenamento do S3 está disponível em dois níveis de métricas. As métricas gratuitas estão disponíveis por padrão e sem cobrança extra para todos os clientes do S3. Os detalhes das métricas avançadas e das recomendações de preço do S3 Storage Lens estão disponíveis na página de preço do S3. Com as métricas gratuitas do S3 Storage Lens, você recebe 28 métricas no nível do bucket e pode acessar 14 dias de dados históricos no painel. As métricas e recomendações avançadas da Lente de Armazenamento do S3 fornecem 35 métricas adicionais, agregação de nível prefixado, suporte a métricas CloudWatch, filtragem de metadados de objetos personalizados com grupos da Lente de Armazenamento do S3 e acesso de 15 meses de dados históricos no painel.
Consulta no local
Abrir tudoReplicação
Abrir tudoEncontre mais informações sobre a configuração e a replicação de ciclo de vida na documentação da Replicação do S3.
Sim. O S3 Replication permite que os clientes repliquem seus dados em vários buckets de destino nas mesmas regiões da AWS ou diferentes. Ao configurar, basta especificar o novo bucket de destino em sua configuração de replicação existente ou criar uma nova configuração de replicação com vários buckets de destino. Para cada novo destino especificado, há a flexibilidade de escolher a classe de armazenamento do bucket de destino, tipo de criptografia, métricas e notificações da replicação, RTC (Replication Time Control ) e outras propriedades.
P: Posso usar o S3 Replication para configurar uma replicação bidirecional entre os buckets do S3?
Acesse a página de preços do Amazon S3 para obter mais detalhes sobre preços da replicação do S3.
Em uma configuração ativa-ativa, os Pontos de acesso multirregionais do S3 consideram fatores como congestionamento da rede e a localização da aplicação solicitante para rotear dinamicamente as solicitações pela rede AWS para a cópia mais próxima de seus dados. Os Pontos de acesso multirregionais do S3 roteiam suas solicitações por meio do local da AWS mais próximo do seu cliente, e em seguida pela rede privada global da AWS para o S3. Em qualquer uma das configurações, os Pontos de acesso multirregionais do S3 permitem aproveitar a infraestrutura global da AWS e manter uma arquitetura simples de aplicações.
O S3 CRR e os Pontos de acesso multirregionais do S3 são recursos complementares que funcionam juntos para replicar dados nas regiões da AWS e, em seguida, rotear automaticamente as solicitações para a cópia replicada com a latência mais baixa. Os Pontos de acesso multirregionais do S3 ajudam a gerenciar solicitações entre regiões da AWS, enquanto o CRR permite que você mova dados entre regiões da AWS para criar réplicas isoladas. Você usa os Pontos de acesso multirregionais do S3 e a CRR juntos para criar um conjunto de dados multirregional replicado que é endereçável por um único endpoint global.
Quando você usa o S3 Multi-Region Access Points para encaminhar requisições dentro da AWS, você paga uma pequena taxa de roteamento para cada GB processado, bem como taxas-padrão de requisição, armazenamento, transferência de dados e replicação do S3. Se sua aplicação roda fora da AWS e acessa o S3 pela Internet, o S3 Multi-Region Access Points aumenta a performance encaminhando automaticamente suas requisições por um local da borda da AWS, pela rede AWS privada global, para a cópia de seus dados mais próxima com base na latência de acesso. Ao acelerar as requisições feitas pela Internet, você paga a taxa de roteamento de dados e uma taxa de aceleração da Internet. A definição de preço da aceleração de Internet dos Pontos de acesso multirregionais do S3 varia dependendo se o cliente de origem está ou não na mesma localização da região AWS de destino, além da definição de preço da transferência de dados padrão do S3. Para usar os controles de failover dos Pontos de acesso multirregionais do S3, você será cobrado apenas pelos custos padrão da API do S3 para visualizar o status atual do controle de roteamento de cada região e enviar quaisquer alterações de controle de roteamento para iniciar um failover. Consulte a página de preços do S3 e a guia de transferência de dados para obter mais informações sobre preços.
Sim, você pode configurar os buckets subjacentes do Ponto de acesso multirregional do S3 para serem buckets do Pagamento pelo solicitante. Com o Pagamento pelo solicitante, o solicitante paga todo o custo associado ao uso do endpoint, incluindo o custo das solicitações e o custo da transferência de dados associados ao bucket e ao Ponto de acesso multirregional. Normalmente, você deseja configurar seus buckets como intervalos do Pagamento pelo solicitante se quiser compartilhar dados, mas não incorrer em cobranças associadas ao acesso de outras pessoas aos dados. Em geral, os proprietários de bucket pagam por todo o armazenamento do Amazon S3 associado ao bucket. Para saber mais, acesse Pagamento pelo solicitante do S3.
O console do S3 fornece um fluxo de trabalho guiado simples para configurar rapidamente tudo o que você precisa para executar o armazenamento multirregional no S3 em apenas três etapas simples. Primeiro, crie um endpoint de Ponto de acesso multirregional do Amazon S3 e especifique as regiões da AWS que você deseja replicar e fazer failover entre elas. Você pode adicionar buckets em várias contas da AWS para um novo Ponto de acesso multirregional do S3 inserindo os IDs de conta proprietários dos buckets no momento da criação. Em segundo lugar, para cada região da AWS e bucket S3 por trás do endpoint do Ponto de acesso multirregional do S3, especifique se o status de roteamento é ativo ou passivo, em que as regiões ativas da AWS aceitam o tráfego de solicitação de dados do S3 e as regiões passivas não são roteadas até que você inicie um failover. Em terceiro lugar, configure suas regras de Replicação do S3 Entre Regiões Diferentes para sincronizar seus dados no S3 entre as regiões e/ou outras contas. Você pode então iniciar um failover a qualquer momento entre as regiões da AWS em questão de minutos para mudar suas solicitações de dados do S3 e monitorar a mudança de seu tráfego do S3 para sua nova região ativa da AWS no Amazon CloudWatch. Como alternativa, você pode usar o AWS CloudFormation para automatizar sua configuração de armazenamento multirregional. Todos os blocos de construção necessários para configurar o armazenamento multirregional no S3, incluindo os Pontos de acesso multirregionais do S3, são compatíveis com o CloudFormation, permitindo que você automatize um processo de configuração repetível fora do console do S3.