Pular para o conteúdo principal

Amazon S3

Perguntas frequentes sobre o Amazon S3

Perguntas frequentes gerais sobre o S3

Abrir tudo

O Amazon S3 é um armazenamento de objetos desenvolvido para armazenar e recuperar qualquer quantidade de dados de qualquer local. O S3 é um serviço de armazenamento simples que oferece durabilidade, disponibilidade, performance, segurança e, praticamente, escalabilidade ilimitada líderes do setor a um custo muito baixo.

O Amazon S3 disponibiliza uma interface de serviço da Web simples que pode ser usada para armazenar e recuperar qualquer quantidade de dados, a qualquer momento, de qualquer lugar. Usando esse serviço, você pode criar facilmente aplicações que fazem uso de armazenamento nativo em nuvem. Como o Amazon S3 é altamente escalável e você só paga pelo que usa, é possível começar com uma aplicação pequena e expandi-la da forma desejada, sem comprometer a performance ou a confiabilidade. O Amazon S3 também foi concebido para ser altamente flexível. Armazene qualquer tipo ou volume de dados que você necessite, leia a mesma porção de dados um milhão de vezes ou apenas para a recuperação de desastres em casos de emergência, crie uma aplicação FTP simples ou uma aplicação Web avançada semelhante ao site de vendas da Amazon.com. O Amazon S3 libera você para se concentrar na inovação em vez de gastar tempo tentando descobrir como armazenar seus dados.

Para se inscrever no Amazon S3, visite o console do S3. Você deve ter uma conta da Amazon Web Services para acessar este serviço. Caso já não tenha uma conta, você será solicitado a criar uma ao começar o processo de cadastramento no Amazon S3. Depois de se inscrever, consulte a documentação do Amazon S3, veja os materiais de introdução do S3 e veja os recursos adicionais no centro de recursos para começar a usar o Amazon S3.

O Amazon S3 permite que aproveitar os próprios benefícios de escala massiva da Amazon sem investimentos ou compromissos de performance iniciais. Ao usar o Amazon S3, é barato e simples garantir que seus dados sejam rapidamente acessíveis, sempre disponíveis e seguros.

Você pode armazenar praticamente qualquer tipo de dados em qualquer formato. Consulte o Acordo de licenciamento da Amazon Web Services para obter mais detalhes.

O volume total de dados e o número de objetos que você pode armazenar no Amazon S3 são ilimitados. Objetos individuais do Amazon S3 podem variar em tamanho, desde um mínimo de 0 byte até um máximo de 5 TB. O tamanho do maior objeto que pode ser carregado em um único PUT é 5 GB. Para objetos com mais de 100 MB, os clientes devem considerar o uso do recurso de carregamento fracionado.

Um bucket de uso geral é um contêiner de objetos armazenados no Amazon S3, e você pode armazenar qualquer quantidade de objetos em um bucket. Os buckets de uso geral são o tipo original de bucket do S3, e um único bucket de uso geral pode conter objetos armazenados em todas as classes de armazenamento, exceto no S3 Express One Zone. Eles são recomendados para a maioria dos casos de uso e padrões de acesso.

Um bucket de diretório é um contêiner de objetos armazenados no Amazon S3, e você pode armazenar qualquer quantidade de objetos em um bucket. Os buckets de diretório do S3 permitem somente objetos armazenados na classe de armazenamento S3 Express One Zone, que fornece processamento de dados mais rápido em uma única zona de disponibilidade. Eles são recomendados para casos de uso de baixa latência. Cada bucket de diretório do S3 pode oferecer suporte a até 2 milhões de transações por segundo (TPS), independentemente do número de diretórios dentro dele.


Um bucket de tabela é criado especificamente para armazenar tabelas usando o formato do Apache Iceberg. Use o Amazon S3 Tables para criar buckets de tabela e configurar permissões em nível de tabela em apenas algumas etapas. Os buckets de tabela do S3 são otimizados especificamente para workloads de analytics e machine learning. Com suporte integrado ao Apache Iceberg, você pode consultar dados tabulares no S3 com mecanismos de consulta populares, incluindo o Amazon Athena, Amazon Redshift e Apache Spark. Use os buckets de tabela do S3 para armazenar dados tabulares, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios, como uma tabela do Iceberg no Amazon S3 e, em seguida, interaja com esses dados usando recursos de analytics.

Um bucket de vetores foi criado especificamente para armazenar e consultar vetores. Em um bucket de vetores, você não usa as APIs de objetos do S3, mas sim APIs vetoriais dedicadas para gravar dados vetoriais e consultá-los com base no significado semântico e na similaridade. Você pode controlar o acesso aos seus dados vetoriais com os mecanismos de controle de acesso existentes no Amazon S3, incluindo políticas de bucket e IAM. Todas as gravações em um bucket de vetores são fortemente consistentes, o que significa que você pode acessar imediatamente os vetores adicionados mais recentemente. À medida que você escreve, atualiza e exclui vetores ao longo do tempo, os buckets de vetores do S3 otimizam automaticamente os dados vetoriais armazenados neles para obter a melhor relação preço/performance, mesmo com a escalabilidade e a evolução dos conjuntos de dados.

Um bucket é um contêiner de tabelas e objetos armazenados no Amazon S3, e você pode armazenar qualquer quantidade de objetos em um bucket. Os buckets de uso geral são o tipo original de bucket do S3, e um único bucket de uso geral pode conter objetos armazenados em todas as classes de armazenamento, exceto no S3 Express One Zone. Eles são recomendados para a maioria dos casos de uso e padrões de acesso. Buckets de diretório do S3 permitem somente objetos armazenados na classe de armazenamento S3 Express One Zone, que fornece processamento de dados mais rápido em uma única zona de disponibilidade. Eles são recomendados para casos de uso de baixa latência. Cada bucket de diretório do S3 pode oferecer suporte a até 2 milhões de transações por segundo (TPS), independentemente do número de diretórios dentro dele. Os buckets de tabela do S3 são criados especificamente para armazenar dados tabulares no S3, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios. Ao usar um bucket de tabela, seus dados são armazenados como uma tabela do Iceberg no S3 e, em seguida, você pode interagir com esses dados usando recursos de analytics, como transações em nível de linha, snapshots de tabelas consultáveis e muito mais, todos gerenciados pelo S3. Além disso, os buckets de tabela realizam a manutenção contínua das tabelas para otimizar automaticamente a eficiência das consultas ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake. Os buckets vetoriais do S3 foram criados especificamente para armazenar e consultar vetores. Em um bucket vetorial, você usa APIs vetoriais dedicadas para gravar dados vetoriais e consultá-los com base no significado semântico e na similaridade. Você pode controlar o acesso aos seus dados vetoriais usando os mecanismos de controle de acesso existentes no Amazon S3, incluindo políticas de bucket e IAM. À medida que você escreve, atualiza e exclui vetores ao longo do tempo, os buckets vetoriais do S3 otimizam automaticamente os dados vetoriais armazenados neles para obter a melhor relação preço/desempenho, mesmo com a escalabilidade e a evolução dos conjuntos de dados.

A Amazon armazena os dados e controla o uso associado para efeitos de cobrança. A Amazon não acessará seus dados para nenhuma outra finalidade que não seja a da oferta do Amazon S3, exceto quando exigido por lei. Consulte o Acordo de licenciamento da Amazon Web Services para obter mais detalhes.

Sim. Organizações em toda a Amazon usam o Amazon S3 para uma ampla variedade de projetos. Muitos desses projetos utilizam o Amazon S3 como datastore principal, usado para operações essenciais aos negócios.

O Amazon S3 é um simples depósito de objetos com base em chave. Ao armazenar os dados, você atribui uma chave de objeto exclusiva que posteriormente pode ser usada para recuperar os dados. As chaves podem ser qualquer string, e podem ser construídas para imitar atributos hierárquicos. Como alternativa, você pode usar o S3 Object Tagging para organizar dados em todos os buckets e/ou prefixos do S3.

O Amazon S3 disponibiliza uma interface REST de web services simples baseada em padrões, criada para trabalhar com qualquer toolkit de desenvolvimento da Internet. As operações são intencionalmente simples para facilitar a adição de novos protocolos de distribuição e camadas funcionais.

O Amazon S3 concede acesso à mesma infraestrutura de armazenamento de dados altamente escalável e disponível, rápida e econômica usada pela Amazon para operar a sua própria rede global de sites. A classe de armazenamento S3 Standard é projetada para 99,99% de disponibilidade, as classes de armazenamento S3 Standard – IA, S3 Intelligent-Tiering e S3 Glacier Instant Retrieval são projetadas para 99,9% de disponibilidade, a classe de armazenamento S3 One Zone – IA é projetada para disponibilidade de 99,5%, e as classes S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive são projetadas para disponibilidade de 99,99% e um SLA de 99,9%. Todas essas classes de armazenamento são amparadas pelo Acordo de Nível de Serviço do Amazon S3.

Desde o início, o Amazon S3 foi projetado para lidar com o tráfego para qualquer aplicativo de Internet. Os preços conforme o uso e a capacidade ilimitada garantem que seus custos incrementais não mudem e que seu serviço não seja interrompido. A escala massiva do Amazon S3 permite distribuir a carga uniformemente, para que nenhum aplicativo individual seja afetado por picos de tráfego.

Sim. O SLA do Amazon S3 oferecerá um crédito de serviço se a porcentagem de tempo de atividade mensal do cliente ficar abaixo do nosso compromisso de serviço em qualquer ciclo de faturamento.

O Amazon S3 oferece automaticamente uma forte consistência de leitura após gravação, sem alterações no desempenho ou na disponibilidade, sem sacrificar o isolamento regional das aplicações e sem custo adicional. Após uma gravação bem-sucedida de um novo objeto ou uma substituição de um objeto existente, qualquer solicitação de leitura subsequente recebe imediatamente a versão mais recente do objeto. O S3 também fornece uma consistência forte para operações de lista. Dessa maneira, após uma gravação, você pode executar imediatamente uma listagem dos objetos em um bucket com todas as alterações refletidas.

A consistência forte de leitura após a gravação é útil quando você precisa ler um objeto imediatamente após uma gravação. Por exemplo, quando você costuma ler e listar imediatamente após a gravação de objetos. As workloads computacionais de alta performance também se beneficiam quando um objeto é substituído e, então, lido muitas vezes simultaneamente. A consistência forte de leitura após a gravação assegura que a gravação mais recente seja lida em todas as leituras. Essas aplicações se beneficiam automática e imediatamente com a consistência forte de leitura após gravação. A consistência forte do S3 também reduz os custos acabando com a necessidade de uma infraestrutura extra para fornecer tal consistência.  

Regiões da AWS

Abrir tudo

Você especifica uma região da AWS ao criar seu bucket de uso geral do Amazon S3. Para as classes de armazenamento S3 Standard, S3 Standard-IA, S3 Intelligent-Tiering, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive, seus objetos são armazenados automaticamente em vários dispositivos abrangendo um mínimo de três zonas de disponibilidade (AZs). As AZs são fisicamente separadas por uma distância significativa (vários quilômetros) das outras AZs, embora todas estejam em um raio de até 100 km entre si. Os objetos armazenados na classe de armazenamento S3 One Zone-IA são armazenados com redundância em uma única zona de disponibilidade na região da AWS selecionada.  Você especifica uma única zona de disponibilidade ou zona local dedicada da AWS ao criar seu bucket de diretório. Os objetos nos buckets de diretório são armazenados com redundância em uma única zona de disponibilidade ou em uma única zona local. Ao usar classes de armazenamento do S3 para zonas locais dedicadas, seus objetos permanecem na zona local dedicada, a menos que você os transfira para uma região da AWS. Para o S3 on Outposts, os dados são armazenados em seu ambiente do Outpost on-premises, a menos que você opte manualmente por transferi-los para uma região da AWS. Consulte a lista de serviços regionais da AWS para obter detalhes sobre a disponibilidade do serviço Amazon S3 por região da AWS.

Você deve usar as classes de armazenamento do S3 para zonas locais dedicadas da AWS se tiver dados sensíveis e aplicações que precisam ser executadas em uma infraestrutura separada fisicamente que seja dedicada ao seu uso exclusivo e colocada em uma jurisdição regulatória específica para atender a requisitos de segurança e conformidade. Por exemplo, algumas regulamentações exigem que os dados sejam armazenados em um determinado país ou estado, por motivos regulatórios, contratuais ou de segurança da informação comuns no setor público, de saúde, petróleo e gás e outros setores altamente regulamentados. A AWS trabalha com você para configurar suas próprias zonas privadas com os recursos reforçados de segurança e governança necessários para ajudar você a atender aos requisitos regulatórios.

Uma região da AWS é um local físico em todo o mundo onde os data centers do cluster da AWS.  Cada grupo de datacenters lógicos dentro de uma região é conhecido como zona de disponibilidade (AZ). Cada região da AWS consiste no mínimo em três AZs isoladas e separadas fisicamente em uma área geográfica. Diferentemente de outros provedores de nuvem, que geralmente definem uma região como um único datacenter, o design de múltiplas AZs de cada região da AWS oferece vantagens para os clientes. Cada AZ tem energia, refrigeração e segurança física independentes e está conectada por meio de redes redundantes de latência ultrabaixa. 

Uma zona de disponibilidade (AZ) é um ou mais data centers distintos com energia, rede e conectividade redundantes em uma região da AWS. As AZs proporcionam aos clientes a capacidade de operar aplicativos e bancos de dados de produção com alta disponibilidade, tolerância a falhas e escalabilidade em níveis superiores aos que um único datacenter pode oferecer. Todas as AZs em uma região da AWS estão interconectadas por redes de alta largura de banda e baixa latência, usando fibra metropolitana dedicada e totalmente redundante para proporcionar redes de alto throughput e baixa latência entre AZs. As classes de armazenamento Amazon S3 Standard, S3 Standard-Infrequent Access, S3 Intelligent-Tiering, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive replicam dados em um mínimo de três zonas de disponibilidade para proteger contra a perda de uma zona de disponibilidade inteira. Essa proteção continua válida em regiões com menos de três zonas de disponibilidade disponíveis para o público. Os objetos armazenados nessas classes de armazenamento estão disponíveis para acesso em todas as zonas de disponibilidade de uma região da AWS.
A classe de armazenamento Amazon S3 One Zone – IA replica dados em uma única zona de disponibilidade. Os dados armazenados no S3 One Zone – IA não são resilientes à perda física de uma zona de disponibilidade resultante de desastres, como terremotos, incêndios e inundações.

Há vários fatores a serem considerados com base em seu aplicativo específico. Por exemplo, você pode querer armazenar seus dados em uma região próxima a seus clientes, data centers ou outros recursos da AWS para reduzir as latências de acesso a dados. Você também pode armazenar seus dados em uma região distante de suas outras operações para fins de redundância geográfica e recuperação de desastres. Você também deve considerar as regiões que permitem atender a requisitos legais e regulatórios específicos e/ou reduzir seus custos de armazenamento. Você pode escolher uma região com preço mais baixo para economizar dinheiro. Para obter informações sobre os preços do S3, consulte a página de preços do Amazon S3.

O Amazon S3 está disponível em regiões da AWS em todo o mundo, e pode ser usado independentemente de onde você esteja. Basta decidir em que regiões da AWS você quer armazenar os dados do Amazon S3. Consulte a lista de serviços regionais da AWS para ver uma lista das regiões da AWS em que o S3 está disponível no momento.

Faturamento

Abrir tudo

Com o Amazon S3, pague somente pelo que for usado. Não há cobrança mínima. Você pode estimar sua fatura mensal usando a Calculadora de preços da AWS. A AWS cobra menos onde nossos custos são menores. Alguns preços variam entre as regiões do Amazon S3. Os preços cobrados são baseados na localização do bucket do S3. Não há cobrança de transferência de dados para dados transferidos dentro de uma região do Amazon S3 por meio de uma solicitação COPY. Os dados transferidos por solicitação COPY entre as regiões da AWS são cobrados de acordo com as taxas especificadas na página de definição de preço do Amazon S3. Não há cobrança de transferência de dados para dados transferidos entre o Amazon EC2 (ou qualquer produto da AWS) e o Amazon S3 dentro da mesma região como, por exemplo, dados transferidos dentro da região Leste dos EUA (Norte da Virgínia). No entanto, os dados transferidos entre o Amazon EC2 (ou qualquer serviço da AWS) e o Amazon S3 em todas as outras regiões são cobrados de acordo com as taxas especificadas na página de preços do Amazon S3, como dados transferidos entre o Amazon EC2 na região Leste dos EUA (Norte da Virgínia) e o Amazon S3 na região Oeste dos EUA (Norte da Califórnia). Os custos de transferência de dados são cobrados do proprietário do bucket de origem. Para saber o preço do S3 on Outposts, visite a página de preços do Outposts.

Não há taxas de instalação ou confirmações para começar a usar o Amazon S3. No final do mês, você receberá a cobrança automática referente ao uso daquele mês. Você pode visualizar suas cobranças referentes ao período de faturamento atual a qualquer momento fazendo login em sua conta Amazon Web Services e selecionando o “Painel de faturamento” associado ao seu perfil do console. Com o nível de uso gratuito da AWS*, você pode começar a usar o Simple Storage Service (Amazon S3) gratuitamente em todas as regiões, exceto nas regiões AWS GovCloud. Após cadastrar-se, os novos clientes da AWS recebem 5 GB de armazenamento Amazon S3 Standard, 20.000 solicitações Get, 2.000 solicitações Put e 100 GB de transferência de dados para fora (para a Internet, outras regiões da AWS ou Amazon CloudFront) todo mês, por um ano. A cota mensal não utilizada não será repassada para o mês seguinte. O Amazon S3 cobra pelos tipos de uso a seguir. Observe que os cálculos abaixo presumem que não há nenhum nível gratuito da AWS em vigor.

A AWS cobra menos onde nossos custos são menores. Por exemplo, nossos custos são mais baixos na Região Leste dos EUA (Norte da Virgínia) do que na Região Oeste dos EUA (Norte da Califórnia).

Taxas normais do Amazon S3 se aplicam a todas as versões de um objeto armazenado ou solicitado. Por exemplo, vamos analisar o cenário a seguir para ilustrar os custos de armazenamento ao utilizar o controle de versão (vamos supor que o mês atual tenha 31 dias): 1) Dia 1 do mês: você executa um PUT de 4 GB (4.294.967.296 bytes) no seu bucket.
2) Dia 16 do mês: você realiza uma operação PUT de 5 GB (5.368.709.120 bytes) dentro do mesmo bucket usando a mesma chave que a da operação PUT original no Dia 1º.

Ao analisar os custos de armazenamento das operações acima, observe que o objeto de 4 GB do Dia 1º não foi excluído do bucket quando o objeto de 5 GB foi gravado no Dia 15. Em vez disso, o objeto de 4 GB é preservado como uma versão mais antiga e o objeto de 5 GB se torna a versão mais recentemente gravada do objeto dentro de seu bucket. No final do mês: uso total de bytes por hora
[4.294.967.296 bytes x 31 dias x (24 horas/dia)] + [5.368.709.120 bytes x 16 dias x (24 horas/dia)] = 5.257.039.970.304 byte-horas. Conversão para total de GB-meses
5.257.039.970.304 bytes-hora x (1 GB/1.073.741.824 bytes) x (1 mês/744 horas) = 6,581 GB/mês O custo é calculado com base nas tarifas atuais para sua região na página de preços do Amazon S3.

A definição de preço normal do Amazon S3 se aplica ao acessar o serviço por meio do Console de Gerenciamento da AWS. Para fornecer uma experiência otimizada, o Console de Gerenciamento da AWS pode executar solicitações de maneira proativa. Além disso, algumas operações interativas resultam em mais de uma solicitação para o serviço.

A definição de preço normal do Amazon S3 é aplicada quando o armazenamento é acessado por outra conta da AWS. Como alternativa, você pode optar por configurar um bucket como Pagamento pelo solicitante. Nesse caso, o solicitante pagará o custo das solicitações e dos downloads dos seus dados do Amazon S3. Você pode encontrar mais informações sobre as configurações de Pagamento pelo solicitante para buckets na documentação do Amazon S3.

Salvo indicação em contrário, nossos preços excluem impostos e taxas aplicáveis, incluindo o IVA e o imposto de vendas aplicável. Para clientes com endereço de pagamento no Japão, o uso da AWS está sujeito ao imposto sobre consumo japonês. Saiba mais sobre as taxas dos serviços da AWS »

A AWS oferece aos clientes qualificados transferência gratuita de dados para a Internet quando eles movem todos os seus dados para fora da AWS, de acordo com o processo abaixo.

Conclua as seguintes etapas: 1) Se você tiver uma equipe de contas da AWS dedicada, entre em contato com eles primeiro e informe-os sobre seus planos. Em alguns casos, se você tiver um compromisso negociado com a AWS, convém discutir suas opções com sua equipe de contas da AWS. 2) Analise os critérios e o processo descritos nesta página. 3) Entre em contato com o Suporte ao Cliente da AWS e indique que sua solicitação é de “transferência gratuita de dados para fora da AWS”. O Suporte ao Cliente da AWS solicitará que você forneça informações para que eles possam analisar seus planos de mudança, avaliar se você se qualifica para a transferência gratuita de dados e calcular um valor de crédito adequado. 4) Se o Suporte ao Cliente da AWS aprovar sua mudança, você receberá um crédito temporário pelo custo da transferência de dados com base no volume de todos os dados armazenados nos serviços da AWS no momento do cálculo da AWS. O Suporte ao Cliente da AWS notificará você se você for aprovado e, em seguida, você terá 60 dias para concluir sua saída da AWS. O crédito contará somente para a transferência de dados para fora do uso e não será aplicado ao uso de outros serviços. Depois de se afastar dos serviços da AWS, dentro do período de 60 dias, você deve excluir todos os dados e workloads restantes da sua conta da AWS, ou você pode fechar sua conta da AWS. As transferências gratuitas de dados para a transferência de provedores de TI também estão sujeitas aos seguintes critérios: a) Somente clientes com uma conta ativa da AWS em boas condições são elegíveis para a saída gratuita de transferência de dados. b) Se você tiver menos de 100 GB de dados armazenados em sua conta da AWS, poderá mover esses dados para fora da AWS gratuitamente sob o atual nível mensal gratuito de 100 GB da AWS para saída de transferência de dados. Clientes com menos de 100 GB de dados armazenados em suas contas da AWS não estão qualificados para créditos adicionais. c) A AWS fornecerá a você uma saída gratuita de transferência de dados para a Internet quando você mover todos os seus dados para fora da AWS. Se você quiser transferir apenas o uso total de um único serviço, mas não tudo, entre em contato com o Suporte ao Cliente da AWS. d) Se seus planos mudarem ou você não conseguir concluir sua saída da AWS em 60 dias, deverá notificar o Suporte ao Cliente da AWS. e) As cobranças de serviços padrão pelo uso dos serviços da AWS não estão incluídas. Somente cobranças de transferência de dados em apoio à sua saída da AWS são elegíveis para créditos. No entanto, a saída de transferência de dados de serviços especializados de transferência de dados, como Amazon CloudFront, AWS Direct Connect, AWS Snowball e AWS Global Accelerator, não está incluída. f) A AWS pode revisar seu uso do serviço para verificar a conformidade com esses requisitos. Se determinarmos que seu uso da saída de transferência de dados foi para outra finalidade que não seja sair da AWS, poderemos cobrar pela saída de transferência de dados que foi creditada. g) A AWS pode fazer alterações com relação às saídas gratuitas de transferências de dados para a Internet a qualquer momento.

Os clientes da AWS fazem centenas de milhões de transferências de dados todos os dias, e geralmente não sabemos o motivo de qualquer transferência de dados. Por exemplo, os clientes podem estar transferindo dados para um usuário final da aplicação, para um visitante do site ou para outro ambiente on-premises ou na nuvem para fins de backup. Portanto, a única maneira de sabermos que sua transferência de dados é apoiar sua saída da AWS é se você nos informar com antecedência.

Tabelas do S3

Abrir tudo

As Tabelas do Amazon S3 oferecem armazenamento do S3 especificamente otimizado para workloads de analytics, melhorando a performance das consultas e reduzindo os custos. É possível acessar funcionalidades avançadas de analytics do Iceberg e consultar dados usando serviços conhecidos da AWS, como o Amazon Athena, o Redshift e o EMR, por meio da integração prévia das Tabelas do S3 com o Amazon SageMaker Lakehouse. Além disso, você pode usar aplicações de terceiros compatíveis com o Iceberg REST, como Apache Spark, Apache Flink, Trino, DuckDB e PyIceberg, para ler e gravar dados nas Tabelas do S3. É possível usar buckets de tabela para armazenar dados tabulares, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios, como uma tabela do Iceberg no Amazon S3, e depois interagir com esses dados usando recursos de analytics, como transações em nível de linha, snapshots de tabelas consultáveis e muito mais, tudo gerenciado pelo Amazon S3. Além disso, os buckets de tabela realizam a manutenção contínua das tabelas para otimizar automaticamente a eficiência das consultas ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake.

Você deve usar o S3 Tables para ter uma maneira simples, eficiente e econômica de armazenar dados tabulares no Amazon S3. O S3 Tables permite que você organize seus dados estruturados em tabelas e, em seguida, consulte esses dados usando instruções SQL padrão, praticamente sem configuração. Além disso, o S3 Tables oferece as mesmas características de durabilidade, disponibilidade, escalabilidade e performance do próprio S3 e otimiza automaticamente seu armazenamento para maximizar a performance de consultas e minimizar os custos.

O S3 Tables fornece um armazenamento do S3 desenvolvido com propósito específico para armazenar dados estruturados no formato Apache Parquet, Avro e ORC. Em um bucket de tabelas, é possível criar tabelas como recursos primários diretamente no S3. Essas tabelas podem ser protegidas com permissões a nível de tabela definidas em políticas baseadas em identidade ou em recursos e são acessíveis por aplicações ou ferramentas compatíveis o padrão do Apache Iceberg. Ao criar uma tabela no bucket de tabelas, os dados subjacentes no S3 são armazenados como arquivos no formato Parquet, Avro ou ORC. Em seguida, o S3 usa o padrão do Apache Iceberg para armazenar os metadados necessários para tornar esses dados consultáveis pelas aplicações. O S3 Tables inclui uma biblioteca de cliente que é usada por mecanismos de consulta para navegar e atualizar os metadados do Iceberg das tabelas no bucket de tabelas. Essa biblioteca, em conjunto com as APIs do S3 atualizadas para operações de tabelas, permite que vários clientes realizem a leitura e a gravação de dados com segurança em suas tabelas. Ao longo do tempo, o S3 realiza a otimização automática dos dados no formato Parquet, Avro ou ORC subjacentes ao reescrever ou “compactar” os objetos. A compactação otimiza os dados armazenados no S3 para aprimorar a performance das consultas.

Você pode começar a usar o S3 Tables em apenas algumas etapas simples, sem precisar montar nenhuma infraestrutura fora do S3. Primeiro, crie um bucket de tabela no console do S3. Como parte da criação do seu primeiro bucket de tabela por meio do console, a integração com os serviços do AWS Analytics ocorre automaticamente, o que permite que o S3 preencha automaticamente todos os buckets e tabelas da sua conta e região no Catálogo de Dados do AWS Glue. Depois disso, o S3 Tables estará acessível aos mecanismos de consulta da AWS, como Amazon Athena, EMR e Redshift. Em seguida, você poderá clicar para criar uma tabela usando o Amazon Athena a partir do console do S3. Uma vez no Athena, você poderá começar a preencher novas tabelas e consultá-las rapidamente.

Como alternativa, você pode acessar as tabelas do S3 usando o endpoint do catálogo Iceberg REST por meio do Catálogo de Dados do AWS Glue, que permite descobrir todo o seu patrimônio de dados, incluindo todos os recursos da tabela. Você também pode se conectar diretamente a um endpoint de bucket de tabela individual para descobrir todos os recursos do S3 Tables dentro desse bucket. Isso permite que você use o S3 Tables com qualquer aplicação ou mecanismo de consulta compatível com a especificação do catálogo REST do Apache Iceberg.

Você pode criar uma tabela no seu bucket de tabelas usando a API CreateTable no S3. Como alternativa, você também pode usar seu mecanismo de consulta para criar uma tabela. Você pode excluir uma tabela do seu bucket de tabelas com a API DeleteTable no S3. Como alternativa, você pode usar seu mecanismo de consulta para excluir uma tabela. Quando você fizer isso, sua tabela não estará mais acessível ao mecanismo de consulta.

O S3 Tables oferece suporte ao padrão Apache Iceberg, e mecanismos de consulta, como o Amazon Athena, Amazon Redshift e Apache Spark, podem ser usados para consultar as tabelas em seus buckets de tabela usando SQL padrão.

Você pode esperar uma performance de consultas até três vezes mais rápida e até dez vezes mais transações por segundo (TPS) em comparação ao armazenamento de tabelas do Iceberg em buckets de uso geral do Amazon S3. Isso ocorre porque os buckets de tabela compactam automaticamente os dados subjacentes no formato Parquet, Avro ou ORC para suas tabelas a fim de otimizar a performance de consultas, e o armazenamento com propósito específico oferece suporte a dez vezes mais o volume padrão de TPS.

Não. Para evitar comprometer acidentalmente a integridade de suas tabelas ou interromper aplicações downstream, os buckets de tabela não permitem a substituição ou exclusão manual de objetos. Os buckets de tabela oferecem suporte apenas ao subconjunto de APIs do S3 necessárias para acessar e atualizar as tabelas do Iceberg. Em vez disso, você pode configurar a remoção de arquivos não referenciados e a expiração de snapshots nas tabelas para excluir dados.

Os buckets de tabela permitem aplicar políticas de recursos a todo o bucket ou a tabelas individuais. As políticas de bucket de tabela podem ser aplicadas usando as APIs PutTablePolicy e PutTableBucketPolicy. As políticas em nível de tabela permitem que você gerencie permissões para tabelas em seus buckets de tabela com base na tabela lógica à qual elas estão associadas, sem precisar entender a localização física de arquivos individuais no formato Parquet, Avro ou ORC. Além disso, o Bloqueio de Acesso Público do S3 é sempre aplicado aos buckets de tabela.

Sim. Os buckets de tabela contam com a funcionalidade de snapshot do Iceberg para manter suas tabelas consistentes quando há vários gravadores simultâneos.

Os buckets de tabela oferecem suporte ao formato de tabela Apache Iceberg com dados no formato Parquet, Avro ou ORC.

Os buckets de tabela oferecem três operações de manutenção: compactação, gerenciamento de snapshots e remoção de arquivos não referenciados. A compactação combina periodicamente objetos menores em um número reduzido de objetos maiores para melhorar a performance de consultas. O gerenciamento de snapshots expira e remove snapshots da tabela de acordo com sua configuração de retenção de snapshots. A remoção de arquivos não referenciados exclui objetos que não são referenciados por nenhum snapshot de tabela de acordo com sua política de remoção de arquivos não referenciados, otimizando o custo de armazenamento.

Sim, o S3 Tables oferece suporte ao AWS CloudTrail. Você pode configurar dados e eventos de gerenciamento do CloudTrail para seus buckets de tabela, da mesma forma que faria com um bucket de uso geral do S3. Os logs do CloudTrail para seus buckets de tabela incluem informações sobre tabelas e objetos de dados. 

Sim, os dados em buckets de tabela são criptografados por padrão usando criptografia do lado do servidor, garantindo proteção básica para seus dados em repouso. Para maior segurança, você tem a opção de criptografar seus dados nas tabelas do S3 usando suas próprias chaves de criptografia. Essas chaves são criadas e gerenciadas em sua conta da AWS por meio do AWS Key Management Service (AWS KMS). Com o KMS, há permissões separadas para o uso da chave KMS, adicionando uma camada extra de controle e proteção contra acesso não autorizado às suas tabelas armazenadas em buckets de tabela. Além disso, o KMS gera uma trilha de auditoria detalhada, permitindo que você acompanhe quem acessou qual tabela e quando, usando sua chave. O KMS também oferece controles de segurança adicionais para apoiar seus esforços na conformidade com os requisitos do setor, como PCI-DSS, HIPAA/HITECH e FedRAMP. Essa abordagem abrangente de criptografia e gerenciamento de chaves oferece a segurança e a flexibilidade necessárias para proteger seus dados sensíveis de forma eficaz.

Com as Tabelas do S3, você paga pelo armazenamento, solicitações e uma taxa de monitoramento de objetos por objeto armazenado em buckets de tabela. Também há taxas adicionais para manutenção de tabelas. Para ver os detalhes de preços, acesse a página de preços do S3.

A compactação combina objetos menores em um número reduzido de objetos maiores para melhorar a performance de consultas do Iceberg. O Amazon S3 compacta tabelas com base em um tamanho de arquivo de destino ideal para seu padrão de acesso a dados ou em um valor que você especificar. Os arquivos compactados são gravados como o snapshot mais recente da tabela. O recurso de compactação é compatível por padrão para todas as tabelas do S3 Tables, com um tamanho padrão de arquivo de destino de 512 MB. Você pode alterar o tamanho do arquivo de destino de 64 MB para 512 MB usando a API PutTableMaintenanceConfiguration. 

O gerenciamento de snapshots expira e remove snapshots da tabela conforme sua configuração de retenção de snapshots. O gerenciamento de snapshots determina o número de snapshots ativos para suas tabelas com base em MinimumSnapshots (um por padrão) e em MaximumSnapshotAge (120 horas por padrão). Quando um snapshot expira, o Amazon S3 cria marcadores de exclusão para os arquivos de dados e metadados referenciados exclusivamente por esse snapshot e marca esses arquivos como não atuais. Esses arquivos não atuais são excluídos após o número de dias especificado pela propriedade NoncurrentDays em sua política de remoção de arquivos não referenciados. Você pode alterar os valores padrão do snapshot usando a API PutTableMaintenanceConfiguration. O gerenciamento de snapshots não oferece suporte aos valores de retenção que você configura no arquivo metadata.json do Iceberg, incluindo retenção baseada em ramificações ou tags. O gerenciamento de snapshots do S3 Tables é desabilitado quando você configura uma política de retenção baseada em ramificação ou tag, ou quando configura uma política de retenção no arquivo metadata.json que seja maior do que os valores configurados por meio da API PutTableMaintenanceConfiguration. 

A remoção de arquivos não referenciados identifica e exclui todos os objetos que não são referenciados por nenhum snapshot de tabela. Como parte da sua política de remoção de arquivos não referenciados, você pode configurar duas propriedades: ExpireDays (três dias por padrão) e NoncurrentDays (dez dias por padrão). Para qualquer objeto não referenciado pela sua tabela e mais antigo que a propriedade ExpireDays, o S3 exclui permanentemente os objetos após o número de dias especificado pela propriedade NoncurrentDays. Você pode configurar a remoção de arquivos não referenciados em um nível de bucket de tabela. Você pode alterar os valores padrão da retenção de snapshots usando a API PutTableBucketMaintenanceConfiguration.

S3 Vectors

Abrir tudo

Você pode começar a usar o S3 Vectors em quatro etapas simples, sem precisar configurar nenhuma infraestrutura fora do Amazon S3. Primeiro, crie um bucket vetorial em uma região específica da AWS por meio da API CreateVectorBucket ou no console do S3. Segundo, para organizar seus dados vetoriais em um bucket vetorial, você cria um índice vetorial com a API CreateIndex ou no console do S3. Ao criar um índice vetorial, você especifica a métrica de distância (cosseno ou euclidiana) e o número de dimensões que um vetor deve ter (até 4092). Para obter resultados mais precisos, selecione a métrica de distância recomendada pelo seu modelo de incorporação. Terceiro, adicione dados vetoriais a um índice vetorial com a API PutVectors. Opcionalmente, você pode anexar metadados como pares de valores-chave a cada vetor para filtrar consultas. Quarto, realize uma consulta de similaridade usando a API QueryVectors, especificando o vetor a ser pesquisado e o número dos resultados mais semelhantes a serem retornados.

Você pode criar um índice vetorial usando o console do S3 ou a API CreateIndex. Durante a criação do índice, você especifica o intervalo vetorial, o índice, a métrica de distância, as dimensões e, opcionalmente, uma lista de campos de metadados que você deseja excluir da filtragem durante consultas de similaridade. Por exemplo, se você quiser armazenar dados associados a vetores apenas para referência, você pode especificá-los como campos de metadados não filtráveis. Após a criação, cada índice recebe um nome do recurso da Amazon (ARN) exclusivo. Posteriormente, ao fazer uma solicitação de gravação ou consulta, você a direciona para um índice vetorial dentro de um bucket vetorial.

Você pode adicionar vetores a um índice vetorial usando a API PutVectors. Cada vetor consiste em uma chave, que identifica exclusivamente cada vetor em um índice vetorial (por exemplo, você pode gerar programaticamente um UUID). Para maximizar o throughput de gravação, é recomendável inserir vetores em grandes lotes, até o tamanho máximo da solicitação. Além disso, você pode anexar metadados (por exemplo, ano, autor, gênero e local) como pares de valores-chave a cada vetor. Quando você inclui metadados, por padrão, todos os campos podem ser usados como filtros em uma consulta de similaridade, a menos que sejam especificados como metadados não filtráveis no momento da criação do índice vetorial. Para gerar novas incorporações vetoriais de seus dados não estruturados, você pode usar a API InvokeModel da Amazon Bedrock, especificando o ID do modelo de incorporação que você deseja usar.

Você pode usar a API GetVectors para pesquisar e retornar vetores e metadados associados pela chave vetorial.

Você pode executar uma consulta de similaridade com a API QueryVectors, especificando o vetor de consulta, o número de resultados relevantes a serem retornados (os k principais vizinhos mais próximos) e o ARN do índice. Ao gerar o vetor de consulta, você deve usar o mesmo modelo de incorporação usado para gerar os vetores iniciais armazenados no índice vetorial. Por exemplo, se você usa o Incorporador de Texto do Amazon Titan v2 no Amazon Bedrock para gerar incorporações de seus documentos, é recomendável usar o mesmo modelo para converter uma pergunta em vetor. Além disso, você pode usar filtros de metadados em uma consulta para pesquisar vetores que correspondam ao filtro. Quando você executa a consulta de similaridade, por padrão, as chaves vetoriais são retornadas. Opcionalmente, você pode incluir a distância e os metadados na resposta.

O S3 Vectors oferece armazenamento vetorial altamente durável e disponível. Os dados gravados no S3 Vectors são armazenados no S3, que foi projetado para 11 noves de durabilidade de dados. Projetado para oferecer disponibilidade de 99,99% com um SLA de disponibilidade de 99,9%.

O S3 Vectors oferece tempos de latência de consulta inferiores a um segundo. Ele usa o throughput elástico do Amazon S3 para lidar com pesquisas em milhões de vetores e é ideal para workloads de consultas pouco frequentes.

Para realizar consultas de similaridade para suas incorporações vetoriais, vários fatores podem afetar a recuperação média, incluindo o modelo de incorporação, o tamanho do conjunto de dados vetoriais (número de vetores e dimensões) e a distribuição das consultas. O S3 Vectors oferece uma recuperação média de mais de 90% para a maioria dos conjuntos de dados. A recuperação média mede a qualidade dos resultados da consulta. 90% significa que a resposta contém 90% dos vetores mais próximos da verdade básica, que estão armazenados no índice, do vetor da consulta. No entanto, como a performance real pode variar dependendo do seu caso de uso específico, recomendamos realizar seus próprios testes com dados e consultas representativas para validar se os índices vetoriais do S3 atendem aos seus requisitos de recall.

Você pode ver uma lista de vetores em um índice vetorial com a API ListVectors, que retorna até 1.000 vetores por vez com um indicador se a resposta estiver truncada. A resposta inclui a data da última modificação, a chave vetorial, os dados vetoriais e os metadados. Você também pode usar a API ListVectors para exportar facilmente dados vetoriais de um índice vetorial especificado. A operação ListVectors é fortemente consistente. Então, depois de escrever, você pode listar imediatamente os vetores com todas as alterações refletidas.

Com o S3 Vectors, você paga pelo armazenamento e por todas as solicitações de gravação e leitura aplicáveis (por exemplo, inserção de vetores e execução de operações de consulta em vetores em um índice vetorial). Para ver os detalhes de preços, consulte a página de preços do S3.

Sim. Ao criar uma base de conhecimento do Bedrock por meio do console ou da API do Bedrock, você pode configurar um índice vetorial do S3 como sua loja de vetores para economizar nos custos de armazenamento de vetores para casos de uso do RAG. Se você preferir deixar o Bedrock criar e gerenciar o índice vetorial para você, use o fluxo de trabalho Quick Create no console do Bedrock. Além disso, você pode configurar um novo índice vetorial do S3 como seu armazenamento de vetores para fluxos de trabalho RAG no Estúdio Unificado Amazon SageMaker.

Sim. Há duas maneiras de usar os vetores do S3 com o Amazon OpenSearch Service. Primeiro, os clientes do S3 podem exportar todos os vetores de um índice vetorial do S3 para o OpenSearch Serverless como uma nova coleção sem servidor usando o console do S3 ou do OpenSearch. Se você criar nativamente no S3 Vectors, você se beneficiará de poder usar o OpenSearch Serverless seletivamente para workloads com necessidades de consulta em tempo real. Em segundo lugar, se você é um cliente gerenciado do OpenSearch, agora pode escolher o S3 Vectors como seu mecanismo para dados vetoriais que podem ser consultados com latência inferior a um segundo. O OpenSearch então usará automaticamente o S3 Vectors como mecanismo subjacente para vetores e você poderá atualizar e pesquisar seus dados vetoriais usando as APIs do OpenSearch. Você obtém os benefícios de custo do S3 Vectors, sem alterações em suas aplicações.

Amazon S3 e IPv6

Abrir tudo

Cada servidor e dispositivo conectado à Internet deve ter um endereço exclusivo. O Internet Protocol Version 4 (IPv4) foi o esquema de endereçamento de 32 bits original. No entanto, o crescimento contínuo da Internet implica que todos os endereços IPv4 disponíveis serão utilizados com o passar do tempo. O Internet Protocol Version 6 (IPv6) é um mecanismo de endereçamento criado para superar as limitações de endereço global do IPv4.

Usando o suporte do Amazon S3 ao IPv6, as aplicações podem conectar-se ao Amazon S3 sem precisar de nenhum software ou sistema de conversão de IPv6 para IPv4. Você pode atender aos requisitos de conformidade, integrar-se mais facilmente a aplicações locais baseadas em IPv6 atuais e eliminar a necessidade de adquirir equipamentos de redes dispendiosos para realizar a conversão de endereço. Agora, também é possível usar os recursos de filtragem de endereços de origem atuais nas políticas do IAM e de bucket com endereços IPv6, aumentando suas opções para proteger aplicações que interagem com o Amazon S3.

Você pode começar a usá-lo ao direcionar sua aplicação para o endpoint "dual-stack" do Amazon S3 compatível com acesso via IPv4 e IPv6. Na maioria dos casos, não é exigida nenhuma configuração adicional para o acesso via IPv6, pois a maioria dos clientes de rede preferem endereços IPv6 como padrão. As aplicações afetadas pelo uso do IPv6 podem voltar para os endpoints padrão somente com IPv4 a qualquer instante. O IPv6 com Amazon S3 é compatível com todas as regiões comerciais da AWS, incluindo as regiões AWS GovCloud (EUA), região da China (Pequim) da Amazon Web Services, operada pela Sinnet e região da China (Ningxia) da Amazon Web Services, operada pela NWCD. 

Não. Você obterá a mesma performance ao usar o IPv4 ou o IPv6 com o Amazon S3.

Notificações de eventos do S3

Abrir tudo

Você pode usar o recurso Notificações de eventos do Amazon S3 para receber notificações quando determinados eventos ocorrerem em seu bucket do S3, como eventos PUT, POST, COPY e DELETE. Você pode publicar notificações no Amazon EventBridgeAmazon SNS, Amazon SQS ou diretamente no AWS Lambda.

As notificações de eventos do Amazon S3 permitem executar fluxos de trabalho, enviar alertas ou executar outras ações como resposta a alterações nos objetos armazenados no S3. Você pode usar as notificações de eventos do S3 para configurar acionadores para executar ações como transcodificação de arquivos de mídia após o carregamento, processamento de arquivos de dados após a disponibilização e ainda sincronização de objetos do S3 com outros datastores. Você também pode configurar notificações de eventos com base em prefixos e sufixos de nomes de objetos. Por exemplo, você pode optar por receber notificações sobre nomes de objetos que começam com “images/”.

Para obter uma descrição detalhada das informações incluídas nas mensagens de notificação de eventos do Amazon S3, consulte a documentação de configuração de notificações de eventos do Amazon S3

Para obter uma descrição detalhada de como configurar notificações de eventos, consulte a documentação de configuração de notificações de eventos do Amazon S3. Você pode saber mais sobre os serviços de sistemas de mensagens da AWS na documentação do Amazon SNS e na documentação do Amazon SQS.

Não há cobrança adicional do Amazon S3 para as notificações de eventos. Você paga apenas pelo uso do Amazon SNS ou do Amazon SQS para entregar as notificações de eventos, ou pelo custo de execução da função do AWS Lambda. Acesse as páginas de preços do Amazon SNS, Amazon SQS ou AWS Lambda para visualizar os detalhes de preço desses serviços.

Aceleração de Transferências do Amazon S3

Abrir tudo

O Aceleração de Transferências do Amazon S3 permite transferências de arquivos rápidas, fáceis e seguras em longas distâncias entre o seu cliente e o bucket do Amazon S3. O Aceleração de Transferências do S3 utiliza os locais da borda da AWS do Amazon CloudFront distribuídos globalmente. Conforme os dados chegam no local da borda da AWS, eles são direcionados para o seu bucket do Amazon S3 por um caminho de rede otimizado.

Para começar a usar o S3 Transfer Acceleration, habilite o S3 Transfer Acceleration em um bucket do S3 usando o console do Amazon S3, a API do Amazon S3 ou a ILC da AWS. Após habilitar o S3 Transfer Acceleration, você poderá direcionar suas solicitações PUT e GET do Amazon S3 para o nome de domínio do endpoint s3-accelerate. Seu aplicativo de transferência de dados deve usar um destes dois tipos de endpoint para acessar o bucket para transferência de dados mais rápida: .s3-accelerate.amazonaws.com ou .s3-accelerate.dualstack.amazonaws.com para o endpoint “dual-stack”. Se você desejar usar a transferência de dados padrão, é possível continuar a usar os endpoints normais. Há algumas restrições sobre quais buckets oferecem suporte ao S3 Transfer Acceleration. Para obter mais detalhes, consulte a documentação do Amazon S3.

A Aceleração de Transferência do S3 ajuda você a usar integralmente a largura de banda e a minimizar o impacto da distância no throughput. O recurso foi projetado para garantir que a transferência de dados para o Amazon S3 seja sempre rápida, independentemente da localização do seu cliente. A quantidade de aceleração depende principalmente da largura de banda disponível, da distância entre a origem e o destino e das taxas de perda de pacotes no caminho da rede. De modo geral, você verá uma maior aceleração quando a origem for mais distante do destino, quando houver maior largura de banda disponível e/ou o tamanho do objeto for maior. Um cliente mediu uma redução de 50% em sua média de tempo de ingestão de arquivos de 300 MB de uma base de usuários global distribuída nos EUA, na Europa e em partes da Ásia para um bucket na região Ásia-Pacífico (Sydney). Outro cliente observou casos em que o desempenho teve uma melhora de mais de 500% para os usuários no Sudeste da Ásia e na Austrália que carregavam arquivos de 250 MB (divididos em partes de 50 MB) para um bucket do S3 na região Leste dos EUA (Norte da Virgínia). Acesse a ferramenta de comparação de velocidade do S3 Transfer Acceleration para visualizar os benefícios de performance para a sua localização.

O S3 Transfer Acceleration foi projetado para otimizar as velocidades de transferência de qualquer local do mundo para os buckets do S3. Se você estiver fazendo upload de locais geograficamente dispersos para um bucket centralizado, ou se você transferir frequentemente gigabytes ou terabytes de dados entre vários continentes, poderá economizar horas ou dias de tempo de transferência de dados com o S3 Transfer Acceleration.

A Aceleração de Transferências do S3 oferece a mesma segurança das transferências normais para o Amazon S3. Todos os recursos de segurança do Amazon S3, como a restrição de acesso com base no endereço IP de um cliente, são também oferecidos. O S3 Transfer Acceleration comunica-se com os clientes por meio do TCP padrão e não exige alterações de firewall. Nenhum dado é salvo nos locais da borda da AWS.

Toda vez que você usar a Aceleração de Transferências do S3 para fazer upload de um objeto, verificaremos se é provável que a Aceleração de Transferências do S3 seja mais rápida que uma transferência normal do Amazon S3. Se determinarmos que não é provável que a Aceleração de Transferências do S3 seja mais rápida que uma transferência normal do Amazon S3 para o mesmo objeto e a mesma região de destino da AWS, não cobraremos o uso da Aceleração de Transferências do S3 para essa transferência e poderemos ignorar o sistema da Aceleração de Transferências do S3 para esse upload.

Sim, o S3 Transfer Acceleration oferece suporte a todos os recursos de bucket, inclusive multipart uploads.

A Aceleração de Transferências do S3 otimiza o protocolo TCP e adiciona inteligência entre o cliente e o bucket do S3, o que faz da Aceleração de Transferências do S3 uma escolha melhor quando um throughput mais alto é desejado. Caso você tenha objetos menores do que um 1 GB ou se o conjunto de dados for menor do que um 1 GB, considere o uso dos comandos PUT/POST do Amazon CloudFront para obter uma performance excepcional.

O AWS Direct Connect é uma boa opção para clientes que exigem redes privadas ou que têm acesso às trocas do AWS Direct Connect. O S3 Transfer Acceleration é melhor para o envio de dados de locais de clientes distribuídos pela Internet pública, ou quando condições de rede variáveis diminuem a qualidade do throughput. Alguns clientes do AWS Direct Connect usam o S3 Transfer Acceleration para ajudar nas transferências para escritórios remotos, que podem ser prejudicadas por uma performance fraca da Internet.

Você pode se beneficiar da configuração do destino do bucket em seu gateway de terceiros para usar um domínio de endpoint do S3 Transfer Acceleration.
Acesse a seção sobre arquivos das perguntas frequentes sobre o Storage Gateway para saber mais sobre a implementação do AWS.

Sim. Os pacotes de software que se conectam diretamente ao Amazon S3 podem aproveitar o S3 Transfer Acceleration quando enviam tarefas para o Amazon S3. Saiba mais sobre as soluções de parceiros de armazenamento »

Sim. A AWS expandiu seu programa de conformidade com a HIPAA para incluir a Aceleração de Transferências do S3 como um serviço qualificado para a HIPAA. Se você assinou um Business Associate Agreement (BAA – Acordo de Associado Comercial) com a AWS, poderá usar a Aceleração de Transferências do S3 para viabilizar transferências de arquivos de forma rápida, fácil e segura, incluindo Protected Health Information (PHI – Informações Protegidas de Saúde), por longas distâncias entre clientes e buckets do Amazon S3.

Segurança

Abrir tudo

     O Amazon S3 é seguro por padrão. Após a criação, só você tem acesso aos buckets do Amazon S3 que você cria e controle total sobre quem tem acesso aos seus dados. O Amazon S3 oferece suporte à autenticação de usuário para controlar o acesso aos dados. Você pode usar mecanismos de controle de acesso, como políticas de bucket para conceder permissões seletivamente a usuários e grupos de usuários. O console do Amazon S3 destaca os buckets com acesso público, indica a origem da capacidade de acesso público e avisa se alterações em políticas e ACLs do bucket disponibilizarão esse bucket para acesso público. Você deve ativar o Bloqueio de Acesso Público do Amazon S3 para todas as contas e buckets que não deseja tornar publicamente acessíveis. Todos os novos buckets têm o Bloqueio de Acesso Público ativado por padrão. Você pode baixar/carregar de dados de/para o Amazon S3 com segurança por meio de endpoints SSL usando o protocolo HTTPS. O Amazon S3 criptografa automaticamente todos os objetos carregados para seu bucket (a partir de 5 de janeiro de 2023). Como alternativa, é possível usar suas próprias bibliotecas de criptografia para criptografar dados antes de armazená-los no Amazon S3.
Para obter mais informações sobre segurança na AWS, consulte a página de segurança da AWS. Para obter informações sobre segurança do S3, visite a página de segurança do S3 e o guia de práticas recomendadas de segurança do S3.

Os clientes podem usar vários mecanismos para controlar o acesso aos recursos do Amazon S3, incluindo políticas do AWS Identity and Access Management (IAM), políticas de bucket, políticas de ponto de acesso, listas de controle de acesso (ACLs), autenticação por string de consulta, políticas de endpoint da Amazon Virtual Private Cloud (Amazon VPC), políticas de controle de serviço (SCPs) no AWS Organizations e Bloqueio de acesso público do Amazon S3.

Sim, os clientes podem, opcionalmente, configurar um bucket do Amazon S3 para criar registros de log de acesso de todas as solicitações enviadas a esse bucket. Como alternativa, os clientes que precisam capturar informações sobre o IAM e a identidade do usuário nos logs podem configurar eventos de dados do AWS CloudTrail. Esses registros de log de acesso podem ser usados para fins de auditoria e contêm detalhes sobre a solicitação, tais como o tipo, os recursos especificados na solicitação e a data e hora em que foi processada.

O Amazon S3 criptografa todos os novos dados carregados para qualquer bucket. O Amazon S3 aplica a criptografia do lado do servidor gerenciada pelo S3 (SSE-S3) como o nível básico de criptografia para todos os objetos carregados (a partir de 5 de janeiro de 2023). O SSE-S3 oferece uma solução totalmente gerenciada em que a Amazon trata o gerenciamento e a proteção de chaves usando várias camadas de segurança. Você deverá continuar a usar o SSE-S3 se preferir que a Amazon gerencie suas chaves. Além disso, você também pode optar por criptografar dados usando SSE-C, SSE-KMS, DSSE-KMS ou uma biblioteca de cliente, como o Amazon S3 Encryption Client. Cada opção permite que você armazene dados confidenciais criptografados em repouso no Amazon S3. O SSE-C permite que o Amazon S3 execute criptografia e descriptografia de objetos, enquanto você mantém o controle das chaves de criptografia. Com o SSE-C, você não precisa implementar nem usar uma biblioteca de cliente para criptografar e descriptografar objetos armazenados no Amazon S3, mas precisa gerenciar as chaves enviadas ao Amazon S3 para criptografar e descriptografar objetos. Use o SSE-C se quiser manter suas próprias chaves de criptografia, mas não quiser implementar ou usar uma biblioteca de criptografia do lado do cliente. O SSE-KMS permite que o AWS Key Management Service (AWS KMS) gerencie suas chaves de criptografia. O uso do AWS KMS para gerenciar suas chaves oferece vários benefícios adicionais. Com o AWS KMS, existem permissões separadas para o uso da chave do KMS, oferecendo uma camada de controle e proteção contra acesso autorizado aos seus objetos armazenados no Amazon S3. O AWS KMS fornece uma trilha de auditoria, permitindo visualizar quem usou sua chave para acessar o objeto, qual objeto foi acessado e quando ocorreu esse acesso. Também é possível visualizar tentativas malsucedidas de acesso por usuários sem permissão para descriptografar os dados. Além disso, o AWS KMS oferece controles de segurança adicionais para dar suporte aos esforços dos clientes no cumprimento dos requisitos de PCI-DSS, HIPAA/HITECH e FedRAMP do setor. O DSSE-KMS simplifica o processo de aplicação de duas camadas de criptografia aos seus dados, sem precisar investir na infraestrutura necessária para criptografia do lado do cliente. Cada camada de criptografia usa uma implementação diferente do algoritmo Advanced Encryption Standard de 256 bits com Galois Counter Mode (AES-GCM - Padrão de criptografia avançada com Modo de contador Galois) e é avaliada e aceita para uso em workloads ultrassecretas. O DSSE-KMS usa o AWS KMS para gerar chaves de dados e permite que o AWS KMS gerencie suas chaves de criptografia. Com o AWS KMS, existem permissões separadas para o uso da chave do KMS, oferecendo uma camada de controle adicional e proteção contra acesso não autorizado aos seus objetos armazenados no Amazon S3. O AWS KMS fornece uma trilha de auditoria, permitindo visualizar quem usou sua chave para acessar o objeto, qual objeto foi acessado e quando ocorreu esse acesso. Também é possível visualizar tentativas malsucedidas de acesso por usuários sem permissão para descriptografar os dados. Além disso, o AWS KMS oferece controles de segurança adicionais para apoiar os esforços dos clientes no cumprimento dos requisitos setoriais PCI-DSS, HIPAA/HITECH e FedRAMP. Usando uma biblioteca de criptografia de cliente, você mantém o controle das chaves e conclui a criptografia e descriptografia dos objetos do cliente usando a biblioteca de criptografia que preferir. Alguns clientes preferem ter controle completo da criptografia e descriptografia de objetos; assim, apenas objetos criptografados são transmitidos para o Amazon S3 pela Internet. Use uma biblioteca de cliente se quiser manter o controle de suas chaves de criptografia, se puder implementar ou usar uma biblioteca de criptografia do lado do cliente e se precisar ter seus objetos criptografados antes de enviá-los para armazenamento no Amazon S3. Para obter mais informações sobre como usar o Amazon S3 SSE-S3, SSE-C ou SSE-KMS, consulte a documentação da proteção de dados usando criptografia.

Os clientes podem escolher armazenar todos os dados na Europa, usando as regiões Europa (Frankfurt), Europa (Irlanda), Europa (Paris), Europa (Estocolmo), Europa (Milão), Europa (Espanha), Europa (Londres) ou Europa (Zurique). Você também pode usar o Amazon S3 no Outposts para manter todos os seus dados no AWS Outpost e pode escolher transferir dados entre os AWS Outposts ou para uma região da AWS. É sua responsabilidade garantir a conformidade com a legislação de privacidade europeia. Consulte o Centro do Regulamento geral de proteção de dados (GDPR) da AWS e o Centro de privacidade de dados da AWS para obter mais informações. Se você tiver requisitos de localização mais específicos ou outros regulamentos de privacidade de dados que exijam que você mantenha os dados em um local onde não haja uma região da AWS, você pode usar as classes de armazenamento do S3 para zonas locais dedicadas da AWS ou o S3 on Outposts.


Por padrão, os dados de objetos e metadados de objetos permanecem na zona local dedicada em que você colocou o objeto. Os dados de telemetria e gerenciamento de bucket, incluindo nomes de bucket, métricas de capacidade, logs do CloudTrail, métricas do CloudWatch, chaves gerenciadas pelo cliente do AWS Key Management Service (KMS) e políticas do Identity and Access Management (IAM), são armazenados na região da AWS principal. Opcionalmente, outros recursos de gerenciamento de buckets, como Operações em Lote do S3, armazenam metadados de gerenciamento com nomes de bucket e nomes de objeto na região da AWS principal.

Um endpoint da Amazon VPC para o Amazon S3 é uma entidade lógica em uma VPC que oferece conectividade ao S3 via rede global da AWS. Há dois tipos de endpoints da VPC para S3: endpoints da VPC de gateway e endpoints da VPC de interface. Os endpoints de gateway são um gateway que você especifica em sua tabela de rotas para acessar o S3 de sua VPC via rede da AWS. Os endpoints de interface estendem a funcionalidade dos endpoints de gateway usando IPs privados para rotear solicitações do S3 de dentro de sua VPC, on-premises, ou de uma Região da AWS diferente. Acesse a documentação do AWS PrivateLink para Amazon S3 para obter mais informações.

Você pode usar políticas de bucket do Amazon S3 para limitar o acesso ao bucket de um endpoint ou de um conjunto de endpoints do Amazon VPC Endpoint. As políticas de bucket do S3 oferecem agora uma nova condição, aws:sourceVpce, que pode ser usada para restringir o acesso. Para obter mais detalhes e políticas de exemplo, leia a documentação dos endpoints do gateway para S3


Você pode criar um endpoint da VPC de interface no Console de gerenciamento de VPC da AWS, AWS Command Line Interface (AWS CLI), AWS SDK ou API. Para saber mais, consulte a documentação.

Sim. Se você tem um VPC endpoint de gateway, crie um VPC endpoint de interface em sua VPC e atualize seus aplicativos clientes com os nomes de endpoints específicos do endpoint da VPC. Por exemplo, se o ID do seu endpoint da VPC do endpoint de interface for vpce-0fe5b17a0707d6abc-29p5708s na Região us-east-1, então o nome de DNS específico do seu endpoint será vpce-0fe5b17a0707d6abc-29p5708s.s3.us-east-1.vpce.amazonaws.com. Nesse caso, somente as solicitações aos nomes específicos do endpoint da VPC serão roteadas por meio dos endpoints da VPC de interface para o S3. Todas as demais solicitações continuarão a ser roteadas pelo endpoint da VPC de gateway. Para saber mais, consulte a documentação.

O Amazon Macie é um serviço de segurança baseado em IA que ajuda a evitar a perda de dados descobrindo, classificando e protegendo automaticamente dados sigilosos armazenados no Amazon S3. O Amazon Macie usa Machine Learning para reconhecer dados confidenciais, como informações de identificação pessoal (PII) ou propriedade intelectual, atribui um valor comercial e proporciona visibilidade do local de armazenamento dos dados e de como são usados na organização. O Amazon Macie monitora continuamente atividades de acesso a dados para detectar anomalias e envia alertas quando detecta risco de acesso não autorizado ou vazamento acidental de dados. Você pode usar o Amazon Macie para proteção contra ameaças à segurança mediante o monitoramento contínuo dos dados e das credenciais de conta. O Amazon Macie oferece um meio automatizado e com pouca intervenção humana para descobrir e classificar dados de negócios. O serviço fornece controles por meio de funções Lambda em modelos para revogar acesso ou acionar políticas de redefinição de senha quando são detectados comportamentos suspeitos ou acessos não autorizados a dados em entidades ou aplicações de terceiros. Quando alertas são gerados, o Amazon Macie pode ser usado para responder a incidentes, usando o Amazon CloudWatch Events para agir rapidamente e proteger seus dados. Para obter mais informações, acesse a documentação do Amazon Macie.

O Access Analyzer para S3 é um recurso que ajuda a simplificar o gerenciamento de permissões conforme você define, verifica e refina políticas para seus buckets do S3 e pontos de acesso. O Access Analyzer para S3 monitora suas políticas de acesso existentes para verificar se elas fornecem apenas o acesso necessário aos seus recursos do S3. O Access Analyzer para S3 avalia suas políticas de acesso a buckets e ajuda você a descobrir e fazer alterações rapidamente em buckets que não exigem acesso. O Access Analyzer for S3 alerta quando um bucket está configurado para permitir acesso a qualquer pessoa na Internet ou que é compartilhado com outras contas da AWS. Você recebe descobertas sobre a origem e o nível de acesso público ou compartilhado. Por exemplo, o Access Analyzer for S3 informará você de forma proativa se o acesso não exigido de leitura ou gravação foi fornecido por meio de uma lista de controle de acesso ou política de bucket. Com essas descobertas, você pode definir ou restaurar imediatamente a política de acesso necessária. Ao analisar resultados que mostram acesso potencialmente compartilhado a um bucket, você pode bloquear o acesso público ao bucket com um único clique no console do S3. Você também pode fazer uma busca detalhada nas configurações de permissão no nível do bucket para configurar níveis de acesso detalhados. Para fins de auditoria, é possível baixar as descobertas do Access Analyzer for S3 com um relatório CSV.  Além disso, o console do S3 reporta avisos de segurança, erros e sugestões do IAM Access Analyzer à medida que você cria suas políticas do S3. O console executa automaticamente mais de 100 verificações de política para validar suas políticas. Essas verificações economizam tempo, orientam você para resolver erros e ajudam a aplicar práticas recomendadas de segurança.
Para obter mais informações, visite a documentação do IAM Access Analyzer.

Concessão de Acesso do S3

Abrir tudo

A Concessão de Acesso do Amazon S3 mapeia as identidades em diretórios, como Active Directory, ou em entidades principais do AWS Identity and Access Management (IAM) para conjuntos de dados no S3. Isso ajuda você a gerenciar permissões de dados em grande escala ao conceder automaticamente acesso ao S3 aos usuários finais com base em sua identidade corporativa. Além disso, o S3 Access Grants registra em log a identidade do usuário final e a aplicação usada para acessar dados do S3 no AWS CloudTrail. Isso ajuda a fornecer um histórico detalhado de auditoria para a identidade do usuário final para todo o acesso aos dados em seus buckets do S3.

Você deverá usar a Concessão de Acesso do S3 se seus dados do S3 forem compartilhados e acessados por muitos usuários e aplicações, em que algumas de suas identidades estão em seu diretório corporativo, como Okta ou Entra ID, e você precisa de uma forma escalável, simples e auditável de conceder acesso a esses conjuntos de dados do S3 em grande escala.

Você pode começar a usar o S3 Access Grants em quatro etapas. Primeiro, configure uma instância do S3 Access Grants. Nessa etapa, se quiser usar o S3 Access Grants com usuários e grupos no seu diretório corporativo, ative o Centro de Identidade da AWS e conecte o S3 Access Grants à sua instância do Centro de Identidade. Segundo, registre um local com o S3 Access Grants. Durante esse processo, você concede aos S3 Access Grants um perfil do IAM que é usada para criar credenciais temporárias do S3 que usuários e aplicações podem usar para acessar o S3. Em terceiro lugar, defina concessões de permissão que especifiquem quem pode acessar o quê. Por fim, no momento do acesso, faça com que sua aplicação solicite credenciais temporárias do S3 Access Grants e use as credenciais vendidas pelo Access Grants para acessar o S3.

A Concessão de Acesso do S3 oferece suporte a dois tipos de identidades: identidades de grupo ou usuário corporativo do Centro de Identidade da AWS e entidades principais do AWS IAM, incluindo usuários e perfis do IAM. Ao usar o S3 Access Grants com o Centro de Identidade da AWS, você pode definir permissões de dados com base em associações de grupos de diretórios. O Centro de Identidade da AWS é um serviço da AWS que se conecta a provedores de identidade comumente usados, incluindo o Entra ID, o Okta e o Ping, entre outros. Além de oferecer suporte a identidades de diretório por meio do Centro de Identidade da AWS, o S3 Access Grants também oferece suporte a regras de permissões para entidades principais do AWS IAM, incluindo usuários e perfis do IAM. Isso é para casos de uso em que você gerencia uma federação de identidades personalizada não por meio do Centro de Identidade da AWS, mas por meio do IAM e de uma declaração SAML (implementação de exemplo) ou gerencia identidades de aplicações com base nas entidades principais do IAM e ainda deseja usar a Concessão de Acesso do S3 devido à sua escalabilidade e auditabilidade.

A Concessão de Acesso do S3 oferece três níveis de acesso: READ, WRITE e READWRITE. READ permite visualizar e recuperar objetos do S3. WRITE permite gravar e excluir do S3. READWRITE permite ler e gravar.

Não. Você pode apenas usar os três níveis de acesso predefinidos (READ/WRITE/READWRITE) oferecidos pelo S3 Access Grants.

Sim. Você pode criar até 100.000 subsídios por instância do S3 Access Grants e até 1.000 locais por instância do S3 Access Grants.

Não. A latência para obter credenciais temporárias da Concessão de Acesso do S3 é semelhante à obtenção de credenciais temporárias do AWS STS atualmente. Depois de obter as credenciais do S3 Access Grants, você pode reutilizar credenciais não expiradas para solicitações subsequentes. Para essas solicitações subsequentes, não há latência adicional para solicitações autenticadas por meio das credenciais da Concessão de Acesso do S3 em comparação com outros métodos.

Se você pretende usar o S3 Access Grants para identidades de diretórios, primeiro precisará configurar o Centro de Identidade do AWS IAM. O Centro de Identidade do AWS IAM ajuda você a criar ou conectar suas identidades de força de trabalho, sejam elas criadas e armazenadas no Centro de Identidade ou em um provedor de identidade externo terceirizado. Consulte a documentação do Centro de Identidade para ver o processo de configuração. Depois de configurar a instância do Centro de Identidade, você pode conectar a instância aos S3 Access Grants. Depois disso, o S3 Access Grants conta com o Centro de Identidade para recuperar atributos do usuário, como associação a grupos, para avaliar solicitações e tomar decisões de autorização.

Sim. Enquanto hoje você inicializa seu cliente S3 com credenciais do IAM associadas à sua aplicação (por exemplo, credenciais de perfil do IAM para EC2 ou do IAM Roles Anywhere; ou usando credenciais de usuário do IAM de longo prazo), sua aplicação precisará obter as credenciais do S3 Access Grants antes de inicializar o cliente do S3. Essas credenciais do S3 Access Grants serão específicas para o usuário autenticado na sua aplicação. Depois que o cliente do S3 é inicializado com essas credenciais do S3 Access Grants, ele pode fazer solicitações de dados do S3 normalmente usando as credenciais.

Atualmente, a Concessão de Acesso do S3 já se integra ao EMR e ao Spark de código aberto por meio do conector S3A. Além disso, o S3 Access Grants se integra a softwares de terceiros, incluindo o Immuta e o Informatica, para que você possa centralizar o gerenciamento de permissões. E, finalmente, a Concessão de Acesso do S3 oferece suporte ao Terraform e ao CloudFormation para que você provisione programaticamente a Concessão de Acesso do S3.

Não. A Concessão de Acesso do S3 não substitui o IAM e, de fato, funciona bem com suas estratégias existentes de proteção de dados baseadas no IAM (criptografia, rede e regras de perímetro de dados). A Concessão de Acesso do S3 é baseada em elementos primitivos do IAM e permite que você expresse permissões mais refinadas do S3 em grande escala.

Sim. Para utilizar o S3 Access Grants para objetos criptografados com o KMS, os proprietários do bucket incluem as permissões do KMS necessárias no perfil do IAM que concedem às concessões de acesso do S3 como parte do registro do local. Em seguida, o S3 Access Grants pode utilizar esse perfil do IAM para acessar os objetos criptografados pelo KMS nos buckets.

Você pode usar a experiência do console do S3 Access Grants no Console de Gerenciamento da AWS ou as APIs do SDK e da CLI para visualizar e gerenciar suas permissões do S3 Access Grants.

Não. Você não pode conceder acesso público aos dados com o S3 Access Grants.

A solicitação da aplicação para iniciar uma sessão de acesso a dados com o S3 Access Grants será registrada no CloudTrail. O CloudTrail distinguirá a identidade do usuário que faz a solicitação e a identidade da aplicação que acessa os dados em nome do usuário. Isso ajuda você a auditar a identidade do usuário final sobre quem acessou quais dados e em que momento.

O S3 Access Grants é cobrado com base no número de solicitações ao S3 Access Grants. Consulte a página de preços para conferir mais detalhes.

O AWS Lake Formation é para casos de uso em que você precisa gerenciar o acesso a dados tabulares (por exemplo, tabelas Glue), em que talvez você queira impor o acesso em nível de linha e coluna. O S3 Access Grants serve para gerenciar o acesso para permissões diretas do S3, como dados não estruturados, incluindo vídeos, imagens, logs etc.

Não. No momento, a Concessão de Acesso do S3 não está integrada ao Analisador de acesso do IAM. Você ainda não pode usar o IAM Access Analyzer para analisar as concessões de permissões do S3 Access Grants. Os clientes podem auditar a Concessão de Acesso do S3 diretamente acessando a página Concessão de Acesso do S3 no console do S3 ou usando programaticamente a API ListAccessGrants.

Pontos de acesso do S3

Abrir tudo

Os Pontos de Acesso Amazon S3 são endpoints que simplificam o gerenciamento do acesso aos dados para qualquer aplicação ou serviço da AWS que funcione com o S3. Os Pontos de Acesso S3 funcionam com buckets do S3 e com os sistemas de arquivos do Amazon FSx para OpenZFS. Você pode controlar e simplificar a forma como diferentes aplicações ou usuários podem acessar dados criando pontos de acesso com nomes e permissões personalizados para cada aplicação ou usuário.

Usando os Pontos de Acesso do S3 com buckets do S3, você não precisa mais gerenciar uma política de bucket única e complexa com centenas de regras de permissão diferentes que precisam ser gravadas, lidas, rastreadas e auditadas. Em vez disso é possível criar centenas de pontos de acesso por bucket que fornecem um caminho personalizado em um bucket, com um nome de host e uma política de acesso únicos, que aplica as permissões e os controles de rede específicos para qualquer solicitação feita por meio do ponto de acesso.

Usando Pontos de Acesso S3 com FSx para OpenZFS, você pode acessar seus dados do FSx usando a API do S3 como se os dados estivessem no S3. Com esse recurso, seus dados de arquivo no FSx para OpenZFS podem ser usados com a ampla variedade de serviços e aplicações de inteligência artificial, machine learning e analytics que funcionam com o S3, enquanto seus dados de arquivo continuam residindo no sistema de arquivos do FSx para OpenZFS.

Os Pontos de Acesso do S3 simplifica como você gerencia o acesso a dados nos conjuntos de dados compartilhados no S3. Você não precisa mais gerenciar uma política de bucket única e complexa com centenas de regras de permissão diferentes que precisam ser gravadas, lidas, rastreadas e auditadas. Com o Pontos de acesso S3, você pode criar pontos de acesso ou delegar permissões a contas confiáveis para criar pontos de acesso entre contas em seu bucket. Isso permite o acesso a conjuntos de dados compartilhados com políticas personalizadas para a aplicação específica. Usando Pontos de acesso, é possível decompor uma política de bucket grande em políticas de ponto de acesso discretas e separadas para cada aplicativo que precise acessar o conjunto de dados compartilhados. Isso simplifica o foco na criação da política de acesso correta para um aplicativo, sem precisar se preocupar em interromper o que qualquer outro aplicativo está fazendo no conjunto de dados compartilhados. Você também pode criar uma Política de controle de serviços (SCP) e exigir que todos os pontos de acesso sejam restritos a uma nuvem privada virtual (VPC), protegendo seus dados com firewall em suas redes privadas. 

Com os pontos de acesso do S3, você pode acessar dados de arquivos no Amazon FSx para OpenZFS usando APIs do S3 e sem mover dados para o S3. Os pontos de acesso S3 conectados aos sistemas de arquivos FSx para OpenZFS funcionam de forma semelhante à forma como os pontos de acesso S3 conectados aos buckets do S3 funcionam, fornecendo acesso aos dados via S3 com acesso controlado por políticas de acesso, enquanto os dados continuam sendo armazenados nos sistemas de arquivos FSx para OpenZFS ou nos buckets do S3. Por exemplo, quando um ponto de acesso S3 é conectado a um sistema de arquivos FSx for OpenZFS, os clientes podem usar o ponto de acesso com serviços e aplicações de IA generativa, machine learning e analytics que funcionam com o S3 para acessar seus dados do FSx para OpenZFS.

Cada ponto de acesso do S3 é configurado com uma política de acesso específica para um caso de uso ou aplicação, e um bucket pode ter milhares de pontos de acesso. Por exemplo, você pode criar um ponto de acesso para seu bucket S3 que conceda acesso para grupos de usuários ou aplicações para seu data lake. Um Ponto de Acesso pode suportar um único usuário ou aplicação, ou grupos de usuários ou aplicações dentro de e entre contas, permitindo o gerenciamento separado de cada ponto de acesso.  Além disso, você pode delegar permissões a contas confiáveis para criar pontos de acesso entre contas em seu bucket. Os pontos de acesso entre contas não concedem acesso aos dados até que você receba permissões do proprietário do bucket.  O proprietário do bucket sempre retém o controle final dos dados e deve atualizar a política do bucket para autorizar solicitações provenientes do ponto de acesso entre contas. Acesse o guia do usuário para ver um exemplo de política de bucket. Cada ponto de acesso está associado a um único bucket e contém um controle de origem de rede e um controle Bloqueio de acesso público. Você pode criar um ponto de acesso com um controle de origem de rede que permite apenas o acesso ao armazenamento de sua Virtual Private Cloud, uma seção logicamente isolada da Nuvem AWS. Você também pode criar um ponto de acesso com a política de ponto de acesso configurada para permitir acesso apenas a objetos com prefixos definidos ou a objetos com tags específicas. Você pode acessar dados em buckets compartilhados por meio de um ponto de acesso de uma das duas maneiras. Para operações de objeto S3, você pode usar o ponto de acesso ARN no lugar de um nome de bucket. Para solicitações que exigem um nome de bucket no formato de nome de bucket S3 padrão, você pode usar um pseudônimo de ponto de acesso. Pseudônimos para Pontos de Acesso S3 são gerados automaticamente e são intercambiáveis com nomes de bucket S3 em qualquer lugar que você use um nome de bucket para acesso a dados. Cada vez que você cria um ponto de acesso para um bucket, o S3 gera automaticamente um novo Pseudônimo de Ponto de Acesso. Para o conjunto completo de operações compatíveis e serviços AWS, visite a documentação S3.

Por padrão, você pode criar 10 mil Pontos de acesso do S3 por região e por conta nos buckets em sua conta e entre contas. Não há limite rígido para o número de Pontos de acesso do S3 por conta da AWS. Visite o Service Quotas para solicitar aumento nessa cota.

Os pontos de acesso S3 possuem suas próprias políticas de ponto de acesso IAM. Você pode escrever políticas de ponto de acesso como você faria uma política de bucket, usando o ponto de acesso ARN como recurso. As políticas de ponto de acesso podem oferecer ou restringir acesso aos dados S3 solicitados por meio dos pontos de acesso. O Amazon S3 avalia todas as políticas relevantes, incluindo as de usuário, bucket, ponto de acesso, endpoint da VPC e políticas de controle de serviço, bem como a lista de controle de acesso para decidir se autoriza a solicitação.

Você pode escrever uma política de ponto de acesso como uma política de bucket, usando regras do IAM para controlar permissões e os pontos de acesso ARN no documento de política.

Você pode continuar usando as políticas de bucket para limitar o acesso do bucket a VPCs específicos. Pontos de acesso fornecem uma forma mais fácil e auditável para bloquear todos os dados ou um subconjunto deles em um conjunto de dados compartilhados para o tráfego apenas para o VPC para todos os aplicativos em sua organização usando os controles de API. Você pode usar uma política de controle de serviço das AWS Organizations (SCP) para obrigar que qualquer ponto de acesso criado em sua organização configure o parâmetro da API “controle de origem de rede” para “vpc”. Então, qualquer novo ponto de acesso criado automaticamente restringe acesso de dados para o tráfego apenas para o VPC. Nenhuma política de acesso adicional é necessária para garantir que as solicitações de dados serão processadas apenas por VPCs específicas.

Sim. Para aplicar uma política de “acesso de dados sem internet” em sua organização, você precisa garantir que todos os pontos de acesso aplicam acesso apenas ao VPC. Para isso, você escreverá uma SCP da AWS que suporte apenas o valor “vpc” para o parâmetro “controle de origem de rede” na API create_access_point(). Se você tiver algum ponto de acesso a Internet criado anteriormente, ele poderá ser removido. Você também precisará modificar a política de bucket em cada um de seus buckets para posteriormente restringir o acesso a internet diretamente de seu bucket por meio de seu hostname. Uma vez que outros serviços da AWS podem estar acessando seu bucket diretamente, assegure-se de ter configurado o acesso para dar permissão a apenas aos serviços que deseja, modificando a política de forma correspondente. Consulte a documentação do S3 para obter exemplos de como fazer isso.

Atualmente não, mas você pode vincular uma política de bucket que rejeite solicitações que não sejam feitas usando um ponto de acesso. Consulte a documentação do S3 para obter mais detalhes.

Sim. Quando você remove um ponto de acesso, qualquer acesso ao bucket associado por meio de outros pontos de acesso e por meio do nome do host do bucket não será interrompido.

Não há cobrança adicional por pontos de acesso ou bucket que usam pontos de acesso. São aplicadas taxas de solicitação comuns do Amazon S3.

Você pode começar a criar pontos de acesso do S3 em novos buckets e em buckets existentes por meio do Console de Gerenciamento da AWS, da interface de linha de comandos (CLI) da AWS, da Interface de programação de aplicações (API) e do cliente do kit de desenvolvimento de software (SDK) da AWS. Para saber mais sobre o Pontos de acesso S3, acesse o guia do usuário.

Durabilidade e proteção de dados

Abrir tudo

O Amazon S3 fornece o armazenamento mais durável na nuvem. Com base na sua arquitetura exclusiva, o S3 foi projetado para prover a durabilidade de dados de 99,999999999% (11 noves). Além disso, o S3 armazena dados de forma redundante em um mínimo de 3 zonas de disponibilidade (AZ) por padrão, fornecendo resiliência integrada contra desastres generalizados. Os clientes podem armazenar dados em uma única AZ para minimizar o custo ou a latência do armazenamento, em várias AZs para resiliência contra a perda permanente de um data center inteiro ou em várias regiões da AWS para atender aos requisitos de resiliência geográfica.

O design de durabilidade do Amazon S3 é uma função das taxas de falha do dispositivo de armazenamento e da taxa na qual o S3 pode detectar falhas e depois replicar novamente os dados nesses dispositivos. O S3 tem verificação de integridade de ponta a ponta em cada upload de objeto e verifica se todos os dados estão armazenados de forma correta e redundante em vários dispositivos de armazenamento antes de considerar que seu upload foi bem-sucedido. Depois que seus dados são armazenados no S3, este monitora continuamente sua durabilidade ao longo do tempo com verificações periódicas de integridade de todos os dados em repouso. O S3 também monitora ativamente a redundância dos seus dados para ajudar a verificar se os seus objetos são capazes de tolerar a falha simultânea de vários dispositivos de armazenamento.

No caso improvável de perda ou dano a toda ou parte de uma zona de disponibilidade da AWS, os dados em uma classe de armazenamento de uma zona podem ser perdidos. Por exemplo, eventos como danos causados por incêndio e água podem resultar em perda de dados. Além desses tipos de eventos, as classes de armazenamento One Zone usam projetos de engenharia semelhantes aos das classes de armazenamento regional para proteger objetos contra falhas independentes em nível de disco, host e rack, e cada uma foi projetada para oferecer 99,999999999% de durabilidade de dados.

O Amazon S3 tem uma forte cultura de durabilidade, e práticas recomendadas de durabilidade são projetadas em nossos sistemas e software desde o início. A AWS tem mais experiência em operar armazenamento de alta durabilidade do que qualquer outro provedor de nuvem, e usamos essa experiência para reduzir o risco de durabilidade e incorporar proteções de durabilidade em tudo o que fazemos.

Sim. O sistema de durabilidade do Amazon S3 não protege contra exclusões acidentais ou maliciosas. O S3 depende dos clientes para decidir quais dados eles querem manter, de quais dados querem se livrar e quais controles opcionais eles precisam proteger contra exclusões incorretas, seja devido a acidentes ou más intenções. Quando você diz ao Amazon S3 para excluir dados, estes são imediatamente excluídos e não podem ser recuperados pela AWS. Honrar uma solicitação de exclusão dessa forma é uma característica importante do serviço.

O Versionamento de Objetos do S3, a Replicação do S3 e o Bloqueio de Objetos do S3 são todos atributos opcionais que você pode usar para adicionar proteção adicional aos dados, além da durabilidade que o S3 fornece automaticamente. Além disso, você pode usar uma aplicação de backup para fazer backup de todos ou de parte dos dados nos seus buckets do S3.


O Amazon S3 usa uma combinação de somas de verificação Content-MD5, algoritmos de hash seguro (SHA) e verificações de redundância cíclica (CRC) para verificar a integridade dos dados. O Amazon S3 executa essas somas de verificação nos dados em repouso e repara qualquer diferença usando dados redundantes. Além disso, os SDKs mais recentes da AWS calculam automaticamente somas de verificação eficientes baseadas em CRC para todos os uploads. O S3 verifica de forma independente essa soma de verificação e só aceita objetos após confirmar que a integridade dos dados foi mantida em trânsito pela Internet pública. Se uma versão do SDK que não fornece somas de verificação pré-calculadas for usada para carregar um objeto, o S3 calculará uma soma de verificação baseada em CRC de todo o objeto, mesmo para uploads de várias partes. As somas de verificação são armazenadas nos metadados de objeto e, portanto, estão disponíveis para verificar a integridade dos dados a qualquer momento. Você pode escolher entre cinco algoritmos compatíveis de soma de verificação para a verificação de integridade dos dados nas suas solicitações de upload e download. Você pode escolher um algoritmo de soma de verificação SHA-1, SHA-256, CRC32, CRC32C ou CRC64NVME, dependendo das necessidades da sua aplicação. É possível calcular e verificar somas de verificação automaticamente conforme você armazena ou recupera dados do S3. Também é possível acessar as informações de soma de verificação a qualquer momento usando a API HeadObject S3, a API GetObjectAttributes do S3 ou um relatório de Inventário do S3. Calcular uma soma de verificação à medida que você transmite dados ao S3 economiza tempo, pois você pode verificar e transmitir seus dados em uma única passagem, em vez de duas operações sequenciais. O uso de somas de verificação para validação de dados é uma prática recomendada para a durabilidade dos dados, e essas capacidades aumentam a performance e reduzem o custo relacionado.

O controle de versão permite preservar, recuperar e restaurar todas as versões de cada objeto armazenado em um bucket do Amazon S3. Depois de habilitar o controle de versão para um bucket, o Amazon S3 preserva objetos existentes sempre que você realiza uma operação PUT, POST, COPY ou DELETE. Por padrão, solicitações GET irão recuperar a versão mais recentemente gravada. Versões mais antigas de um objeto substituído ou excluído podem ser recuperadas ao se especificar a versão na solicitação.

O Amazon S3 oferece aos clientes uma infraestrutura de armazenamento resiliente. O controle de versão oferece um nível adicional de proteção, fornecendo um meio de recuperação caso os clientes substituam ou excluam objetos acidentalmente. Isso permite que você se recupere facilmente de ações não intencionais de usuário e de falhas do aplicativo. Você também pode usar o versionamento para arquivamento e retenção de dados.

Para começar a utilizar o versionamento, basta ativar uma configuração no bucket do Amazon S3. Para obter mais informações sobre como habilitar o versionamento, consulte a documentação do Amazon S3.

Quando um usuário executar uma operação DELETE em um objeto, as solicitações simples (não versionadas) subsequentes não poderão mais recuperar o objeto. No entanto, todas as versões do objeto continuarão a ser preservadas em seu bucket do Amazon S3 e poderão ser recuperadas ou restauradas. Somente o proprietário de um bucket do Amazon S3 pode excluir uma versão permanentemente. Você pode definir regras de ciclo de vida para gerenciar o tempo de vida e o custo de armazenamento de várias versões dos objetos.

Você pode usar as regras de ciclo de vida do Amazon S3 juntamente com o Versionamento do S3 para implementar uma janela de reversão para objetos do S3. Por exemplo, em um bucket com versionamento habilitado, você pode configurar uma regra que arquiva todas as versões anteriores para a classe de armazenamento S3 Glacier Flexible Retrieval, mais econômica, e as exclui depois de 100 dias, proporcionando uma janela de 100 dias para reverter qualquer alteração nos dados e reduzindo os custos de armazenamento. Além disso, você pode reduzir custos excluindo versões antigas (não atuais) de um objeto depois de cinco dias e quando houver pelo menos duas versões mais recentes do objeto. Você pode alterar o número de dias ou o número de versões mais recentes com base nas suas necessidades de otimização de custos. Isso permite que você retenha versões adicionais dos objetos conforme necessário, mas reduz custos ao fazer a transição ou a remoção deles após um período.

O recurso de exclusão usando autenticação multifator (MFA) do versionamento pode ser usado para oferecer uma camada adicional de segurança. Por padrão, todas as solicitações para seu bucket do Amazon S3 exigem suas credenciais de conta da AWS. Se você habilitar o versionamento com o MFA Delete em seu bucket do Amazon S3, duas formas de autenticação serão necessárias para excluir permanentemente uma versão de um objeto: suas credencias de conta da AWS e um código de seis dígitos válido e o número de série de um dispositivo físico de autenticação em sua posse. Para saber mais sobre como habilitar o versionamento com o MFA Delete, incluindo como comprar e ativar um dispositivo de autenticação, consulte a documentação do Amazon S3.

Taxas normais do Amazon S3 se aplicam a todas as versões de um objeto armazenado ou solicitado. Por exemplo, vamos analisar o cenário a seguir para ilustrar os custos de armazenamento ao utilizar o controle de versão (vamos supor que o mês atual tenha 31 dias): 1) Dia 1 do mês: você executa um PUT de 4 GB (4.294.967.296 bytes) no seu bucket.
2) Dia 16 do mês: você realiza uma operação PUT de 5 GB (5.368.709.120 bytes) dentro do mesmo bucket usando a mesma chave que a da operação PUT original no Dia 1º.

Ao analisar os custos de armazenamento das operações acima, observe que o objeto de 4 GB do Dia 1º não foi excluído do bucket quando o objeto de 5 GB foi gravado no Dia 15. Em vez disso, o objeto de 4 GB é preservado como uma versão mais antiga e o objeto de 5 GB se torna a versão mais recentemente gravada do objeto dentro de seu bucket. No final do mês: uso total de bytes por hora
[4.294.967.296 bytes x 31 dias x (24 horas/dia)] + [5.368.709.120 bytes x 16 dias x (24 horas/dia)] = 5.257.039.970.304 byte-horas. Conversão para total de GB-meses
5.257.039.970.304 bytes-hora x (1 GB/1.073.741.824 bytes) x (1 mês/744 horas) = 6,581 GB/mês O custo é calculado com base nas tarifas atuais para sua região na página de preços do Amazon S3.

O bloqueio de objetos do Amazon S3 é um recurso do Amazon S3 que evita que uma versão do objeto seja excluída ou substituída por um determinado período ou indefinidamente, para que você possa aplicar políticas de retenção como uma camada adicional de proteção de dados ou para conformidade regulamentar. Você pode migrar cargas de trabalho de sistemas do tipo Write-Once-Read-Many (WORM, gravação única e várias leituras) para um Amazon S3 e configurar o bloqueio de objetos do S3 no nível do objeto e do bucket para evitar exclusões de versões de objetos antes das datas de retenção predefinidas ou indefinidamente (Datas de bloqueio legal). A proteção do Bloqueio de objetos do S3 é mantida independentemente da classe de armazenamento em que a versão do objeto reside e durante as transições do ciclo de vida do S3 entre as classes de armazenamento.  Você deve usar o bloqueio de objetos do S3 se tiver requisitos regulatórios que especifiquem que os dados devem estar protegidos contra WORM ou se quiser adicionar mais uma camada de proteção aos dados no Amazon S3. O bloqueio de objetos do S3 pode ajudar a cumprir os requisitos normativos que especificam que os dados devem ser armazenados em um formato imutável, e também pode proteger você contra a exclusão acidental ou mal-intencionada de dados no Amazon S3.
Para saber mais, acesse o Guia do usuário de bloqueio de objetos do S3.

O bloqueio de objetos do Amazon S3 evita a exclusão de uma versão do objeto pela duração de um período de retenção especificado ou indefinidamente até que uma retenção legal seja removida. Com o bloqueio de objetos do S3, você pode garantir que uma versão do objeto permaneça imutável enquanto a proteção WORM for aplicada. Você pode aplicar a proteção contra WORM atribuindo uma data de retenção ou uma retenção legal a uma versão de objeto usando o SDK, a CLI ou a API REST da AWS ou o Console de Gerenciamento do S3. Você pode aplicar configurações de retenção com uma solicitação PUT ou aplicá-las a um objeto existente depois de ele ser criado. A data de retenção define por quanto tempo uma versão de objeto permanecerá imutável. Após a atribuição de uma data de retenção a um objeto, a versão desse objeto só poderá ser modificada ou excluída depois que a data de retenção passar. Se um usuário tentar excluir um objeto antes da data de retenção, a operação será negada. Como alternativa, você pode tornar um objeto imutável aplicando uma retenção legal a ele. Uma retenção legal evita que uma versão do objeto seja modificada ou excluída indefinidamente até que seja explicitamente removida. Para aplicar e remover retenções legais, sua conta da AWS deve ter permissão de gravação para a ação PutObjectLegalHold. A retenção legal pode ser aplicada a qualquer objeto em um bucket habilitado para o bloqueio de objetos do S3, independentemente de, no momento, esse objeto estar ou não protegido contra WORM por um período de retenção.
O bloqueio de objetos do S3 tem dois modos de configuração. Quando implantado no Governance Mode (Modo de governança), contas da AWS com permissões do IAM específicas podem remover a proteção contra WORM de uma versão do objeto. Se você precisar de uma imutabilidade mais forte para conformidade com regulamentos, é possível usar o Compliance Mode (Modo de conformidade). No modo de conformidade, a proteção contra WORM não pode ser removida por nenhum usuário, incluindo a conta raiz.



Não. Você não poderá desativar o Bloqueio de objetos do S3 ou o Versionamento do S3 para buckets depois que o Bloqueio de objetos do S3 estiver habilitado.


Para começar a replicar objetos com a Replicação do S3 a partir de buckets com o Bloqueio de objetos do S3 habilitado, você pode adicionar uma configuração de replicação ao seu bucket de origem, especificando um bucket de destino na mesma região da AWS ou em uma região diferente e na mesma conta da AWS ou em uma conta diferente. É possível optar por replicar todos os objetos no nível do bucket do S3 ou por filtrar objetos em um nível de prefixo compartilhado ou em um nível de objeto usando etiquetas de objetos do S3. Você também precisará especificar um perfil do AWS Identity and Access Management (IAM) com as permissões necessárias para realizar a operação de replicação. Você pode usar o console do S3, a API da AWS, a AWS CLI, os SDKs da AWS ou o AWS CloudFormation para habilitar a replicação e deve ter o Versionamento do S3 habilitado para os buckets de origem e de destino. Além disso, para replicar objetos de buckets habilitados para o Bloqueio de objetos do S3, seu bucket de destino também deve ter o Bloqueio de objetos do S3 habilitado. Para obter mais informações, consulte a documentação sobre como configurar a replicação do S3 e usar o Bloqueio de objetos do S3 com a replicação do S3


Sim, para replicar objetos de buckets habilitados para Bloqueio de objetos do S3, você precisa conceder duas novas permissões, s3:GetObjectRetention e s3:GetObjectLegalHold, no bucket de origem no perfil do IAM que você usa para configurar a replicação. Como alternativa, se o perfil do IAM tiver uma permissão s3:Get*, ele atenderá ao requisito. Para obter mais informações, consulte a documentação sobre como usar o Bloqueio de objetos do S3 com Replicação do S3.


Não, todos os atributos de Replicação do S3, como Replicação do S3 na Mesma Região (S3 SRR), Replicação do S3 Entre Regiões Diferentes (S3 CRR), métricas de Replicação do S3 para acompanhar o progresso, Controle de Tempo de Replicação do S3 (S3 RTC) e Replicação em Lote do S3, são compatíveis durante a replicação de buckets do Bloqueio de objetos do S3.


Você pode usar a Replicação em lote do S3 para replicar objetos existentes a partir de buckets habilitados para Bloqueio de objetos do S3. Para obter mais informações sobre a replicação de objetos existentes, consulte a documentação sobre a Replicação em lote do S3.


Classes de armazenamento

Abrir tudo

O Amazon S3 oferece uma variedade de classes de armazenamento que você pode escolher com base no acesso aos dados, resiliência e requisitos de custo de suas workloads. As classes de armazenamento S3 são desenvolvidas especificamente para fornecer o armazenamento de custo mais baixo para diferentes padrões de acesso. As classes de armazenamento S3 são ideais para praticamente qualquer caso de uso, incluindo aqueles com necessidades de performance exigentes, requisitos de residência de dados, padrões de acesso desconhecidos ou variáveis ou armazenamento de arquivo. Cada classe de armazenamento S3 cobra uma taxa para armazenar dados e taxas para acessar os dados. Ao decidir qual classe de armazenamento S3 melhor se adapta à sua workload, considere os padrões de acesso e o tempo de retenção de seus dados para otimizar para o menor custo total durante a vida útil de seus dados.


Ao decidir qual classe de armazenamento do S3 melhor se adapta à sua workload, considere os padrões de acesso e o tempo de retenção de seus dados a fim de otimizar para o menor custo total durante a vida útil de seus dados. Muitas workloads têm padrões de acesso variáveis (conteúdo gerado pelo usuário), imprevisíveis (analytics, data lakes) ou desconhecidos (novas aplicações) e é por isso que a S3 Intelligent-Tiering deve ser a classe de armazenamento padrão para economizar automaticamente nos custos de armazenamento. Se você conhece os padrões de acesso de seus dados, poderá seguir esta orientação. A classe de armazenamento S3 Standard é ideal para dados acessados com frequência; esta é a melhor escolha se você acessar os dados mais de uma vez por mês. A S3 Standard - Infrequent Access é ideal para dados retidos por pelo menos um mês e acessados uma ou duas vezes por mês. As classes de armazenamento Amazon S3 Glacier são desenvolvidas especificamente para o arquivamento de dados para oferecer a você a mais alta performance, a maior flexibilidade de recuperação e o armazenamento de arquivamento de menor custo na nuvem. Agora, você pode escolher entre três classes de armazenamento de arquivo otimizadas para diferentes padrões de acesso e duração de armazenamento. Para dados de arquivos que precisam de acesso imediato, como imagens médicas, ativos de mídia de notícias ou dados de genômica, escolha a classe de armazenamento S3 Glacier Instant Retrieval, que oferece o armazenamento de menor custo com recuperação em milissegundos. Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para recuperar grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, escolha o S3 Glacier Flexible Retrieval, com recuperação em minutos ou recuperações gratuitas em massa de 5 a 12 horas. Para economizar ainda mais em armazenamento de arquivo de longa duração, como arquivos de conformidade e preservação de mídia digital, escolha o S3 Glacier Deep Archive, o armazenamento de menor custo na nuvem com recuperação de dados em até 12 horas. Todas essas classes de armazenamento fornecem resiliência de zona de disponibilidade (AZ) múltipla, armazenando de forma redundante dados em vários dispositivos e zonas de disponibilidade da AWS fisicamente separadas em uma região da AWS.

Para dados que têm um requisito de resiliência menor, você pode reduzir custos selecionando uma classe de armazenamento de AZ única, como a S3 One Zone-Infrequent Access. Caso tenha requisitos de isolamento ou de residência de dados que não podem ser atendidos por uma região da AWS existente, use as classes de armazenamento do S3 em zonas locais dedicadas da AWS ou racks do S3 on Outposts para armazenar seus dados em um perímetro específico.

S3 Intelligent-Tiering

Abrir tudo

A S3 Intelligent-Tiering é o primeiro armazenamento na nuvem que reduz automaticamente os custos de armazenamento em um nível de objeto detalhado, movendo automaticamente os dados para o nível de acesso mais econômico com base na frequência de acesso, sem impacto sobre a performance, taxas de recuperação ou sobrecarga operacional. A S3 Intelligent-Tiering oferece latência de milissegundos e alta performance de taxa de transferência para dados acessados com muita frequência, com pouca frequência e raramente acessados nos níveis Frequent Access, Infrequent Access e o Archive Instant Access. Por uma pequena taxa mensal de automação e monitoramento de objetos, a S3 Intelligent-Tiering monitora os padrões de acesso e move automaticamente os objetos de um nível para outro. Não há taxas de recuperação na in S3 Intelligent-Tiering, portanto, não haverá aumentos inesperados no faturamento de armazenamento quando os padrões de acesso mudarem. Agora, você pode usar a S3 Intelligent-Tiering como a classe de armazenamento padrão para praticamente qualquer workload, especialmente data lakes, data analytics, machine learning, novas aplicações e conteúdo gerado pelo usuário.

A classe de armazenamento Amazon S3 Intelligent-Tiering foi projetada para otimizar os custos de armazenamento movendo automaticamente os dados para o nível de acesso mais econômico quando os padrões de acesso mudam. Por uma pequena cobrança mensal de monitoramento de objetos e automação, a S3 Intelligent-Tiering monitora os padrões de acesso e migra automaticamente os objetos que não foram acessados por 30 dias consecutivos para o nível Infrequent Access para economizar até 40% nos custos de armazenamento. Após 90 dias consecutivos sem acesso, os objetos são movidos para o nível Archive Instant Access para economizar até 68% em custos de armazenamento. Não há impacto na performance e não há cobranças de recuperação na S3 Intelligent-Tiering. Se um objeto no nível Infrequent Access ou no nível Archive Instant Access for acessado posteriormente, ele será automaticamente movido de volta para o nível Frequent Access. Para obter o menor custo de armazenamento de dados que podem ser acessados de forma assíncrona, você pode optar por ativar recursos de arquivamento adicionais. Depois de habilitar um ou ambos os níveis de acesso de arquivo assíncrono, a S3 Intelligent-Tiering moverá os objetos que não foram acessados por um mínimo de 90 dias para o nível Archive Access, para economizar até 71%; e, após 180 dias sem acesso, para o nível Deep Archive Access, para economizar até 95% para objetos raramente acessados. Se um objeto nos níveis opcionais Archive ou Deep Access for restaurado posteriormente, ele será movido de volta para o nível Frequent Access e, antes que você possa recuperar o objeto, será necessário primeiro restaurar o objeto usando RestoreObject. Para obter informações sobre como restaurar objetos arquivados, consulte Restaurar objetos arquivados. Não há taxas de recuperação na S3 Intelligent-Tiering. Nenhuma taxa adicional de nível ou ciclo de vida se aplica quando objetos são movidos entre os níveis de acesso na classe de armazenamento S3 Intelligent-Tiering.

Não há tamanho mínimo de objeto para a S3 Intelligent-Tiering, mas objetos com menos de 128 KB não são elegíveis para níveis automáticos. Esses objetos menores podem ser armazenados na S3 Intelligent-Tiering, mas sempre serão cobrados com as taxas do nível Frequent Access e não serão cobrados pela taxa de monitoramento e automação. Se você quiser padronizar a S3 Intelligent-Tiering como a classe de armazenamento padrão para dados recém-criados, modifique suas aplicações especificando INTELLIGENT_TIERING no cabeçalho de solicitação da API PUT do S3. A S3 Intelligent-Tiering foi projetada para disponibilidade de 99,9% e durabilidade de 99,999999999% e oferece automaticamente a mesma performance de baixa latência e alta taxa de transferência que a S3 Standard. Você pode usar o Explorador de Custos da AWS para medir as economias adicionais do nível Archive Instant Access.

Agora, você pode usar a S3 Intelligent-Tiering como a classe de armazenamento padrão para praticamente qualquer workload, especialmente data lakes, data analytics, machine learning, novas aplicações e conteúdo gerado pelo usuário. A S3 Intelligent-Tiering é o primeiro armazenamento na nuvem que reduz automaticamente os custos de armazenamento em um nível de objeto detalhado, movendo automaticamente os dados para o nível de acesso mais econômico com base na frequência de acesso, sem impacto sobre a performance, taxas de recuperação ou sobrecarga operacional. Se você tiver dados com padrões de acesso desconhecidos ou variáveis, incluindo data lakes, análise de dados e novas aplicações, recomendamos o uso da S3 Intelligent-Tiering. Se você tiver dados que não exijam recuperação imediata, recomendamos ativar o nível Deep Archive Access, no qual você paga apenas USD 1 por terabyte por mês por dados que podem ser raramente acessados por longos períodos de tempo. A S3 Intelligent-Tiering é ideal para dados com padrões de acesso desconhecidos ou variáveis. Não há taxas de recuperação ao usar a classe de armazenamento S3 Intelligent-Tiering.

A S3 Intelligent-Tiering otimiza automaticamente seus custos de armazenamento sem afetar a performance. Os níveis S3 Intelligent-Tiering Frequent, Infrequent e Archive Instant Access fornecem latência de milissegundos e performance de alto throughput.

Para dados que podem ser acessados de forma assíncrona, o nível opcional Archive Access tem a mesma performance da S3 Glacier Flexible Retrieval e o nível Deep Archive Access tem a mesma performance da classe de armazenamento S3 Glacier Deep Archive. Você só deve ativar os recursos de arquivamento assíncrono se sua aplicação puder esperar de minutos a horas. Se o objeto que você está recuperando estiver armazenado nos níveis Archive Access ou Deep Archive Access, antes de recuperar o objeto, você deverá primeiro restaurar um objeto usando RestoreObject. Para obter informações sobre como restaurar objetos arquivados, consulte Restaurar objetos arquivados. Os objetos no nível Archive Access são movidos para o nível Frequent Access em três a cinco horas e em até 12 horas quando estão no nível Deep Archive Access. Se precisar acessar mais rapidamente um objeto no nível Archive Access (Acesso de arquivamento), você poderá pagar por uma recuperação mais rápida usando o console para selecionar a opção de velocidade de recuperação expressa.

A S3 Intelligent-Tiering foi projetada para obter a mesma durabilidade de 99,999999999% da classe de armazenamento S3 Standard. A S3 Intelligent-Tiering foi projetada para fornecer uma disponibilidade de 99,9% e apresenta um acordo de nível de serviço que fornece créditos de serviço caso a disponibilidade seja inferior ao nosso compromisso de serviço em qualquer ciclo de faturamento.

Há duas maneiras de transferir dados para o S3 Intelligent-Tiering. Você pode definir PUT diretamente na S3 Intelligent-Tiering especificando INTELLIGENT_TIERING no cabeçalho x-amz-storage-class ou definir políticas de ciclo de vida para migrar objetos de S3 Standard ou S3 Standard-IA para S3 INTELLIGENT_TIERING.

A S3 Intelligent-Tiering é cobrada por armazenamento, solicitações e transferências de dados do mês, além de uma pequena taxa mensal referente a monitoramento e automação por objeto. A classe de armazenamento S3 Intelligent-Tiering armazena automaticamente objetos em três níveis de acesso: um nível Frequent Access com taxas de armazenamento da S3 Standard, um nível Infrequent Access com taxas de armazenamento da S3 Standard-Infrequent Access e um nível Archive Instant Access com taxas de armazenamento da S3 Glacier Instant Retrieval. A S3 Intelligent-Tiering também tem dois níveis de arquivamento opcionais projetados para acesso assíncrono, um nível Archive Access com taxas de armazenamento da S3 Glacier Flexible Retrieval e um nível Deep Archive Access com taxas de armazenamento da S3 Glacier Deep Archive.

Por uma pequena taxa de monitoramento e automação, a S3 Intelligent-Tiering monitora padrões de acesso e move objetos automaticamente por meio de níveis de acesso de baixa latência e alta taxa de transferência, bem como ativa dois níveis de acesso de arquivo assíncrono em que os clientes obtêm os menores custos de armazenamento na nuvem para dados que podem ser acessados de forma assíncrona.

A S3 Intelligent-Tiering não tem tamanho mínimo de objeto faturável, porém, os objetos com menos de 128 KB não se qualificam para níveis automáticos. Esses objetos pequenos não serão monitorados e sempre serão cobrados pelas taxas de nível Frequent Access, sem cobrança de monitoramento e automação. Para cada objeto arquivado no nível Archive Access ou no nível Deep Archive Access na S3 Intelligent-Tiering, o Amazon S3 usa 8 KB de armazenamento para o nome do objeto e outros metadados (faturados pelas taxas de armazenamento da S3 Standard) e 32 KB de armazenamento para índice e metadados relacionados (faturados pelas taxas de armazenamento da S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive).

Não. Não há taxas de recuperação para a S3 Intelligent-Tiering. A S3 Intelligent-Tiering monitora os padrões de acesso de seus dados e, se você acessar um objeto dos níveis de arquivamento Infrequent Access, Archive Instant Access ou assíncrono, a S3 Intelligent-Tiering moverá automaticamente esse objeto para o nível Frequent Access.


Para acessar um objeto nos níveis de acesso de arquivamento e arquivamento profundo, você precisa emitir uma solicitação de restauração para o objeto começar a voltar para o nível de acesso frequente, todos da classe de armazenamento S3 Intelligent-Tiering. Os objetos no nível de acesso de arquivamento são movidos para o nível de acesso frequente em 3 a 5 horas. Os objetos no nível de acesso de arquivamento profundo são movidos para o nível de acesso frequente em até 12 horas. Com o objeto no nível Frequent Access, você pode emitir uma solicitação GET para recuperá-lo.

Você pode usar o Inventário Amazon S3 para informar o nível de acesso de objetos armazenados na classe de armazenamento S3 Intelligent-Tiering. O Amazon S3 Inventory fornece arquivos de saída CSV, ORC ou Parquet, que listam seus objetos e os metadados correspondentes, em regime diário ou semanal, referentes a um bucket do S3 ou um prefixo compartilhado. Também é possível fazer uma solicitação HEAD em seus objetos para informar os níveis de acesso de arquivamento da S3 Intelligent-Tiering.

Sim. Você pode reaproveitar o ciclo de vida de objetos dos níveis S3 Intelligent-Tiering Frequent Access, Infrequent e Archive Instant Access para a S3 One-Zone Infrequent Access, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive. Além disso, você pode reaproveitar o ciclo de vida de objetos dos níveis de acesso de arquivo opcional S3 Intelligent-Tiering para o S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive e do nível S3 Intelligent-Tiering Deep Archive Access para o S3 Glacier Deep Archive.

Não. A classe de armazenamento S3 Intelligent-Tiering não tem duração mínima de armazenamento.

Não. A classe de armazenamento S3 Intelligent-Tiering não tem tamanho mínimo de objeto faturável, mas os objetos menores de 128 KB não se qualificam para níveis automáticos. Esses objetos menores sempre serão cobrados pelas taxas do nível Frequent Access, sem cobrança de monitoramento e automação. Para cada objeto arquivado no nível Archive Access ou Deep Archive Access permitido na S3 Intelligent-Tiering, o Amazon S3 usa 8 KB de armazenamento para o nome do objeto e outros metadados (faturados pelas taxas de armazenamento da S3 Standard) e 32 KB de armazenamento para índice e metadados relacionados (faturados pelas taxas de armazenamento da S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive). Para obter mais detalhes, visite a página de preços do Amazon S3

S3 Standard

Abrir tudo

A Amazon S3 Standard oferece armazenamento durável com latência de acesso de milissegundos e performance de alto throughput para dados acessados com frequência, normalmente mais de uma vez por mês. A S3 Standard foi projetada para casos de uso sensíveis à performance, como data lakes, aplicações nativas da nuvem, sites dinâmicos, distribuição de conteúdo, aplicações móveis e de jogos, análises e modelos de machine learning. A S3 Standard foi projetada para disponibilidade de dados de 99,99% e durabilidade de 99,999999999% dos objetos em várias zonas de disponibilidade em um determinado ano. Você pode usar as políticas de ciclo de vida do S3 para controlar exatamente quando os dados são transferidos entre a S3 Standard e as classes de armazenamento de custos mais baixos sem nenhuma alteração na aplicação.

A S3 Standard é ideal para seus dados acessados ou modificados com mais frequência que requerem acesso em milissegundos e performance de alto throughput. A S3 Standard é ideal para dados lidos ou gravados com muita frequência, pois não há cobrança de recuperação. A S3 Standard é otimizada para uma ampla variedade de casos de uso, incluindo data lakes, aplicações nativas da nuvem, sites dinâmicos, distribuição de conteúdo, aplicações móveis e de jogos e analytics.

S3 Express One Zone

Abrir tudo

A Amazon S3 Express One Zone é uma classe de armazenamento do Amazon S3 de alta performance e uma única zona de disponibilidade, criada especificamente para oferecer acesso consistente a dados em menos de 10 milissegundos para as aplicações dos clientes mais sensíveis à latência. A Amazon S3 Express One Zone é a classe de armazenamento de objetos em nuvem de menor latência disponível atualmente, com velocidade de acesso a dados até 10 vezes mais rápida e com custos de solicitação de até 80% menores do que a Amazon S3 Standard. Com a S3 Express One Zone, você pode selecionar uma zona de disponibilidade específica da AWS dentro de uma região da AWS para armazenar seus dados. Você pode optar por colocalizar o armazenamento e recursos de computação na mesma zona de disponibilidade para otimizar ainda mais a performance.

A S3 Express One Zone é a classe de armazenamento ideal para aplicações que precisam da maior velocidade de acesso aos dados e da mais alta performance para aplicações sensíveis à latência. A S3 Express One Zone é a melhor classe de armazenamento para operações que exigem muitas solicitações, como treinamento e inferência de machine learning (ML), analytics interativa e criação de conteúdo de mídia.

Você pode começar criando um bucket de diretório do S3 em uma zona de disponibilidade (AZ) da AWS de sua escolha. Você pode optar por colocar seus recursos de armazenamento e computação no mesmo AZ para otimizar ainda mais a performance. Os buckets de diretório têm o Bloqueio de acesso público do S3 ativado por padrão. Depois de criar o bucket de diretório, você pode carregar objetos diretamente na classe de armazenamento S3 Express One Zone ou copiar objetos das classes de armazenamento S3 existentes para o S3 Express One Zone. Você também pode importar dados com um único clique no Console de Gerenciamento da AWS para a S3 Express One Zone ou usar Operações em lote do S3 para copiar um bucket inteiro, prefixo ou subconjuntos de dados de uma classe de armazenamento do S3 existente para a S3 Express One Zone.

Você pode importar dados da mesma região da AWS para a classe de armazenamento S3 Express One Zone por meio do console do S3 usando a opção Importar depois de criar um bucket de diretório. A importação simplifica a cópia de dados para os buckets do diretório S3, permitindo que você escolha um prefixo ou intervalo do qual importar dados sem precisar especificar todos os objetos a serem copiados individualmente. As Operações em lote do S3 copiam os objetos no prefixo selecionado ou no bucket de uso geral, e você pode monitorar o progresso do trabalho de cópia de importação por meio da página de detalhes do trabalho de Operações em lote do S3.

Os objetos na S3 Express One Zone são armazenados em uma única zona de disponibilidade (AZ) da AWS que você escolhe. Isso permite que você armazene seus dados localmente em sua computação para minimizar a latência. É possível acessar dados de todas as zonas de disponibilidade, embora isso aumente a latência.

A S3 Express One Zone oferece elasticidade de performance semelhante à de outras classes de armazenamento do S3, mas com latências de solicitação de latência de leitura e gravação consistentes de menos de 10 milissegundos no primeiro byte, até 10 vezes mais rápidas em comparação às classes de armazenamento do S3 existentes. Com a S3 Express One Zone, os clientes não precisam planejar ou provisionar requisitos de capacidade ou throughput com antecedência e se beneficiam imediatamente de solicitações concluídas até uma ordem de magnitude mais rápida. A S3 Express One Zone é ideal para trabalhos de análise em que a latência de armazenamento acelera os tempos de conclusão do trabalho e reduz o TCO geral. Também é ideal para workloads interativas, como edição de vídeo, em que profissionais criativos precisam do acesso mais responsivo possível aos dados do S3.

A S3 Express One Zone usa uma arquitetura exclusiva para otimizar a performance e oferecer uma latência de solicitação consistentemente baixa. A S3 Express One Zone armazena dados em hardware de alta performance, e seu protocolo de objetos foi aprimorado para simplificar a autenticação e as sobrecargas de metadados. Além disso, para aumentar ainda mais a velocidade de acesso e dar suporte a até 2 milhões de solicitações por segundo, os dados são armazenados em um novo tipo de bucket: um bucket de diretório do Amazon S3. Com a S3 Express One Zone, você pode selecionar uma zona de disponibilidade específica da AWS dentro de uma região da AWS para armazenar seus dados. Você pode optar por colocalizar o armazenamento e recursos de computação na mesma zona de disponibilidade para otimizar ainda mais a performance.

Cada bucket de diretório do S3 pode oferecer suporte a até 2 milhões de leituras e até 200 mil gravações por segundo por bucket de diretório do S3, independentemente do número de diretórios dentro do bucket. Por padrão, cada bucket de diretório do S3 suporta até 200 mil leituras e até 100 mil gravações por segundo. Se sua workload exigir mais do que os limites padrão de TPS, você poderá solicitar um aumento por meio do AWS Support.

Os buckets de diretório do S3 que não tiverem nenhuma atividade de solicitação por um período de pelo menos 3 meses passarão para um estado inativo. Enquanto estiver em um estado inativo, um bucket de diretório fica temporariamente inacessível para leituras e gravações. Os buckets inativos retêm todo o armazenamento, os metadados do objeto e os metadados do bucket. As taxas de armazenamento existentes serão aplicadas aos buckets inativos. Em uma solicitação de acesso a um bucket inativo, o bucket passará para um estado ativo, normalmente em alguns minutos. Durante esse período de transição, as leituras e gravações retornarão um código de erro 503 SlowDown.

A S3 Express One Zone oferece uma throughput alta e elástica semelhante a outras classes de armazenamento do Amazon S3. A S3 Express One Zone foi projetada desde o início para permitir que clientes individuais aumentem a throughput para níveis agregados muito altos. Por exemplo, aplicações de treinamento de modelos de machine learning podem ser treinados com milhões de objetos e petabytes de dados. Você pode obter a melhor performance distribuindo essas solicitações em conexões separadas para maximizar a largura de banda acessível.

Com a S3 Express One Zone, você autentica e autoriza solicitações por meio de um novo mecanismo baseado em sessão, o S3 CreateSession, que é otimizado para fornecer a menor latência. Você pode usar o CreateSession para solicitar credenciais temporárias que fornecem acesso de baixa latência ao seu bucket. Essas credenciais temporárias têm como escopo um bucket de diretório do S3 específico. Para obter mais informações sobre esse modelo baseado em sessão, consulte S3 Create Session, no guia do desenvolvedor.

A S3 Express One Zone foi projetada para oferecer disponibilidade de 99,95% em uma única zona de disponibilidade, com um SLA de disponibilidade de 99,9%.

Com a S3 Express One Zone, seus dados são armazenados de forma redundante em vários dispositivos em uma única AZ. A S3 Express One Zone foi projetada para sustentar falhas simultâneas de dispositivos, detectando e reparando rapidamente qualquer redundância perdida. Isso significa que a S3 Express One Zone transferirá automaticamente as solicitações para novos dispositivos em uma AZ se o dispositivo existente apresentar uma falha. Essa redundância oferece acesso ininterrupto aos seus dados em uma AZ.

Não há cobranças ou compromissos de configuração para começar a usar a S3 Express One Zone. A S3 Express One Zone cobra pelo armazenamento e pelas solicitações. O volume de armazenamento faturado em um mês é acumulado com base no armazenamento total usado por hora, medido em gigabytes por mês (GB por mês). Também é cobrada uma taxa por solicitação de acesso com base no tipo de solicitação, como PUTs e GETs. Você pagará uma taxa adicional por GB pelo upload e recuperação de dados. Exemplo 1:
Suponha que você armazene 10 GB de dados na S3 Express One Zone por 30 dias, totalizando 1.000.000 de gravações e 9.000.000 de leituras, acessando com o Athena com um tamanho de solicitações de 10 KB. Em seguida, você exclui 1.000.000 de arquivos ao final de 30 dias. Supondo que seu bucket esteja na região Leste dos EUA (Norte da Virgínia), as taxas de armazenamento e solicitações são calculadas abaixo: Cobranças por armazenamento
Uso total de bytes/hora = 10 GB por mês
Custo total de armazenamento = 10 GB por mês x USD 0,11 = cobranças de solicitação de USD 1,10
1.000.000 solicitações PUT: 1.000.000 solicitações x USD 0,00113/1.000 = USD 1,13
9.000.000 solicitações GET: 9.000.000 solicitações x USD 0,00003/1.000 = USD 0,27
1.000.000 de solicitações DELETE = 1.000.000 de solicitações x USD 0,00 (sem custo) = USD 0 Cobrança de upload de dados: 10 KB/1.048.576 x 1.000.000 x USD 0,0032 = USD 0,03
Cobrança por recuperação de dados: 10 KB/ 1.048.576 x 9.000.000 x USD 0,0006 = USD 0,05
Total de cobranças = USD 1,10 + USD 1,13 + USD 0,27 + USD 0,03 + USD 0,05 = USD 2,58 Exemplo 2:
Suponha que você armazene 10 TB de dados para treinamento de machine learning para uma workload de 8 horas todos os dias e depois os exclua. Durante a workload de 8 horas, você faz 5.242.880 gravações e 10.485.760 leituras para um tamanho de solicitações de 2 MB. Considere que você faz isso por 30 dias (um mês). Cobranças de armazenamento
Uso total de byte/hora = [10.995.116.277.760 bytes x 30 dias x (8 horas/dia)] = 2.638.827.906.662.400 bytes/horas = 3303,77 GB por mês
Custo total de armazenamento = 3.303,77 GB x USD 0,11 = USD 363,41 de cobrança de solicitação
5.242.880 solicitações PUT/dia: 5.242.880 solicitações x 30 x USD 0,00113/1.000 = USD 177,73
10.485.760 solicitações GET por dia: 10.485.760 solicitações x 30 x USD 0,00003/1.000 = USD 9,44
5.242.880 de solicitações DELETE = 5.242.880 de solicitações x USD 0,00 (sem custo) = USD 0 Cobrança de upload de dados: 1024 KB/5.242.880 x 30 x USD 0,0032 = USD 983,04
Cobrança por recuperação de dados: 2 MB/1024 x 10.485.760 x 30 x USD 0,0006 = USD 368,64
Cobranças totais = USD 363,41 + USD 177,73 + USD 9,44 + USD 983,04 + USD 368,64 = USD 1.902,26

As cobranças de solicitação para acessar dados na S3 Express One Zone incluem custos de transferência de dados dentro da rede da AWS em uma região, e não há cobrança adicional de transferência de dados para dados transferidos entre o Amazon EC2 (ou qualquer serviço da AWS) e a S3 Express One Zone na mesma região, por exemplo, dados transferidos dentro da região Leste dos EUA (Norte da Virgínia).

As cobranças de solicitações para acessar dados na S3 Express One Zone incluem custos de uso de endpoints de VPC de gateway, e não há cobrança adicional pelo uso de endpoints de gateway com a S3 Express One Zone.

S3 Standard-Infrequent Access (S3 Standard – IA)

Abrir tudo

Amazon S3 Standard-Infrequent Access (S3 Standard-IA) é uma classe de armazenamento do Amazon S3 para dados acessados com menos frequência, mas que exigem rapidez quando necessários. O S3 Standard-IA oferece os altos níveis de resiliência e taxa de transferência e a baixa latência da classe de armazenamento Amazon S3 Standard com taxas reduzidas por GB de armazenamento e GB de recuperação. A combinação de baixo custo e alta performance tornam a classe S3 Standard-IA ideal para armazenamento de longa duração, backups e datastores para recuperação de desastres. A classe de armazenamento S3 Standard – IA é definida no nível de objeto e pode existir no mesmo bucket que as classes de armazenamento S3 Standard ou S3 One Zone – IA, o que permite usar políticas de ciclo de vida do S3 para migrar automaticamente objetos entre classes de armazenamento sem nenhuma alteração nos aplicativos.

O S3 Standard-IA é ideal para dados acessados com menos frequência, mas que exigem acesso rápido quando necessários. O S3 Standard – IA também é ideal para armazenamento de arquivos de longo prazo, armazenamento de sincronização e compartilhamento mais antigos e outros dados antigos.

A S3 Standard – IA oferece a mesma latência de milissegundos e performance de alta taxa de transferência que a classe de armazenamento S3 Standard. 

Há duas maneiras de inserir dados no S3 Standard-IA. Você pode executar PUT diretamente no S3 Standard-IA especificando STANDARD_IA no cabeçalho x-amz-storage-class. Também é possível definir políticas de ciclo de vida para migrar objetos do S3 Standard para a classe de armazenamento S3 Standard – IA.

Taxas serão cobradas para uma solicitação COPY do S3 Standard (classe de armazenamento de destino) e para a recuperação de dados S3 Standard-IA (classe de armazenamento de origem). Para obter mais informações, acesse a página de preços do Amazon S3.

A S3 Standard – IA foi projetada para dados de longa duração, acessados com pouca frequência, que são retidos durante meses ou anos. Os dados que forem excluídos da S3 Standard – IA em de 30 dias serão cobrados pelos 30 dias completos. Consulte a página de preços do Amazon S3 para obter informações sobre o preço da S3 Standard – IA.

O S3 Standard-IA foi projetado para objetos maiores e tem uma cobrança mínima de armazenamento de objetos de 128 KB. Objetos menores que 128 KB incorrerão em cobranças de armazenamento equivalentes às de um objeto de 128 KB. Por exemplo, um objeto de 6 KB no S3 Standard-IA incorrerá em cobranças de armazenamento do S3 Standard-IA para 6 KB e uma taxa adicional de tamanho mínimo de objeto equivalente a 122 KB com o preço de armazenamento do S3 Standard-IA. Consulte a página de preços do Amazon S3 para obter informações sobre o preço da S3 Standard – IA.

Sim. Além de usar políticas de ciclo de vida para migrar objetos da S3 Standard para a S3 Standard – IA, você também pode definir políticas de ciclo de vida para estratificar objetos da S3 Standard – IA para a S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e a classe de armazenamento S3 Glacier Deep Archive.

S3 One Zone-Infrequent Access (S3 One Zone-IA)

Abrir tudo

A classe de armazenamento S3 One Zone-IA é uma classe de armazenamento do Amazon S3 que os clientes podem escolher para armazenar objetos em uma única zona de disponibilidade. O armazenamento S3 One Zone-IA armazena dados de forma redundante nessa única zona de disponibilidade para oferecer armazenamento a um custo 20% inferior que o armazenamento geograficamente redundante S3 Standard-IA, que armazena dados de forma redundante em várias zonas de disponibilidade separadas geograficamente. O S3 One Zone – IA oferece um SLA com disponibilidade de 99%, além de ter sido projetado para proporcionar 11 noves de resiliência na zona de disponibilidade. Entretanto, os dados na classe de armazenamento S3 One Zone – IA não são resilientes à perda física de uma zona de disponibilidade inteira. O armazenamento S3 One Zone – IA oferece os mesmos recursos do Amazon S3 que os armazenamentos S3 Standard e S3 Standard – IA e é usado por meio da API, da CLI e do console do Amazon S3. A classe de armazenamento S3 One Zone-IA é definida no nível de objeto e pode existir no mesmo bucket que as classes de armazenamento S3 Standard e S3 Standard-IA. Você pode usar as políticas de ciclo de vida do S3 para migrar automaticamente objetos entre classes de armazenamento sem nenhuma alteração nos aplicativos.

Os clientes podem usar o S3 One Zone – IA para armazenamento acessado com pouca frequência, como cópias de backup, cópias de recuperação de desastres ou outros dados facilmente recriáveis.

A classe de armazenamento S3 One Zone – IA oferece a mesma latência e performance de throughput que as classes de armazenamento S3 Standard e S3 Standard – Infrequent Access.

A classe de armazenamento S3 One Zone – IA foi projetada para oferecer 99,999999999% de resiliência em uma zona de disponibilidade. Entretanto, os dados na classe de armazenamento S3 One Zone – IA não são resilientes à perda de disponibilidade ou perda física de uma zona de disponibilidade. Por outro lado, as classes de armazenamento S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access e S3 Glacier foram projetadas para suportar a perda de disponibilidade ou a destruição de uma zona de disponibilidade. A classe S3 One Zone – IA pode oferecer resiliência e disponibilidade iguais ou superiores à maioria dos data centers físicos modernos, além do benefício adicional de elasticidade de armazenamento e do conjunto de recursos do Amazon S3.

Sim. Cada região da AWS é uma área geográfica separada. Cada região contém vários locais isolados conhecidos como “zonas de disponibilidade”. A classe de armazenamento Amazon S3 One Zone – IA usa uma zona de disponibilidade da AWS individual dentro da região.

Cada zona de disponibilidade usa energia e redes redundantes. Em uma região da AWS, as zonas de disponibilidade estão em áreas de inundação, zonas de falhas sujeitas a terremotos e áreas geográficas separadas para proteção contra incêndios. As classes de armazenamento S3 Standard e S3 Standard – IA oferecem proteção contra esses tipos de desastres armazenando dados de forma redundante em várias zonas de disponibilidade. A classe S3 One Zone – IA oferece proteção contra falha de equipamento em uma zona de disponibilidade, mas os dados não são resilientes à perda física da zona de disponibilidade resultante de desastres, como terremotos e inundações. Ao usar as opções S3 One Zone – IA, S3 Standard e S3 Standard – IA, você pode escolher a classe de armazenamento mais adequada às necessidades de resiliência e disponibilidade do armazenamento.

Classe de armazenamento Amazon S3 Glacier Instant Retrieval

Abrir tudo

A classe de armazenamento S3 Glacier Instant Retrieval oferece o menor custo de armazenamento para dados de longa duração que raramente são acessados e requerem recuperação em milissegundos. A S3 Glacier Instant Retrieval oferece o acesso mais rápido ao armazenamento de arquivo, com a mesma taxa de transferência e acesso em milissegundos que as classes de armazenamento S3 Standard e S3 Standard – IA. A S3 Glacier Instant Retrieval foi projetada para 99,999999999% (onze noves) de durabilidade de dados e 99,9% de disponibilidade, armazenando dados de forma redundante em um mínimo de três zonas de disponibilidade da AWS separadas fisicamente.

A S3 Glacier Instant Retrieval é ideal se você tiver dados raramente acessados (uma vez por trimestre) e requer tempos de recuperação de milissegundos. É a classe de armazenamento ideal se você deseja ter a mesma baixa latência e performance de alto throughput da S3 Standard – IA, mas armazena dados que são acessados com menos frequência do que a S3 Standard – IA, com um preço de armazenamento mais baixo e custos de acesso aos dados um pouco mais altos.

A S3 Glacier Instant Retrieval foi projetada para 99,999999999% (onze noves) de durabilidade e 99,9% de disponibilidade, o mesmo que a S3 Standard – IA, e possui um acordo de nível de serviço que fornece créditos de serviço se a disponibilidade for inferior a 99% em qualquer ciclo de faturamento.

A S3 Glacier Instant Retrieval oferece a mesma latência de milissegundos e performance de alta taxa de transferência que as classes de armazenamento S3 Standard e S3 Standard – IA. Ao contrário das classes de armazenamento S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive, que são projetadas para acesso assíncrono, você não precisa emitir uma solicitação de restauração antes de acessar um objeto armazenado na S3 Glacier Instant Retrieval.

Existem duas maneiras de inserir dados na S3 Glacier Instant Retrieval. Você pode executar operações PUT diretamente na recuperação da S3 Glacier Instant especificando GLACIER_IR no cabeçalho x-amz-storage-class ou definir políticas de ciclo de vida do S3 para migrar objetos da S3 Standard ou S3 Standard – IA para a S3 Glacier Instant Retrieval.

A S3 Glacier Instant Retrieval foi projetada para dados de longa duração, raramente acessados, que são retidos por meses ou anos. Os objetos arquivados na S3 Glacier Instant Retrieval têm um período mínimo de armazenamento de 90 dias. Os objetos excluídos, substituídos ou migrados antes de 90 dias gerarão uma cobrança pro rata igual à cobrança do armazenamento pelos dias restantes. Consulte a página de preço do Amazon S3 para obter informações sobre os preços da Amazon S3 Glacier Instant Retrieval.

A S3 Glacier Instant Retrieval foi projetada para objetos maiores e tem uma taxa mínima de armazenamento de objetos de 128 KB. Objetos menores que 128 KB incorrerão em cobranças de armazenamento equivalentes às de um objeto de 128 KB. Por exemplo, um objeto de 6 KB na S3 Glacier Instant Retrieval incorrerá em cobranças de armazenamento da S3 Glacier Instant Retrieval de 6 KB e uma cobrança adicional de tamanho mínimo de objeto equivalente a 122 KB com o preço de armazenamento da S3 Glacier Instant Retrieval. Consulte a página de preço do Amazon S3 para obter informações sobre os preços da Amazon S3 Glacier Instant Retrieval.

A cobrança pela S3 Glacier Instant Retrieval é feita de acordo com o armazenamento, solicitações com base no tipo de solicitação e recuperação de dados mensais. O volume de armazenamento faturado em um mês baseia-se no armazenamento médio usado durante todo o mês, medido em gigabites por mês (GB/mês). A cobrança é feita por solicitações com base no tipo de solicitação, como PUTs, COPYs e GETs. Você também paga uma taxa por gigabyte para cada gigabyte de dados que retornarem a você. 

Classe de armazenamento Amazon S3 Glacier Flexible Retrieval

Abrir tudo

O S3 Glacier Flexible Retrieval oferece armazenamento de baixo custo, com custo até 10% menor (em relação ao S3 Glacier Instant Retrieval), para dados de arquivamento que são acessados uma ou duas vezes por ano e recuperados de forma assíncrona, com recuperações gratuitas em massa. Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para recuperar grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, o S3 Glacier Flexible Retrieval é a classe de armazenamento ideal. A S3 Glacier Flexible Retrieval oferece as opções de recuperação mais flexíveis que equilibram o custo com tempos de acesso que variam de minutos a horas e com recuperações gratuitas em massa. Ela é uma solução ideal para necessidades de backup, recuperação de desastres, armazenamento externo de dados e para quando alguns dados precisam ser recuperados ocasionalmente em poucos minutos e você não quer se preocupar com os custos. A S3 Glacier Flexible Retrieval foi projetada para 99,999999999% (onze noves) de durabilidade de dados e 99,99% de disponibilidade, armazenando dados de forma redundante em várias zonas de disponibilidade da AWS separadas fisicamente em um determinado ano.

Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para recuperar grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, o S3 Glacier Flexible Retrieval é a classe de armazenamento ideal. A S3 Glacier Flexible Retrieval oferece as opções de recuperação mais flexíveis que equilibram o custo com tempos de acesso que variam de minutos a horas e com recuperações gratuitas em massa. Ela é uma solução ideal para necessidades de backup, recuperação de desastres, armazenamento externo de dados e para quando alguns dados precisam ser recuperados ocasionalmente em poucos minutos e você não quer se preocupar com os custos para recuperar os dados.

Existem duas maneiras de inserir dados na S3 Glacier Flexible Retrieval. Você pode executar operações PUT diretamente na S3 Glacier Flexible Retrieval especificando GLACIER no cabeçalho x-amz-storage-class. Você também pode usar as regras de ciclo de vida do S3 para fazer a transição de objetos de qualquer uma das classes de armazenamento S3 de dados ativos (S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA, S3 One Zone – IA e S3 Glacier Instant Retrieval) para a Amazon S3 Glacier Flexible Retrieval com base na idade do objeto. Use o Console de Gerenciamento do Amazon S3, os AWS SDKs ou as APIs do Amazon S3 para executar solicitações PUT diretamente no Amazon S3 Glacier ou definir as regras de arquivamento.

Observação: o S3 Glacier Flexible Retrieval também está disponível pelas APIs originais diretas do Glacier e por meio do Console de Gerenciamento do Amazon S3 Glacier. Para ter uma experiência aprimorada abrangente com acesso ao conjunto completo de recursos S3, incluindo gerenciamento de ciclo de vida, S3 Replication, S3 Storage Lens, entre outros, recomendamos usar as APIs do S3 e o Console de Gerenciamento do S3 para utilizar os atributos do S3 Glacier.

Os objetos arquivados no Amazon S3 Glacier são acessados de maneira assíncrona. Para recuperar dados armazenados na S3 Glacier Flexible Retrieval, inicie uma solicitação de recuperação usando as APIs ou o console do Simple Storage Service (Amazon S3). A solicitação de recuperação cria uma cópia temporária de seus dados na classe de armazenamento S3 Standard, enquanto deixa os dados arquivados intactos na S3 Glacier Flexible Retrieval. O período durante o qual uma cópia temporária é armazenada no Simple Storage Service (Amazon S3) pode ser especificado em dias. Você poderá então acessar a cópia temporária do S3 por meio de uma solicitação GET do Amazon S3 para o objeto arquivado. Nas regiões da AWS em que o Reduced Redundancy Storage tem um preço mais baixo do que o S3 Standard, os dados temporariamente disponíveis são cobrados como Reduced Redundancy Storage. No entanto, a classe de armazenamento de faturamento Reduced Redundancy não reflete como os dados são armazenados. Com as notificações de restauração, agora é possível receber uma notificação de evento do S3 quando um objeto for restaurado com êxito da S3 Glacier Flexible Retrieval e a cópia temporária for disponibilizada para você. O proprietário do bucket (ou outra pessoa, conforme permissão de uma política do IAM) pode fazer com que as notificações sejam enviadas para o Amazon Simple Queue Service (SQS) ou o Amazon Simple Notification Service (SNS). As notificações também podem ser enviadas para o AWS Lambda para serem processadas por uma função Lambda.

Ao processar um trabalho de recuperação, o Amazon S3 primeiro recupera os dados solicitados da S3 Glacier Flexible Retrieval e depois cria uma cópia temporária dos dados solicitados no Amazon S3. Isso costuma levar poucos minutos. O tempo de acesso da sua solicitação depende da opção de recuperação que você escolher: expressa, padrão ou em massa. Para todos os arquivos, exceto os maiores (acima de 250 MB), os dados acessados usando as recuperações expressas serão disponibilizados em um a cinco minutos. Geralmente, as recuperações de objetos feitas por meio da recuperação padrão demoram entre 3 e 5 horas para terminar. As recuperações padrão geralmente começam em minutos quando iniciadas com as operações em lote do S3. As recuperações em massa normalmente são concluídas em 5 a 12 horas e são gratuitas. Para obter mais informações sobre as opções da S3 Glacier Flexible Retrieval, consulte restauração de um objeto arquivado no guia do usuário do S3.
Com as unidades de capacidade provisionadas da classe de armazenamento S3 Glacier, você pode pagar uma taxa inicial fixa por um determinado mês para garantir a disponibilidade de capacidade de recuperação para recuperações expressas da S3 Glacier Flexible Retrieval. É possível comprar duas unidades de capacidade provisionadas por mês para aumentar a quantidade de dados que você pode recuperar. Cada unidade de capacidade garante que pelo menos três recuperações expressas poderão ser executadas a cada cinco minutos e disponibiliza até 150 MB/s de taxa de transferência de recuperação. Caso sua workload necessite de acesso altamente confiável e previsível a um subconjunto de dados em minutos, convém adquirir capacidade de recuperação provisionada. Sem capacidade provisionada, as recuperações expressas podem não ser aceitas durante períodos de alta demanda. Caso precise de acesso a recuperações expressas em qualquer circunstância, recomendamos que você adquira capacidade de recuperação provisionada.
É possível adquirir capacidade provisionada usando o console do Amazon S3, a API REST de capacidade provisionada de compra, os AWS SDKs ou a AWS CLI. Uma unidade de capacidade provisionada dura um mês a partir da data e hora da compra, que é a data de início. A unidade expira na data de validade, que é exatamente um mês após a data de início com precisão de segundo. Para obter informações sobre preços de capacidade provisionada, consulte os preços do Amazon S3.

O volume de armazenamento faturado em um mês baseia-se no armazenamento médio usado durante todo o mês, medido em gigabites por mês (GB/mês). O Amazon S3 calcula o tamanho do objeto como a quantidade de dados armazenados, mais 32 KB de dados do S3 Glacier e 8 KB de dados da classe de armazenamento Amazon S3 Standard. A S3 Glacier Flexible Retrieval necessita de 32 KB de dados adicionais por objeto para o índice e os metadados do S3 Glacier para possibilitar a identificação e a recuperação de seus dados. O Amazon S3 necessita de 8 KB para armazenar e manter os metadados e o nome definido pelo usuário para objetos arquivados na S3 Glacier Flexible Retrieval. Isso permite que você obtenha uma lista em tempo real de todos os seus objetos do Amazon S3, incluindo aqueles armazenados usando a S3 Glacier Flexible Retrieval, usando a API LIST do Amazon S3 ou o relatório de inventário do S3. Por exemplo, se você arquivou 100 mil objetos com 1 GB cada, seu armazenamento faturável seria:
1,000032 gigabyte para cada objeto x 100.000 objetos = 100.003,2 gigabytes de armazenamento do S3 Glacier.
0,000008 gigabytes para cada objeto x 100.000 objetos = 0,8 gigabytes de armazenamento do S3 Standard.
A taxa é calculada com base nas taxas atuais de sua região da AWS na página de preços do Amazon S3. Para obter mais exemplos de preço do Amazon S3, acesse as perguntas frequentes sobre o faturamento do S3 ou use a calculadora de preços da AWS.

Os objetos arquivados no S3 Glacier Flexible Retrieval têm no mínimo 90 dias de armazenamento. Se um objeto for excluído, substituído ou transferido antes de 90 dias, será cobrada uma taxa proporcional igual à taxa de armazenamento para os dias restantes.

A recuperação flexível do S3 Glacier também requer 40 KB de metadados adicionais para cada objeto arquivado. Isso inclui 32 KB de metadados cobrados na taxa de recuperação flexível do S3 Glacier necessária para identificar e recuperar dados. E 8 KB de dados adicionais cobrados na taxa padrão do S3, necessários para manter o nome definido pelo usuário e os metadados para objetos arquivados no S3 Glacier Flexible Retrieval. Isso permite que você obtenha uma lista em tempo real de todos os seus objetos S3 usando a API S3 LIST ou o relatório do S3 Inventory. Consulte a página de preço do Amazon S3 para obter informações sobre os preços do Amazon S3 Glacier Flexible Retrieval. 

Há três maneiras de recuperar dados da recuperação flexível do S3 Glacier: recuperações acelerada, padrão e em massa. A acelerada e a padrão têm uma taxa de recuperação por GB e uma taxa por solicitação (ou seja, você paga pelas solicitações feitas em relação aos seus objetos do Amazon S3). As recuperações em massa da S3 Glacier Flexible Retrieval são gratuitas. Para obter o preço detalhado da S3 Glacier por região da AWS, acesse a página de preços do Amazon S3.

As classes de armazenamento Amazon S3 Glacier são desenvolvidas especificamente para o arquivamento de dados para oferecer a você a mais alta performance, a maior flexibilidade de recuperação e o armazenamento de arquivamento de menor custo na nuvem. Agora, você pode escolher entre três classes de armazenamento de arquivo otimizadas para diferentes padrões de acesso e duração de armazenamento. Para dados de arquivos que precisam de acesso imediato, como imagens médicas, ativos de mídia de notícias ou dados de genômica, escolha a classe de armazenamento S3 Glacier Instant Retrieval, que oferece o armazenamento de menor custo com recuperação em milissegundos. Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para recuperar grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, escolha o S3 Glacier Flexible Retrieval, com recuperação em minutos ou recuperações gratuitas em massa de 5 a 12 horas. Para economizar ainda mais em armazenamento de arquivo de longa duração, como arquivos de conformidade e preservação de mídia digital, escolha o S3 Glacier Deep Archive, o armazenamento de menor custo na nuvem com recuperação de dados em até 12 horas.

Preferimos nos concentrar nos resultados de performance, durabilidade, disponibilidade e segurança do cliente. No entanto, nossos clientes frequentemente nos fazem essa pergunta. Usamos várias tecnologias diferentes que nos permitem oferecer os nossos preços que aos clientes. Nossos serviços são criados usando tecnologias de armazenamento de dados comuns, montadas especificamente em sistemas de uso específico e de custo otimizado usando software desenvolvido pela AWS. As classes de armazenamento S3 Glacier se beneficiam de nossa capacidade de otimizar a sequência de entradas e saídas para maximizar a eficiência no acesso ao armazenamento subjacente.

Amazon S3 Glacier Deep Archive

Abrir tudo

S3 Glacier Deep Archive é uma classe de armazenamento do Amazon S3 que oferece armazenamento de objetos seguro e durável para retenção de longo prazo de dados acessados uma ou duas vezes por ano. Por apenas USD 0,00099 por gigabyte por mês (menos de um décimo de um centavo, ou cerca de USD 1 por terabyte por mês), a S3 Glacier Deep Archive oferece armazenamento de custo mais baixo na nuvem, a preços significativamente mais baixos do que armazenar e manter dados em bibliotecas de fitas magnéticas on-premises ou arquivar dados externamente.

A S3 Glacier Deep Archive é uma classe de armazenamento ideal para fornecer proteção offline dos ativos de dados mais importantes da sua empresa ou quando a retenção de dados no longo prazo é necessária para requisitos de política corporativa, contratuais ou de conformidade regulatória. Os clientes consideram o S3 Glacier Deep Archive uma opção interessante para proteger a propriedade intelectual central, registros médicos e financeiros, resultados de pesquisas, documentos legais, estudos de exploração sísmica e backups de longo prazo, especialmente em setores altamente regulamentados, como serviços financeiros e de saúde, indústria de petróleo e gás natural e setores públicos. Além disso, existem organizações, como empresas de mídia e entretenimento, que precisam manter uma cópia de segurança da propriedade intelectual central. Frequentemente, os clientes que usam a S3 Glacier Deep Archive podem reduzir ou descontinuar o uso de bibliotecas de fitas magnéticas on-premises e serviços de arquivamento de fitas externo.

A S3 Glacier Deep Archive expande nossas ofertas de arquivamento de dados, permitindo a seleção da classe de armazenamento ideal com base nos custos de armazenamento e recuperação e nos tempos de recuperação. Escolha a classe de armazenamento S3 Glacier Instant Retrieval quando precisar de milissegundos de acesso a dados de arquivo de baixo custo. Para dados de arquivo que não exigem acesso imediato, mas precisam de flexibilidade para a recuperação de grandes conjuntos de dados sem custo, como casos de uso de backup ou recuperação de desastres, escolha a S3 Glacier Flexible Retrieval, com recuperação em minutos ou recuperações gratuitas em massa de 5 a 12 horas. Por outro lado, o S3 Glacier Deep Archive foi criado para armazenamento de dados “mais frios”, com pouca probabilidade de serem acessados, mas que ainda requerem armazenamento durável e de longo prazo. A classe S3 Glacier Deep Archive é até 75% mais econômica do que a classe S3 Glacier Flexible Retrieval, e proporciona recuperação em até 12 horas usando a camada de recuperação padrão. Geralmente, as recuperações padrão começam dentro de 9 horas quando iniciadas usando as Operações em Lote do S3. É possível reduzir os custos de recuperação ao selecionar a recuperação em massa, que fornecerá os dados em até 48 horas.

A maneira mais fácil de armazenar dados no S3 Glacier Deep Archive é com a API do S3 para carregar dados diretamente. Basta especificar “S3 Glacier Deep Archive” como a classe de armazenamento. Você pode fazer isso usando o Console de Gerenciamento da AWS, a API REST do S3, os AWS SDKs ou a Interface da linha de comando da AWS. Você também pode começar a usar o S3 Glacier Deep Archive criando políticas para migrar dados usando o ciclo de vida do S3, que permite definir o ciclo de vida de seu objeto e reduzir seu custo de armazenamento. Essas políticas podem ser definidas para migrar objetos para o S3 Glacier Deep Archive com base na idade do objeto. Você pode especificar a política para um bucket S3 ou para prefixos específicos. As transições do ciclo de vida são cobradas pelo preço de upload do S3 Glacier Deep Archive. O Tape Gateway, um recurso de biblioteca de fitas virtual baseado em nuvem do AWS Storage Gateway, agora está integrado à S3 Glacier Deep Archive, permitindo que você armazene seus backups e arquivos de longo prazo baseados em fita virtual na S3 Glacier Deep Archive, fornecendo o menor custo de armazenamento para esses dados na nuvem. Para começar, crie uma nova fita virtual usando o Console ou a API do AWS Storage Gateway e defina o destino de armazenamento de arquivos como Glacier Flexible Retrieval ou S3 Glacier Deep Archive. Quando a aplicação de backup ejetar a fita, ela será arquivada no destino de armazenamento selecionado.

Existem várias maneiras de migrar dados de arquivos de fita existentes para o S3 Glacier Deep Archive. Você pode usar o Gateway de fitas da AWS para integrar-se a aplicativos de backup existentes usando uma interface VTL (biblioteca de fitas virtuais). Essa interface apresenta fitas virtuais para a aplicação de backup. Estas podem ser usadas imediatamente para armazenar dados no Amazon S3, na S3 Glacier Instant Retrieval, na S3 Glacier Flexible Retrieval e na S3 Glacier Deep Archive.
Você também pode usar o AWS Snowball para migrar dados. O Snowball acelera a transferência de terabytes para petabytes de dados dentro e fora da AWS usando dispositivos de armazenamento físico projetados para transporte seguro. O uso do Snowball ajuda a eliminar desafios comuns nas transferências de dados em grande escala, como altos custos de rede, transferências demoradas e problemas de segurança. Por fim, você pode usar o AWS Direct Connect para estabelecer conexões de rede dedicadas das suas instalações para a AWS. Em muitos casos, o Direct Connect pode reduzir seus custos de rede, aumentar o throughput da largura de banda e fornecer uma experiência de rede mais consistente que a de conexões baseadas na Internet.

Para recuperar dados armazenados no S3 Glacier Deep Archive, inicie uma solicitação de “Restore” (Restauração) usando as APIs do Simple Storage Service (Amazon S3) ou o console de gerenciamento do Amazon S3. A Restauração cria uma cópia temporária de seus dados na classe de armazenamento do S3 Standard, deixando os dados arquivados intactos no S3 Glacier Deep Archive. O período durante o qual uma cópia temporária é armazenada no S3 pode ser especificado em dias. Você poderá então acessar a cópia temporária do S3 por meio de uma solicitação GET do Amazon S3 para o objeto arquivado. Ao restaurar um objeto arquivado, você pode especificar uma das seguintes opções no elemento Nível do corpo da solicitação: padrão é a camada padrão e permite acessar qualquer um de seus objetos arquivados em 12 horas, com recuperações normalmente começando em 9 horas quando iniciadas usando as Operações em Lote do S3. Em massa permite recuperar grandes quantidades de dados, até mesmo petabytes de dados, de forma econômica e normalmente conclui em até 48 horas.

O armazenamento da S3 Glacier Deep Archive é cobrado com base na quantidade de dados armazenados em gigabytes, no número de solicitações de transição PUT/ciclo de vida, recuperações em gigabytes e número de solicitações de restauração. Este modelo de preço é semelhante ao da S3 Glacier Flexible Retrieval. Consulte a página de preço do Amazon S3 para obter informações sobre os preços do S3 Glacier Deep Archive.

O uso e o custo do S3 Glacier Deep Archive aparecerão como um item de linha de serviço independente em sua fatura mensal da AWS, separado do uso e dos custos do Amazon S3. No entanto, se você estiver usando a ferramenta de gerenciamento de custos da AWS, o uso e o custo do S3 Glacier Deep Archive serão incluídos no uso e no custo do Amazon S3 em seus relatórios detalhados de gastos mensais, e não divididos como um item de linha de serviço separado.

Os objetos arquivados no S3 Glacier Deep Archive têm, no mínimo, 180 dias de armazenamento. Se um objeto for excluído, substituído ou transferido antes de 180 dias, será cobrada uma taxa proporcional igual à taxa de armazenamento para os dias restantes. O S3 Glacier Deep Archive também requer 40 KB de metadados adicionais para cada objeto arquivado. Isso inclui 32 KB de metadados cobrados na taxa do S3 Glacier Deep Archive necessária para identificar e recuperar dados. E 8 KB de dados adicionais cobrados na taxa padrão do S3, necessários para manter o nome definido pelo usuário e os metadados para objetos arquivados no S3 Glacier Deep Archive. Isso permite que você obtenha uma lista em tempo real de todos os seus objetos S3 usando a API S3 LIST ou o relatório do S3 Inventory. Consulte a página de preço do Amazon S3 para obter informações sobre os preços do S3 Glacier Deep Archive.

A S3 Glacier Deep Archive é integrada aos recursos do Amazon S3, incluindo marcação de objetos do S3, políticas de ciclo de vida do S3, bloqueio de objetos do S3 e replicação do S3. Com os recursos de gerenciamento de armazenamento do S3, você pode usar um único bucket do Amazon S3 para armazenar uma combinação de dados da S3 Glacier Deep Archive, S3 Standard, S3 Standard – IA, S3 One Zone – IA e S3 Glacier Flexible Retrieval. Isso permite que os administradores de armazenamento tomem decisões com base na natureza dos dados e padrões de acesso a dados. Os clientes podem usar as políticas do ciclo de vida do Amazon S3 para migrar automaticamente os dados para classes de armazenamento de custo mais baixo à medida que os dados envelhecem ou políticas de replicação entre regiões, ou da mesma região, do S3 para replicar dados para a mesma ou uma região diferente. O serviço de AWS Storage Gateway integra o Tape Gateway com a classe de armazenamento S3 Glacier Deep Archive, permitindo que você armazene fitas virtuais na classe de armazenamento do Amazon S3 de custo mais baixo, reduzindo o custo mensal de armazenamento de dados de longo prazo na nuvem em 75%. Com esse recurso, o Tape Gateway é compatível com o arquivamento de suas novas fitas virtuais diretamente na S3 Glacier Flexible Retrieval e na S3 Glacier Deep Archive, ajudando você a atender aos seus requisitos de backup, arquivamento e recuperação. O Tape Gateway ajuda você a mover backups baseados em fita para a AWS sem fazer alterações nos fluxos de trabalho de backup existentes. O Gateway de Fitas é compatível com a maioria das principais aplicações de backup, como o Veritas, o Veeam, o Commvault, o Dell EMC NetWorker, o IBM Spectrum Protect (no sistema operacional Windows) e o Microsoft Data Protection Manager.

S3 no Outposts

Abrir tudo

O Amazon S3 on Outposts oferece armazenamento de objetos em seu ambiente on-premises, usando as APIs S3 e os recursos que você usa na AWS atualmente. O AWS Outposts é um serviço gerenciado que estende a infraestrutura, os serviços, as APIs e as ferramentas da AWS a praticamente qualquer datacenter, espaço de colocalização ou instalação no local. Usando o S3 on Outposts, você pode processar e armazenar com segurança os dados do cliente gerados no local antes de movê-los para uma região AWS, acessar dados localmente para aplicativos executados no local ou armazenar dados em seu Outpost para empresas em locais com requisitos de residência de dados, e/ou aqueles em setores regulamentados. Para saber mais sobre o S3 no Outposts, visite a página de visão geral.
 

Gerenciamento de armazenamento

Abrir tudo

Etiquetas de objeto do S3 são pares de chave-valor aplicados aos objetos do S3, que podem ser criados, atualizados ou excluídos a qualquer momento durante o tempo de vida do objeto. Com elas, é possível criar políticas do AWS Identity and Access Management (IAM), configurar políticas de ciclo de vida do Amazon S3 e personalizar métricas de armazenamento. Essas etiquetas no nível de objeto podem gerenciar migrações entre classes de armazenamento e expirar objetos em segundo plano. É possível adicionar etiquetas a novos objetos ao fazer o upload deles ou adicioná-las aos objetos existentes. É possível adicionar até dez etiquetas a cada objeto do S3 e usar o Console de Gerenciamento da AWS, a API REST, a AWS CLI ou os SDKs da AWS para adicionar etiquetas a objetos.
Para saber mais, acesse o Guia do usuário de etiquetas de objeto do S3.

As etiquetas de objeto são uma ferramenta que pode ser usada para habilitar o gerenciamento simples do armazenamento do S3. Com a capacidade de criar, atualizar e excluir tags a qualquer momento durante o tempo de vida do objeto, o armazenamento pode adaptar-se às necessidades da sua empresa. Essas etiquetas permitem controlar o acesso a objetos marcados com pares de chave-valor específicos, o que permite a proteção ainda maior de dados confidenciais de apenas um grupo ou usuário específico. Etiquetas de objetos também podem ser usadas para rotular objetos pertencentes a uma unidade de negócios ou a um projeto específico, que podem ser usados em conjunto com políticas de ciclo de vida do S3 para gerenciar as transições para outras classes de armazenamento (S3 Standard – IA, S3 One Zone – IA, Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval e Amazon S3 Glacier Deep Archive) ou com o S3 Replication para replicar dados de forma seletiva entre regiões da AWS.

As etiquetas de objeto podem ser alteradas a qualquer momento durante o tempo de vida do objeto do S3. É possível usar o Console de Gerenciamento da AWS, a API REST, a AWS CLI ou os SDKs da AWS para alterar etiquetas de objeto. Todas as alterações feitas nas etiquetas fora do Console de Gerenciamento da AWS serão feitas no conjunto de etiquetas completo. Se você tiver cinco etiquetas vinculadas a um objeto específico e desejar adicionar a sexta, será necessário incluir as cinco etiquetas originais à solicitação.

O preço das tags de objetos é determinado de acordo com a quantidade de tags e o custo de solicitação para adição de etiquetas. As solicitações associadas à adição e à atualização de etiquetas de objeto têm o mesmo preço das solicitações atuais. Consulte a página Definição de preços do Amazon S3 para obter mais informações.

Você pode usar o Console de Gerenciamento da AWS ou a API PUT Bucket Analytics do S3 para configurar uma política de análise de classe de armazenamento para identificar o armazenamento acessado com pouca frequência que pode ser transferido para a classe de armazenamento S3 Standard –IA ou S3 One Zone – IA ou arquivado nas classes de armazenamento S3 Glacier. É possível navegar até a guia “Gerenciamento” no console do S3 para gerenciar métricas da análise de classe de armazenamento, do Inventário S3 e do CloudWatch.

Você deve usar os Metadados do Amazon S3 se quiser usar o SQL para consultar as informações sobre seus objetos do S3 para identificar rapidamente conjuntos de dados específicos para sua IA generativa, analytics e outros casos de uso. Os Metadados do S3 mantêm os metadados atualizados quase em tempo real, para que você possa usar qualquer cliente compatível com o Iceberg para executar consultas SQL para encontrar objetos pelos metadados do objeto. Por exemplo, você pode usar uma consulta SQL para retornar uma lista de objetos que correspondem a determinados filtros, como objetos adicionados nos últimos 30 dias em qualquer bucket.

Os S3 Metadata foi projetado para gerar automaticamente metadados que fornecem informações adicionais sobre objetos que são carregados em um bucket e para tornar esses metadados consultáveis em uma tabela somente para leitura. Essas tabelas de metadados são armazenadas nas tabelas do Amazon S3, que são criadas no Apache Iceberg e fornecem uma forma gerenciada de armazenar e consultar dados tabulares no S3. O Metadados do S3 cria e mantém metadados em nível de sistema, como tamanho de objetos, metadados personalizados, como etiquetas e metadados definidos pelo usuário durante o upload de objetos, e metadados de eventos, como o endereço IP que enviou a solicitação. À medida que os dados em seu bucket mudam, o S3 Metadata atualiza quase em tempo real para refletir as mudanças mais recentes. Em seguida, você pode consultar suas tabelas de metadados usando vários serviços do AWS Analytics e ferramentas de código aberto que são compatíveis com o Iceberg, incluindo o Amazon Athena, Amazon QuickSight e Apache Spark.

Você pode começar a usar o S3 Metadata em apenas alguns cliques no Console de Gerenciamento do S3. Basta selecionar o bucket do S3 de uso geral em que você gostaria de ativar o S3 Metadata, e o S3 analisará os dados em seu bucket e criará uma tabela Apache Iceberg totalmente gerenciada com os metadados de todos os seus objetos. Em minutos, você poderá começar a consultar seus metadados usando qualquer mecanismo de consulta ou ferramenta compatível com o Apache Iceberg.

Suas tabelas de metadados do S3 são armazenadas em um bucket de tabelas gerenciado pela AWS em sua conta da AWS chamado aws-s3. Suas tabelas serão somente para leitura e somente o S3 terá permissão para gravar, atualizar ou excluir metadados. 

Os Metadados do S3 armazenam metadados em duas tabelas gerenciadas em sua conta: tabelas de diário e tabelas de inventário ao vivo. 

A tabela do diário dos Metadados do S3 fornece uma visão das alterações feitas em seu bucket. À medida que os objetos são adicionados, atualizados e removidos de seus buckets do S3 de uso geral, as alterações correspondentes são refletidas nas tabelas do diário quase em tempo real. As tabelas de diário são úteis para entender o comportamento de seus aplicativos e para identificar qualquer alteração feita em seus conjuntos de dados. Por exemplo, você pode escrever consultas SQL para tabelas de diário para encontrar objetos do S3 que correspondam a um filtro, como objetos adicionados nos últimos 30 dias, objetos que foram adicionados por solicitantes ativos ou objetos que tiveram alterações de metadados na última semana.

A tabela de inventário ao vivo dos Metadados do S3 contém uma lista completa de todos os objetos em seu bucket. As tabelas de inventário ao vivo são atualizadas de hora em hora e contêm todas as informações que o S3 conhece sobre seus objetos. As tabelas de inventário em tempo real são úteis para descobrir ou identificar conjuntos de dados em seu bucket, com base nas características geradas nos metadados do objeto. Por exemplo, você pode usar tabelas de inventário em tempo real para identificar conjuntos de dados de treinamento para machine learning, para usar em exercícios de otimização de custos de armazenamento ou para ajudar a aplicar controles de governança.

Ao adicionar novos objetos ao seu bucket, você verá entradas na tabela do diário em minutos e verá entradas na tabela de inventário ao vivo na próxima atualização de hora em hora. Quando você ativa os metadados do S3 em um bucket existente, o S3 inicia automaticamente uma operação de preenchimento para gerar metadados para todos os seus objetos existentes. Esse preenchimento normalmente termina em minutos, mas pode levar várias horas se seus conjuntos de dados existentes contiverem milhões ou bilhões de objetos do S3.

Sim. Você pode criar suas próprias tabelas do Iceberg em buckets de tabela que contêm metadados personalizados e, em seguida, juntá-las às tabelas que o S3 Metadata gera usando consultas SQL simples.

O relatório do Inventário S3 oferece uma alternativa programada à API List síncrona do Amazon S3. Você pode configurar o Inventário S3 para fornecer uma saída de arquivo CSV ORC ou Parquet dos objetos e seus metadados correspondentes com frequência diária ou semanal para um bucket ou prefixo do S3. É possível simplificar e acelerar fluxos de trabalho empresariais e tarefas de big data com o Inventário S3. Você também pode usar o Inventário S3 para verificar o status de criptografia e replicação de objetos para atender a necessidades empresariais, de conformidade ou normativas. Saiba mais no guia do usuário do Inventário Amazon S3.

É possível usar o Console de Gerenciamento da AWS ou a API PUT Bucket Inventory Configuration para configurar um relatório de inventário diário ou semanal de todos os objetos no bucket do S3 ou um subconjunto de objetos que compartilham o mesmo prefixo. Como parte da configuração, é possível especificar um bucket do S3 de destino para o relatório do S3 Inventory, o formato do arquivo de saída (CSV, ORC ou Parquet) e metadados de objeto específicos necessários para a aplicação empresarial, como: nome do objeto, tamanho, data da última modificação, classe de armazenamento, ID da versão, marcador de exclusão, sinalizador de versão não atual, sinalizador de multipart upload, status de replicação ou status de criptografia. Você pode usar o S3 Inventory como entrada direta para fluxos de trabalho de aplicações ou trabalhos de big data. Você também pode consultar o S3 Inventory usando linguagem SQL padrão com os serviços Amazon Athena e Amazon Redshift Spectrum, bem como com outras ferramentas como Presto, Hive e Spark. Saiba mais no Guia do usuário do Inventário Amazon S3.

Consulte a página Definição de preço do Amazon S3 para obter a definição de preço do S3 Inventory. Depois de configurar a criptografia usando SSE-KMS, você incorrerá em cobranças do KMS pela criptografia. Consulte a página de preços do KMS para obter detalhes.

As Tabelas do Amazon S3 oferecem armazenamento do S3 especificamente otimizado para workloads de analytics, melhorando a performance das consultas e reduzindo os custos. É possível acessar funcionalidades avançadas de analytics do Iceberg e consultar dados usando serviços conhecidos da AWS, como o Amazon Athena, o Redshift e o EMR, por meio da integração prévia das Tabelas do S3 com o Amazon SageMaker Lakehouse. Além disso, você pode usar aplicações de terceiros compatíveis com o Iceberg REST, como Apache Spark, Apache Flink, Trino, DuckDB e PyIceberg, para ler e gravar dados nas Tabelas do S3. É possível usar buckets de tabela para armazenar dados tabulares, como transações diárias de compra, dados de sensores de streaming ou impressões de anúncios, como uma tabela do Iceberg no Amazon S3, e depois interagir com esses dados usando recursos de analytics, como transações em nível de linha, snapshots de tabelas consultáveis e muito mais, tudo gerenciado pelo Amazon S3. Além disso, os buckets de tabela realizam a manutenção contínua das tabelas para otimizar automaticamente a eficiência das consultas ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake.

Você deve usar o S3 Tables para ter uma maneira simples, eficiente e econômica de armazenar dados tabulares no Amazon S3. O S3 Tables permite que você organize seus dados estruturados em tabelas e, em seguida, consulte esses dados usando instruções SQL padrão, praticamente sem configuração. Além disso, o S3 Tables oferece as mesmas características de durabilidade, disponibilidade, escalabilidade e performance do próprio S3 e otimiza automaticamente seu armazenamento para maximizar a performance de consultas e minimizar os custos.

O S3 Tables fornece um armazenamento do S3 desenvolvido com propósito específico para armazenar dados estruturados no formato Apache Parquet, Avro e ORC. Em um bucket de tabelas, é possível criar tabelas como recursos primários diretamente no S3. Essas tabelas podem ser protegidas com permissões a nível de tabela definidas em políticas baseadas em identidade ou em recursos e são acessíveis por aplicações ou ferramentas compatíveis o padrão do Apache Iceberg. Ao criar uma tabela no bucket de tabelas, os dados subjacentes no S3 são armazenados como arquivos no formato Parquet, Avro ou ORC. Em seguida, o S3 usa o padrão do Apache Iceberg para armazenar os metadados necessários para tornar esses dados consultáveis pelas aplicações. O S3 Tables inclui uma biblioteca de cliente que é usada por mecanismos de consulta para navegar e atualizar os metadados do Iceberg das tabelas no bucket de tabelas. Essa biblioteca, em conjunto com as APIs do S3 atualizadas para operações de tabelas, permite que vários clientes realizem a leitura e a gravação de dados com segurança em suas tabelas. Ao longo do tempo, o S3 realiza a otimização automática dos dados no formato Parquet, Avro ou ORC subjacentes ao reescrever ou “compactar” os objetos. A compactação otimiza os dados armazenados no S3 para aprimorar a performance das consultas.

Você pode começar a usar o S3 Tables em apenas algumas etapas simples, sem precisar montar nenhuma infraestrutura fora do S3. Primeiro, crie um bucket de tabela no console do S3. Como parte da criação do seu primeiro bucket de tabela por meio do console, a integração com os serviços do AWS Analytics ocorre automaticamente, o que permite que o S3 preencha automaticamente todos os buckets e tabelas da sua conta e região no Catálogo de Dados do AWS Glue. Depois disso, o S3 Tables estará acessível aos mecanismos de consulta da AWS, como Amazon Athena, EMR e Redshift. Em seguida, você poderá clicar para criar uma tabela usando o Amazon Athena a partir do console do S3. Uma vez no Athena, você poderá começar a preencher novas tabelas e consultá-las rapidamente.

Como alternativa, você pode acessar as tabelas do S3 usando o endpoint do catálogo Iceberg REST por meio do Catálogo de Dados do AWS Glue, que permite descobrir todo o seu patrimônio de dados, incluindo todos os recursos da tabela. Você também pode se conectar diretamente a um endpoint de bucket de tabela individual para descobrir todos os recursos do S3 Tables dentro desse bucket. Isso permite que você use o S3 Tables com qualquer aplicação ou mecanismo de consulta compatível com a especificação do catálogo REST do Apache Iceberg.

Você pode criar uma tabela no seu bucket de tabelas usando a API CreateTable no S3. Como alternativa, você também pode usar seu mecanismo de consulta para criar uma tabela. Você pode excluir uma tabela do seu bucket de tabelas com a API DeleteTable no S3. Como alternativa, você pode usar seu mecanismo de consulta para excluir uma tabela. Quando você fizer isso, sua tabela não estará mais acessível ao mecanismo de consulta.

O S3 Tables oferece suporte ao padrão Apache Iceberg, e mecanismos de consulta, como o Amazon Athena, Amazon Redshift e Apache Spark, podem ser usados para consultar as tabelas em seus buckets de tabela usando SQL padrão.

Você pode esperar uma performance de consultas até três vezes mais rápida e até dez vezes mais transações por segundo (TPS) em comparação ao armazenamento de tabelas do Iceberg em buckets de uso geral do Amazon S3. Isso ocorre porque os buckets de tabela compactam automaticamente os dados subjacentes no formato Parquet, Avro ou ORC para suas tabelas a fim de otimizar a performance de consultas, e o armazenamento com propósito específico oferece suporte a dez vezes mais o volume padrão de TPS.

Não. Para evitar comprometer acidentalmente a integridade de suas tabelas ou interromper aplicações downstream, os buckets de tabela não permitem a substituição ou exclusão manual de objetos. Os buckets de tabela oferecem suporte apenas ao subconjunto de APIs do S3 necessárias para acessar e atualizar as tabelas do Iceberg. Em vez disso, você pode configurar a remoção de arquivos não referenciados e a expiração de snapshots nas tabelas para excluir dados.

Os buckets de tabela permitem aplicar políticas de recursos a todo o bucket ou a tabelas individuais. As políticas de bucket de tabela podem ser aplicadas usando as APIs PutTablePolicy e PutTableBucketPolicy. As políticas em nível de tabela permitem que você gerencie permissões para tabelas em seus buckets de tabela com base na tabela lógica à qual elas estão associadas, sem precisar entender a localização física de arquivos individuais no formato Parquet, Avro ou ORC. Além disso, o Bloqueio de Acesso Público do S3 é sempre aplicado aos buckets de tabela.

Sim. Os buckets de tabela contam com a funcionalidade de snapshot do Iceberg para manter suas tabelas consistentes quando há vários gravadores simultâneos.

Os buckets de tabela oferecem suporte ao formato de tabela Apache Iceberg com dados no formato Parquet, Avro ou ORC.

Os buckets de tabela oferecem três operações de manutenção: compactação, gerenciamento de snapshots e remoção de arquivos não referenciados. A compactação combina periodicamente objetos menores em um número reduzido de objetos maiores para melhorar a performance de consultas. O gerenciamento de snapshots expira e remove snapshots da tabela de acordo com sua configuração de retenção de snapshots. A remoção de arquivos não referenciados exclui objetos que não são referenciados por nenhum snapshot de tabela de acordo com sua política de remoção de arquivos não referenciados, otimizando o custo de armazenamento.

Sim, o S3 Tables oferece suporte ao AWS CloudTrail. Você pode configurar dados e eventos de gerenciamento do CloudTrail para seus buckets de tabela, da mesma forma que faria com um bucket de uso geral do S3. Os logs do CloudTrail para seus buckets de tabela incluem informações sobre tabelas e objetos de dados. 

Sim, os dados em buckets de tabela são criptografados por padrão usando criptografia do lado do servidor, garantindo proteção básica para seus dados em repouso. Para maior segurança, você tem a opção de criptografar seus dados nas tabelas do S3 usando suas próprias chaves de criptografia. Essas chaves são criadas e gerenciadas em sua conta da AWS por meio do AWS Key Management Service (AWS KMS). Com o KMS, há permissões separadas para o uso da chave KMS, adicionando uma camada extra de controle e proteção contra acesso não autorizado às suas tabelas armazenadas em buckets de tabela. Além disso, o KMS gera uma trilha de auditoria detalhada, permitindo que você acompanhe quem acessou qual tabela e quando, usando sua chave. O KMS também oferece controles de segurança adicionais para apoiar seus esforços na conformidade com os requisitos do setor, como PCI-DSS, HIPAA/HITECH e FedRAMP. Essa abordagem abrangente de criptografia e gerenciamento de chaves oferece a segurança e a flexibilidade necessárias para proteger seus dados sensíveis de forma eficaz.

Com as Tabelas do S3, você paga pelo armazenamento, solicitações e uma taxa de monitoramento de objetos por objeto armazenado em buckets de tabela. Também há taxas adicionais para manutenção de tabelas. Para ver os detalhes de preços, acesse a página de preços do S3.

A compactação combina objetos menores em um número reduzido de objetos maiores para melhorar a performance de consultas do Iceberg. O Amazon S3 compacta tabelas com base em um tamanho de arquivo de destino ideal para seu padrão de acesso a dados ou em um valor que você especificar. Os arquivos compactados são gravados como o snapshot mais recente da tabela. O recurso de compactação é compatível por padrão para todas as tabelas do S3 Tables, com um tamanho padrão de arquivo de destino de 512 MB. Você pode alterar o tamanho do arquivo de destino de 64 MB para 512 MB usando a API PutTableMaintenanceConfiguration. 

O gerenciamento de snapshots expira e remove snapshots da tabela conforme sua configuração de retenção de snapshots. O gerenciamento de snapshots determina o número de snapshots ativos para suas tabelas com base em MinimumSnapshots (um por padrão) e em MaximumSnapshotAge (120 horas por padrão). Quando um snapshot expira, o Amazon S3 cria marcadores de exclusão para os arquivos de dados e metadados referenciados exclusivamente por esse snapshot e marca esses arquivos como não atuais. Esses arquivos não atuais são excluídos após o número de dias especificado pela propriedade NoncurrentDays em sua política de remoção de arquivos não referenciados. Você pode alterar os valores padrão do snapshot usando a API PutTableMaintenanceConfiguration. O gerenciamento de snapshots não oferece suporte aos valores de retenção que você configura no arquivo metadata.json do Iceberg, incluindo retenção baseada em ramificações ou tags. O gerenciamento de snapshots do S3 Tables é desabilitado quando você configura uma política de retenção baseada em ramificação ou tag, ou quando configura uma política de retenção no arquivo metadata.json que seja maior do que os valores configurados por meio da API PutTableMaintenanceConfiguration. 

A remoção de arquivos não referenciados identifica e exclui todos os objetos que não são referenciados por nenhum snapshot de tabela. Como parte da sua política de remoção de arquivos não referenciados, você pode configurar duas propriedades: ExpireDays (três dias por padrão) e NoncurrentDays (dez dias por padrão). Para qualquer objeto não referenciado pela sua tabela e mais antigo que a propriedade ExpireDays, o S3 exclui permanentemente os objetos após o número de dias especificado pela propriedade NoncurrentDays. Você pode configurar a remoção de arquivos não referenciados em um nível de bucket de tabela. Você pode alterar os valores padrão da retenção de snapshots usando a API PutTableBucketMaintenanceConfiguration.

As Operações em Lote do S3 é um recurso que você pode usar para automatizar a execução de uma única operação (como copiar um objeto ou executar uma função AWS lambda) em vários objetos. Com Operações em lote do S3, com alguns cliques no console do S3 ou uma única solicitação de API, é possível fazer alterações em bilhões de objetos sem precisar escrever um código de aplicação personalizada ou executar clusters de computação para aplicações de gerenciamento de armazenamento. As Operações em lote do S3 não apenas administram suas operações de armazenamento em vários objetos, como também gerenciam novas tentativas de operações em lote do S3, exibem o progresso, enviam notificações, fornecem um relatório de conclusão e enviam eventos para o AWS CloudTrail para todas as operações realizadas nos objetos de destino. As Operações em lote do S3 podem ser usadas no console do S3 ou por meio da CLI e do SDK da AWS.  Para saber mais, acesse a página de Operações em Lote do S3 ou o guia do usuário.

Você pode começar a usar as Operações em lote do S3 acessando o console do Amazon S3 ou usando a CLI ou o SDK da AWS para criar seu primeiro trabalho de Operações em lote do S3. Um trabalho de Operações em lote do S3 consiste na lista de objetos para atuação e no tipo de operação a ser realizada (consulte a lista completa de operações disponíveis). Comece selecionando um relatório do S3 Inventory ou fornecendo sua própria lista personalizada de objetos nos quais as Operações em lote do S3 devem atuar. Um relatório do S3 Inventory é um arquivo que lista todos os objetos armazenados em um bucket ou prefixo do S3. Em seguida, você escolher entre um conjunto de operações compatíveis com as operações em lote do S3, como substituição de conjuntos de etiquetas, alteração de ACLs, cópia do armazenamento de um bucket para outro ou início de uma restauração da S3 Glacier Flexible Retrieval para outras classes de armazenamento S3 Standard. Então, você pode personalizar seus trabalhos de operações em lote do S3 com parâmetros específicos, como valores de etiqueta, concessões de ACL e duração de restauração. Para personalizar ainda mais suas ações de armazenamento, você pode escrever sua própria função Lambda e invocar esse código com as operações em lote do S3. Depois de criar seu trabalho de Operações em lote do S3, estas processarão sua lista de objetos e enviarão o trabalho ao estado "aguardando confirmação", se necessário. Depois que você confirmar os detalhes do trabalho, as Operações em lote do S3 começarão a executar a operação especificada. É possível visualizar o progresso da tarefa programaticamente ou por meio do console do S3, receber notificações após a conclusão e examinar um relatório de conclusão que discrimina as alterações realizadas no armazenamento.
Se quiser saber mais sobre Operações em lote do S3, assista aos vídeos de tutoriais e consulte a documentação.

Para clientes no setor de serviços financeiros, o bloqueio de objetos do S3 fornece suporte adicional para corretoras que precisam manter registros em um formato não apagável e não regravável para cumprir os requisitos regulatórios da regra 17a-4(f) da SEC, regra 4511 da FINRA ou norma 1.31 da CFTC. Designe com facilidade o período de retenção de registros para manter arquivamentos regulamentares no formato original durante o prazo necessário, além de definir retenções legais para manter dados indefinidamente até que a retenção seja removida.

Envie uma notificação ao órgão normativo ou à “Designated Examining Authority (DEA – Autoridade Examinadora Designada)” de sua escolha para utilização do Amazon S3 para armazenamento eletrônico, juntamente com uma cópia da avaliação da Cohasset. Para os fins desses requisitos, a AWS não age como uma terceira parte designada (D3P). Garanta que você selecionou uma D3P e incluiu essas informações na notificação para a sua DEA.

É possível usar o Console de Gerenciamento da AWS para habilitar a geração de métricas de solicitação de um minuto do CloudWatch para o bucket do S3 ou configurar filtros para as métricas usando um prefixo, uma etiqueta de objeto ou um ponto de acesso. Como opção, é possível chamar a API PUT Bucket Metrics do S3 para habilitar e configurar a publicação de métricas de armazenamento do S3. As métricas de solicitação do CloudWatch serão disponibilizadas no CloudWatch 15 minutos após sua habilitação. As métricas de armazenamento do CloudWatch estão habilitadas por padrão para todos os buckets e são relatadas uma vez por dia. Saiba mais sobre as métricas do CloudWatch para o Amazon S3.

É possível usar o CloudWatch para definir limites sobre qualquer contagem, temporizador ou taxa de métricas de armazenamento, como também disparar uma ação quando o limite for ultrapassado. Por exemplo, é possível definir um limite para a porcentagem de respostas de erro 4xx e acionar um alarme do CloudWatch para alertar um engenheiro de DevOps quando pelo menos 3 pontos de dados ultrapassarem o limite.

As métricas de armazenamento do CloudWatch são fornecidas gratuitamente. As métricas de solicitação do CloudWatch são cobradas como métricas personalizadas do Amazon CloudWatch. Consulte a página de definição de preços do Amazon CloudWatch para obter informações gerais sobre a definição de preço das métricas do CloudWatch para o S3.

O gerenciamento de ciclo de vida do S3 oferece a capacidade de definir o ciclo de vida do seu objeto com uma política predefinida e reduzir seu custo de armazenamento. Você pode definir uma política de transição de ciclo de vida para migrar automaticamente os objetos armazenados na categoria de armazenamento S3 Standard para as categorias S3 Standard-IA, S3 One Zone-IA e/ou S3 Glacier com base no tempo de vida dos dados. Você também pode definir políticas de expiração de ciclo de vida para remover automaticamente objetos baseados na idade do objeto. Você pode definir uma política para a expiração de multipart upload, que expira multipart uploads incompletos com base em seus respectivos tempos de vida. Para saber mais, acesse o Guia do usuário do ciclo de vida do S3.

Você pode configurar e gerenciar políticas de ciclo de vida usando o Console de Gerenciamento da AWS, a API REST do S3, os SDKs da AWS ou a interface de linha de comandos (CLI) da AWS. Você pode especificar a política no prefixo ou no nível do bucket.

Com as políticas de ciclo de vida do Amazon S3, você pode configurar objetos para migração da classe de armazenamento S3 Standard para as classes S3 Standard – IA ou S3 One Zone – IA e/ou arquivamento nas classes S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive.

Você também pode especificar uma política de ciclo de vida do S3 para excluir objetos após um período específico. Você poderá usar essa automação orientada por políticas para reduzir, de forma rápida e fácil, custos de armazenamento e poupar tempo. Em cada regra, você pode especificar um prefixo, um período de tempo, uma transição para a S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive e/ou uma validade. Por exemplo, você pode criar uma regra que arquive na S3 Glacier Flexible Retrieval todos os objetos com o prefixo comum “logs/” 30 dias após a criação e expire esses objetos 365 dias após a criação.

Você também pode criar uma regra separada que expire apenas todos os objetos com o prefixo “backups/” 90 dias após a criação. As políticas de ciclo de vida do S3 se aplicam a objetos novos e existentes do S3 e ajudam a otimizar o armazenamento e maximizar as reduções de custos para todos os dados atuais e novos residentes no S3, sem necessidade de migrações e revisões de dados manuais demoradas.

Em uma regra de ciclo de vida, o campo de prefixo identifica os objetos sujeitos à regra. Para aplicar a regra a um objeto individual, especifique o nome da chave. Para aplicar a regra a um conjunto de objetos, especifique o prefixo em comum (por exemplo, "logs/"). Você pode especificar uma ação de transição para ter seus objetos arquivados e uma ação de expiração para que seus objetos sejam removidos. Para o período, informe a data de criação (ex.: 31 de janeiro de 2015) ou o número de dias a partir da data de criação (ex.: 30 dias) depois do qual você deseja que seus objetos sejam arquivados ou removidos. É possível criar várias regras para diferentes prefixos.

Não há custo adicional para configurar e aplicar políticas de ciclo de vida. Uma solicitação de transição é cobrada por objeto quando um objeto se torna qualificado para transição de acordo com a regra do ciclo de vida. Consulte a página de preços do Amazon S3 para obter informações sobre preços.

A política de ciclo de vida do S3 que expira multipart uploads incompletos permite que você economize custos por meio da limitação do período de armazenamento de multipart uploads não concluídos. Por exemplo, se o seu aplicativo fizer o upload de várias partes de objetos multipart, mas nunca confirmá-las, você ainda será cobrado por esse armazenamento. Essa política reduz a fatura de armazenamento do S3, removendo automaticamente multipart uploads incompletos e o armazenamento associado após um número predefinido de dias. Saiba mais sobre o uso do ciclo de vida do S3 para expirar carregamentos fracionados incompletos »

Sim, você pode configurar Notificações de eventos do Amazon S3 para receber notificações quando o ciclo de vida do S3 migrar ou expirar objetos. Por exemplo, você pode enviar notificações de eventos do S3 para um tópico do Amazon SNS, uma fila do Amazon SQS ou uma função do AWS Lambda quando o ciclo de vida do S3 mover objetos para uma classe de armazenamento S3 distinta ou expirar objetos.

Análise e informações de armazenamento

Abrir tudo

A Lente de Armazenamento do S3 proporciona visibilidade em toda a empresa para o uso do armazenamento de objetos, para as tendências da atividade e faz recomendações práticas para otimizar os custos e aplicar melhores práticas de proteção de dados. A S3 Storage Class Analysis permite monitorar os padrões de acesso a objetos para ajudar a decidir quando fazer a transição dos dados para a classe de armazenamento certa e otimizar os custos. Você pode usar essas informações para configurar uma política do ciclo de vida do S3 que faz a transferência dos dados. O Amazon S3 Inventory fornece um relatório de seus objetos e metadados correspondentes por dia ou semana para um bucket ou prefixo do S3. Esse relatório pode ser usado para ajudar a atender as necessidades de seu negócio, de conformidade e de regulamentos, verificando a criptografia e o status de replicação dos seus objetos.

A Lente de Armazenamento do Amazon S3 fornece a visibilidade de toda a empresa quanto às tendências de uso e atividade do armazenamento de objetos, e faz recomendações práticas para otimizar os custos e aplicar práticas recomendadas de proteção dos dados. O Storage Lens oferece um painel interativo que contém uma única visão do uso de armazenamento de objetos e atividade em dezenas ou centenas de contas em sua empresa, com exibições que geram insights em diversos níveis de agregação. Isso inclui métricas como bytes, contagens de objetos e solicitações, além de métricas detalhando a utilização do recurso S3, como contagens de objetos criptografados e contagens do ciclo de vida do S3. O S3 Storage Lens também faz recomendações contextuais para encontrar formas de reduzir os custos de armazenamento e aplicar as práticas recomendadas quanto à proteção de dados em dezenas ou centenas de contas e buckets. As métricas gratuitas do S3 Storage Lens estão disponíveis por padrão para todos os usuários do Amazon S3. Se desejar aproveitar ainda mais o S3 Storage Lens, você pode ativar métricas e recomendações avançadas. Para saber mais, acesse o Guia do usuário da Lente de Armazenamento do S3.

O Lente de Armazenamento do S3 agrega o uso do armazenamento e a métrica das atividades diariamente para a visualização no painel interativo do Lente de Armazenamento do S3 ou ficam disponíveis como uma exportação de métrica no formato de arquivo CVS ou Parquet. Um painel padrão é criado automaticamente no nível da conta e você tem a opção de criar painéis personalizados adicionais. Os painéis do S3 Storage Lens podem abranger a organização da AWS ou contas específicas, regiões, buckets, ou mesmo níveis prefixados (disponível com as métricas avançadas do S3 Storage Lens). Você também pode usar grupos do S3 Storage Lens para agregar métricas usando filtros personalizados com base nos metadados do objeto como tag, tamanho e idade. Enquanto você configura seu painel, pode usar a seleção de métricas padrão ou realizar o upgrade para receber 35 métricas adicionais e agregações no nível prefixado por um custo adicional. Além disso, o Lente de Armazenamento do S3 faz recomendações contextualmente com métricas do armazenamento no painel para que você tome medidas para otimizar o armazenamento com base nas métricas.


O painel da Lente de Armazenamento do S3 é organizado através de três tipos principais de questões que podem ser respondidas sobre o armazenamento. No filtro Resumo, podem ser explicadas as perguntas de alto nível relacionadas ao uso geral do armazenamento e às tendências da atividade. Por exemplo: “Com que rapidez minha contagem de bytes geral e contagem de solicitações aumentam com o tempo?” No filtro Otimização do custo, é possível explorar perguntas relacionadas à redução do custo de armazenamento, por exemplo: “É possível economizar dinheiro retendo menos versões não atuais?” Nos filtros Proteção dos dados, e Gerenciamento de acesso, você pode responder questões sobre a segurança dos dados, por exemplo: “Meu armazenamento tem proteção contra a exclusão acidental ou intencional?” Por fim, nos filtros Desempenho e Eventos você pode explorar maneiras de aprimorar o desempenho de fluxos de trabalho. Cada uma dessas perguntas representa uma primeira camada de consulta que provavelmente levaria a uma análise detalhada.

O S3 Storage Lens contém mais de 60 métricas, agrupadas em métricas gratuitas e avançadas (disponível por um custo adicional). Entre as métricas gratuitas, você recebe informações de análise de uso (baseada em um snapshot diário de seus objetos), organizadas em categorias de otimização de custo, proteção de dados, gerenciamento de acesso, desempenho e eventos. Em relação às métricas avançadas, você recebe informações relacionadas à atividade (como contagens de solicitações), otimização de custo ampliada (como as contagens de regras do ciclo de vida do S3), proteção de dados adicional (como as contagens de regras de replicação do S3) e códigos de status detalhados (como erros de autorização 403). Além disso, as métricas derivadas são também fornecidas combinando qualquer métrica básica. Por exemplo, “Taxa de recuperação" é uma métrica calculada dividindo a "Contagem de bytes baixados" pelo "Total de armazenamento”. Para exibir a lista completa de métricas, visite a documentação da Lente de Armazenamento do S3.


Um painel padrão é configurado automaticamente para a conta inteira e você tem a opção de criar painéis personalizados adicionais no escopo na empresa AWS, em regiões específicas ou buckets em uma conta. Você pode configurar vários painéis personalizados, que podem ser úteis se precisar de uma separação lógica na análise do armazenamento, como segmentar os buckets para representar várias equipes internas. Por padrão, seu painel receberá as métricas gratuitas do S3 Storage Lens, mas você tem a opção de fazer upgrade para receber métricas e recomendações avançadas do S3 Storage Lens (por um custo adicional). As métricas avançadas do S3 Storage Lens contam com sete opções distintas: métricas de atividade, métricas de otimização de custos avançadas, métricas de proteção de dados avançadas, métricas de código de status detalhadas, agregação prefixada, publicação CloudWatch e agregação de grupos do Storage Lens. E mais: para cada painel é possível habilitar a exportação de métrica, com mais opções para especificar o bucket de destino e o tipo de criptografia.

Para as métricas exibidas no painel interativo, as gratuitas da Lente de Armazenamento retêm dados históricos de 14 dias e as métricas avançadas retêm dados históricos de 15 meses (por um custo adicional). Para a exportação de métrica opcional, é possível configurar qualquer período de retenção desejado e serão aplicadas cobranças de armazenamento do S3 padrão.


A Lente de Armazenamento do S3 está disponível em dois níveis de métricas. As métricas gratuitas estão disponíveis por padrão e sem cobrança extra para todos os clientes do S3. Os detalhes das métricas avançadas e das recomendações de preço do S3 Storage Lens estão disponíveis na página de preço do S3. Com as métricas gratuitas do S3 Storage Lens, você recebe 28 métricas no nível do bucket e pode acessar 14 dias de dados históricos no painel. As métricas e recomendações avançadas da Lente de Armazenamento do S3 fornecem 35 métricas adicionais, agregação de nível prefixado, suporte a métricas CloudWatch, filtragem de metadados de objetos personalizados com grupos da Lente de Armazenamento do S3 e acesso de 15 meses de dados históricos no painel.

O Inventário S3 fornece uma lista de objetos e metadados correspondentes para um bucket S3 ou prefixo compartilhado, que pode ser usado para fazer uma análise de seu armazenamento no nível do objeto. A Lente de Armazenamento do S3 fornece métricas que podem ser agregadas por organização, conta, região, classe de armazenamento, bucket, prefixo e níveis de grupo da Lente de Armazenamento do S3, o que permite uma visibilidade melhor de seu armazenamento em toda a empresa.

O S3 Storage Class Analysis faz recomendações para uma classe de armazenamento ideal criando grupos de idade do objeto com base nos padrões de acesso no nível do objeto em um bucket/prefixo/tag individual para os 30 a 90 dias anteriores. O S3 Storage Lens faz recomendações diárias no nível organizacional sobre modos de melhorar os custos e aplicar práticas recomendadas de proteção dos dados, com recomendações granulares adicionais por conta, região, classe de armazenamento, bucket, grupo do S3 Storage Lens ou prefixo (disponível com as métricas avançadas do S3 Storage Lens). Você também pode usar filtros personalizados com grupos da Lente de Armazenamento do S3 para visualizar seu armazenamento com base na idade do objeto e informar sua estratégia de arquivamento do armazenamento.

Com a Análise de classe de armazenamento, você pode analisar os padrões de acesso ao armazenamento para determinar a classe de armazenamento ideal para o seu armazenamento. Esse recurso do S3 identifica automaticamente padrões de acesso pouco frequente para ajudar a migrar o armazenamento para o S3 Standard – IA. É possível configurar uma política de Análise de classe de armazenamento para monitorar um bucket completo, um prefixo ou uma tag de objeto. Quando for observado um padrão de acesso pouco frequente, será possível criar facilmente uma nova política de tempo de ciclo de vida do S3 com base nos resultados. A Análise de classe de armazenamento também disponibiliza visualizações diárias sobre o uso do armazenamento no Console de Gerenciamento da AWS. Você também pode habilitar um relatório de exportação para um bucket do S3 para análise usando ferramentas de business intelligence de sua escolha, como Amazon QuickSight. Saiba mais e comece a usar visitando o Guia do usuário da Análise de classe de armazenamento do S3.

A Análise de classe de armazenamento é atualizada diariamente no Console de Gerenciamento do S3, mas as recomendações iniciais para transições de classe de armazenamento são fornecidas após 30 dias.

Consulta no local

Abrir tudo

O Amazon S3 permite que os clientes executem consultas sofisticadas nos dados armazenados, sem a necessidade de mover os dados para uma plataforma de analytics separada. A capacidade de consultar esses dados diretamente no Amazon S3 pode aumentar significativamente o desempenho e reduzir os custos para soluções de análise que usam o S3 como um data lake. O S3 disponibiliza múltiplas opções de consulta direta, como o Amazon Athena e o Amazon Redshift Spectrum, possibilitando que você selecione a opção que é mais adequada ao caso de uso.

Existem várias maneiras de consultar seus dados no S3, e você pode escolher a mais adequada com base no seu caso de uso específico. Use a filtragem do lado do cliente para fazer o download de um objeto do Amazon S3 para seu recurso de computação da AWS e filtre os conteúdos usando as bibliotecas de análise em sua aplicação cliente. Por exemplo, em uma aplicação do Python que consulta objetos em Parquet armazenados no Amazon S3, é possível usar a API GET do Amazon S3 para fazer download do objeto e filtrar os conteúdos usando a biblioteca “Pandas”. Use o Amazon Athena para processar múltiplos objetos do S3 em uma única consulta ou até mesmo para usar operações de junção e funções de janela para consultar seus objetos do S3. Use o S3 Object Lambda ao adicionar seu próprio código às solicitações GET do S3 para filtrar os dados enquanto eles são retornados para uma aplicação. Você deve usar o S3 Object Lambda se desejar adicionar transformações enquanto realiza a filtragem dos dados. Leia a publicação do blog no para saber mais sobre esses métodos de consulta aos seus dados no Amazon S3.

O Amazon Athena é um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando consultas SQL padrão. O Athena não usa servidor, de forma que não existe uma infraestrutura para configurar ou gerenciar; é possível começar a analisar os dados imediatamente. Não é necessário nem mesmo carregar dados no Athena. Ele trabalha diretamente com dados armazenados em qualquer classe de armazenamento do S3. Para começar, basta fazer login no Athena Management Console, definir seu schema e dar início às consultas. O Amazon Athena usa Presto, com suporte completo a SQL padrão, e funciona com diversos formatos de dados padrão, como CSV, JSON, ORC, Apache Parquet e Avro. Apesar de o Athena ser ideal para consultas ad hoc rápidas e se integrar ao Amazon QuickSight para facilitar a visualização, ele também consegue processar análises complexas, inclusive grandes associações, funções de janela e matrizes.

O Amazon Redshift Spectrum é um recurso do Amazon Redshift que permite executar consultas em exabytes de dados não estruturados no Amazon S3, sem necessidade de carregamento ou ETL. Quando você emite uma consulta, ela é enviada para o endpoint SQL do Amazon Redshift, que cria e otimiza um plano de consulta. O Amazon Redshift determina quais dados são locais e o que consta no Amazon S3, cria um plano para minimizar a quantidade de dados do Amazon S3 que precisam ser lidos, como também solicita que operadores do Redshift Spectrum de um grupo de recursos compartilhados leiam e processem os dados do Amazon S3. O Redshift Spectrum aumenta a escala para milhares de instâncias se for necessário; por isso, as consultas são executadas mais rapidamente, não importa o tamanho dos dados. Além disso, você pode usar para os dados do Amazon S3 exatamente o mesmo SQL usado em consultas atuais do Amazon Redshift, bem como conectar-se ao mesmo endpoint do Amazon Redshift usando as mesmas ferramentas de inteligência de negócios. O Redshift Spectrum permite separar armazenamento e computação, o que possibilita ajustar a escala de cada um de modo independente. Você pode configurar quantos clusters do Amazon Redshift precisar para consultar seu data lake do Amazon S3, o que proporciona alta disponibilidade e simultaneidade ilimitada. O Redshift Spectrum oferece a liberdade de armazenar dados onde quiser, no formato que quiser e disponibilizá-los para processamento quando forem necessários.

Replicação

Abrir tudo

A Replicação do Amazon S3 permite a cópia automática e assíncrona de objetos nos buckets do Amazon S3. Os buckets que são configurados para a replicação de objetos podem pertencer à mesma conta da AWS ou a diferentes contas. Você pode replicar novos objetos gravados para um ou mais buckets de destino entre diferentes regiões da AWS (replicação entre regiões do S3) ou na mesma região da AWS (replicação na mesma região do S3). Você também pode replicar os conteúdos dos buckets existentes (replicação em lote do S3), incluindo objetos existentes, objetos que falharam previamente ao replicar e objetos replicados de outra origem. Para saber mais, acesse o Guia do usuário do S3 Replication.

A CRR é um recurso do Amazon S3 que replica automaticamente dados entre buckets em diferentes regiões da AWS. Com a CRR, você pode definir a replicação no nível do bucket, de um prefixo compartilhado ou de um objeto usando tags de objeto do S3. Você pode usar a CRR para oferecer acesso a dados com latência reduzida em regiões geográficas diferentes. A CRR também pode ajudar se você tem requisitos de conformidade para armazenar cópias de dados a centenas de quilômetros de distância. Você pode usar a CRR para alterar a propriedade da conta dos objetos replicados para proteger os dados de exclusões acidentais. Para saber mais, acesse o Guia do usuário do CRR do S3.

O SRR é um recurso do Simple Storage Service (Amazon S3) que replica automaticamente dados entre buckets na mesma região da AWS. Com a SRR, você pode configurar a replicação no nível do bucket, em um nível de prefixo compartilhado ou um nível de objeto usando tags de objeto do S3. Você pode usar a SRR para fazer uma ou mais cópias dos seus dados na mesma região da AWS. A SRR ajuda a cumprir os requisitos de soberania e conformidade de dados ao manter uma cópia dos seus dados em uma conta da AWS separada na mesma região do original. Você pode usar a SRR para alterar a propriedade da conta dos objetos replicados para proteger os dados de exclusões acidentais. Também é possível usar a SRR para agregar facilmente logs de buckets distintos do S3 para o processamento na região ou para configurar a replicação em tempo real entre os ambientes de teste e desenvolvimento. Para saber mais, acesse o Guia do usuário do SRR do S3.

O Amazon S3 Batch Replication replica objetos existentes entre buckets. Você pode usar o S3 Batch Replication para preencher um bucket recém-criado com objetos existentes, repetir objetos que antes não conseguiam replicar, migrar dados entre contas ou adicionar novos buckets ao data lake. Você pode começar a usar o S3 Batch Replication com apenas alguns cliques no console do S3 ou em uma única solicitação de API. Para saber mais, acesse o guia do usuário do S3 Batch Replication.

A Replicação do Amazon S3 (CRR e SRR) é configurado no nível do bucket do S3, um nível de prefixo compartilhado ou um nível de objeto usando as tags de objeto do S3. Você adiciona uma configuração de replicação em seu bucket de origem especificando um bucket de destino na mesma região ou em uma região diferente da AWS para a replicação. Você pode usar o console do S3, a API, a AWS CLI, AWS SDKs ou o AWS CloudFormation para habilitar a replicação. O versionamento deve ser habilitado nos buckets de origem e destino para que a replicação seja habilitada. Para saber mais, consulte a visão geral de configuração da Replicação do S3 no Guia do desenvolvedor do Amazon S3.

Você primeiro deve habilitar o S3 Replication no nível de bucket. Veja a pergunta anterior sobre como fazer isso. Você então pode iniciar um trabalho do S3 Batch Replication no console do S3 após criar uma nova configuração de replicação, mudar um destino de replicação em uma regra de replicação na página de configuração da replicação ou na página de criação de trabalho do S3 Batch Operations. Como alternativa, você pode iniciar trabalhos do S3 Batch Replication pela AWS CLI ou SDKs. Para saber mais, consulte Replicação do S3 na documentação do Amazon S3.

Com o S3 Replication, você pode estabelecer as regras de replicação para fazer cópias de seus objetos em outra classe de armazenamento, na mesma região ou em uma diferente. Ações do Lifecycle não são replicadas e, se você quiser a mesma configuração de ciclo de vida aplicada aos buckets de origem e destino, deverá habilitar a mesma configuração de ciclo de vida nos dois.  Por exemplo, você pode configurar uma regra de ciclo de vida para migrar dados da classe de armazenamento S3 Standard para a classe S3 Standard – IA ou S3 One Zone – IA ou arquivar dados em uma classe de armazenamento S3 Glacier no bucket de destino. Se você tiver configurado o S3 Lifecycle para o seu bucket de destino, recomendamos desabilitar as regras do Lifecycle enquanto o trabalho do Batch Replication estiver ativo para manter a paridade entre as versões atuais e antigas de objetos nos buckets de origem e de destino.

Encontre mais informações sobre a configuração e a replicação de ciclo de vida na
documentação da Replicação do S3.


Sim. O S3 Replication permite que os clientes repliquem seus dados em vários buckets de destino nas mesmas regiões da AWS ou diferentes. Ao configurar, basta especificar o novo bucket de destino em sua configuração de replicação existente ou criar uma nova configuração de replicação com vários buckets de destino. Para cada novo destino especificado, há a flexibilidade de escolher a classe de armazenamento do bucket de destino, tipo de criptografia, métricas e notificações da replicação, RTC (Replication Time Control ) e outras propriedades.

P: Posso usar o S3 Replication para configurar uma replicação bidirecional entre os buckets do S3?

Sim, para CRR e SRR, você pode configurar a replicação entre contas da AWS para armazenar seus dados replicados em uma conta diferente na região de destino. Você pode usar a sobrescrita de propriedade na configuração de replicação para manter uma pilha de propriedade diferente entre origem e destino, e conceder a propriedade da conta de destino ao armazenamento replicado.

As tags de objeto podem ser replicadas entre regiões da AWS usando a replicação entre regiões. Para clientes que já tiverem habilitado a replicação entre regiões, novas permissões serão necessárias para que as tags sejam replicadas. Para mais informações sobre a configuração da replicação entre regiões, consulte Configurar a replicação entre regiões na documentação do Amazon S3.

Sim, você poderá replicar marcadores de exclusão da origem para o destino se a replicação de marcador de exclusão estiver habilitada na sua configuração de replicação. Quando você replica marcadores de exclusão, o Amazon S3 se comporta como se o objeto fosse excluído em ambos os buckets. Você pode habilitar a replicação de marcadores de exclusão para uma regra de replicação nova ou existente. Você pode aplicar a replicação de marcadores de exclusão ao bucket inteiro ou a objetos do Amazon S3 que tenham um prefixo específico, com regras de replicação basadas em prefixo. O Amazon S3 Replication não aceita a replicação de marcadores de exclusão para regras de replicação baseadas em tag de objeto. Para saber mais sobre como habilitar a replicação de marcadores de exclusão, consulte Replicating delete markers from one bucket to another (Replicar marcadores de exclusão de um bucket para o outro).

Não, a Replicação do Amazon S3 não está disponível entre regiões da AWS da China e regiões da AWS fora da China. Você só pode replicar nas regiões da China.

Sim. Você pode usar o S3 Batch Replication para replicar objetos existentes entre buckets. Para saber mais, acesse o Guia do usuário do S3.

Sim. Você pode usar o S3 Batch Replication para replicar novamente objetos que falham na primeira replicação. Para saber mais, acesse o Guia do usuário do S3.

O S3 Replication oferece suporte a todos os tipos de criptografia oferecidos pelo S3. O S3 oferece criptografia do lado do servidor e do lado do cliente. O primeiro solicita que o S3 criptografe os objetos para você e o último é para você criptografar os dados no lado do cliente antes de carregá-los no S3. Para criptografia no lado do servidor, o S3 oferece criptografia no lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3), criptografia no lado do servidor com chaves KMS armazenadas no AWS Key Management Service (SSE-KMS) e criptografia no lado do servidor com cliente -chaves fornecidas (SSE-C). Para obter mais detalhes sobre esses tipos de criptografia e como eles funcionam, visite a documentação do S3 sobre como usar a criptografia.

Com a Replicação do S3, é possível configurar a replicação entre contas em que os buckets de origem e de destino pertençam a contas da AWS diferentes. Com exceção do armazenamento do S3 e das taxas de recuperação aplicáveis, os clientes pagam por solicitações PUT de replicação e SAÍDA de transferência de dados entre regiões do S3 para a região de destino ao usar o S3 Replication. Se o S3 Replication Time Control (S3 RTC) estiver ativado em suas regras de replicação, você verá cobranças diferentes por SAÍDA de transferência de dados e solicitação PUT de replicação específicas para o S3 RTC. Para replicação entre contas, a conta de origem paga pro toda a transferência de dados (S3 RTC e S3 CRR) e a conta de destino paga por solicitações PUT de replicação. As cobranças de transferência de dados se aplicam somente ao S3 Cross Region Replication (S3 CRR) e ao S3 Replication Time Control (S3 RTC). Não há taxas por transferência de dados para o S3 Same Region Replication (S3 SRR).  Se você estiver usando o Replicação de lotes do S3 para replicar objetos entre contas, ocorrerão cobranças das Operações em Lote do S3, além das solicitações PUT de replicação e cobranças pela SAÍDA da transferência de dados (observe que o S3 RTC não se aplica à replicação de lotes). As cobranças do Batch Operations incluem as cobranças de trabalhos e objetos, que são respectivamente baseadas nos números de trabalhos e de objetos processados. Além disso, se você aceitar o manifesto gerado pelo Amazon S3, haverá uma cobrança de manifesto baseada no número de objetos no bucket de origem.

Acesse a
página de preços do Amazon S3 para obter mais detalhes sobre preços da replicação do S3.

O Controle de Tempo de Replicação do Amazon S3 fornece uma performance de replicação previsível e ajuda a cumprir a conformidade ou os requisitos comerciais. O S3 Replication Time Control foi projetado para replicar a maioria dos objetos em segundos e 99,99% dos objetos em 15 minutos. O Controle de Tempo de Replicação do S3 está amparado por um compromisso de Acordo de Nível de Serviço (SLA) em que 99,9% dos objetos serão replicados em 15 minutos para cada par de regiões de replicação durante qualquer mês de faturamento. O Replication Time funciona com todos os recursos do S3 Replication. Para saber mais, acesse a documentação de replicação.

O Controle de Tempo da Replicação do Amazon S3 é habilitado como uma opção para cada regra de replicação. Você pode criar uma nova política de Replicação do S3 com o Controle de Tempo de Replicação do S3 ou habilitar o recurso em uma política existente. Você pode usar o console do S3, a API, a AWS CLI, AWS SDKs ou o AWS CloudFormation para configurar a replicação. Para saber mais, consulte a visão geral da configuração de replicação no Guia do desenvolvedor do Amazon S3.

Sim, você pode habilitar o Time Control da Replicação do Amazon S3 para replicar dados dentro e entre as regiões AWS China (Ningxia) e China (Pequim).

A Replicação do Amazon S3 fornece quatro métricas detalhadas no console do Amazon S3 e no Amazon CloudWatch: operações pendentes, bytes pendentes, latência de replicação e falha na replicação de operações. Você pode usar essas métricas para monitorar o número total de operações e o tamanho dos objetos que estão pendentes de replicação, a latência de replicação entre os buckets de origem e de destino e o número de operações que não foram replicadas com êxito para cada regra de replicação. Além disso, você pode configurar as Notificações de eventos do Amazon S3 do tipo S3: replicação para obter mais informações sobre objetos que falharam na replicação e o motivo por trás das falhas. Recomendamos usar os motivos de falha de replicação do Amazon S3 para diagnosticar os erros com rapidez e corrigi-los antes de replicar novamente os objetos com falha com a Replicação em Lote do S3. Por fim, caso tenha o Controle de Tempo de Replicação do S3 (S3 RTC) habilitado, você receberá uma notificação de evento do S3 quando um objeto levar mais de 15 minutos para ser replicado e outra notificação quando esse objeto for replicado com êxito no destino.

As métricas e os eventos de Replicação do Amazon S3 podem ser habilitados para cada regra de replicação nova ou existente, e eles são habilitados por padrão para as regras habilitadas do Controle de Tempo de Replicação do S3. Você pode acessar as métricas de Replicação do S3 por meio do console do Amazon S3 e do Amazon CloudWatch. Como outros eventos do Amazon S3, os eventos de Replicação do S3 estão disponíveis no Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS) ou AWS Lambda. Para saber mais, acesse Monitorar o progresso com métricas de replicação e Notificações de eventos do Amazon S3 no guia do desenvolvedor do Amazon S3.

Você não pode usar métricas como bytes pendentes, operações pendentes e latência de replicação para acompanhar o progresso da Replicação em Lote do S3. No entanto, você pode usar a métrica de falha na replicação de operações para monitorar objetos existentes que não são replicados com êxito com a Replicação em Lote do S3. Além disso, você também pode usar os relatórios de conclusão das Operações em Lote do S3 para acompanhar a replicação de objetos com a Replicação em Lote do S3.

O Controle de Tempo de Replicação do Amazon S3 é projetado para replicar 99,99% de seus objetos em 15 minutos e é apoiado por um acordo de nível de serviço. Se menos de 99,9% dos seus objetos forem replicados em 15 minutos para cada par de regiões de replicação durante um ciclo de cobrança mensal, o SLA do S3 RTC fornecerá um crédito de serviço para qualquer objeto que demore mais de 15 minutos para se replicar. O crédito de serviço cobre uma porcentagem de todas as cobranças relacionadas à replicação associadas aos objetos que não atenderam ao SLA, incluindo a taxa de RTC, a largura de banda de replicação, as cobranças de solicitação e o custo associado ao armazenamento de sua réplica na região de destino no ciclo de faturamento mensal afetado. Para saber mais, leia o SLA do Controle de Tempo de Replicação do S3.

Para o S3 Replication (Replicação entre regiões (CRR) e Replicação na mesma região (SRR)), você paga as cobranças de armazenamento do S3 nas classes de armazenamento do S3 de destino selecionadas, as cobranças de armazenamento da cópia primária, as solicitações PUT de replicação e as taxas de recuperação de armazenamento de acesso infrequente. Para a CRR, você também paga pela exportação de dados entre regiões, saindo do S3 para sua região de destino. As S3 Replication Metrics são cobradas usando a mesma taxa das métricas personalizadas do Amazon CloudWatch. Além disso, ao usar o Controle de tempo da replicação do S3, você também pagará uma cobrança pela transferência de dados do Controle de tempo da replicação. Para obter mais informações, acesse a página de preços do Amazon S3. Se o objeto de origem for carregado usando o recurso de upload de várias partes, ele será replicado usando o mesmo número de partes e o mesmo tamanho das partes. Por exemplo, um objeto de 100 GB carregado usando o recurso de multipart upload (800 partes de 128 MB cada) terá um custo associado a 802 solicitações (800 solicitações de partes de upload + 1 solicitação inicial de multipart upload + 1 solicitação completa de multipart upload) quando ele for replicado. Será cobrada uma taxa de solicitação de 0,00401 USD (802 solicitações x 0,005 USD por cada 1.000 solicitações) e (se a replicação se der entre diferentes regiões da AWS) uma taxa de 2 USD (0,020 USD por cada GB transferido x 100 GB) para a transferência de dados entre regiões. Após a replicação, os 100 GB terão um custo de armazenamento com base na região de destino.

Os Pontos de acesso multirregionais do Amazon S3 aceleram a performance em até 60% ao acessar conjuntos de dados que são replicados em várias regiões da AWS. Com base no AWS Global Accelerator, os Pontos de acesso multirregionais do S3 consideram fatores como congestionamento da rede e a localização da aplicação solicitante para rotear dinamicamente as solicitações pela rede AWS para a cópia de menor latência de seus dados. O roteamento automático permite aproveitar a infraestrutura global da AWS enquanto mantém uma arquitetura de aplicação simples.

Os Pontos de acesso multirregionais do S3 aceleram e simplificam o armazenamento para aplicações de várias regiões. Ao rotear dinamicamente as solicitações do S3 feitas para um conjunto de dados replicado, os Pontos de acesso multirregionais do S3 reduzem a latência da solicitação, para que as aplicações sejam executadas até 60% mais rápido. Os Pontos de acesso multirregionais do S3 também podem ajudar você a criar aplicações resilientes, multirregionais e com várias contas, mais protegidas contra a exclusão acidental ou não autorizada de dados. Com os Pontos de acesso multirregionais do S3, é possível aproveitar a infraestrutura global da AWS enquanto mantém uma arquitetura de aplicação simples independente da região para suas aplicações.

Os pontos de acesso multirregionais roteiam solicitações de clientes dinamicamente para um ou mais buckets do S3 subjacentes. É possível configurar seu ponto de acesso de várias regiões para rotear em um bucket por região da AWS, em até 17 regiões da AWS. Quando você cria um ponto de acesso de várias regiões, o S3 gera automaticamente um nome compatível com DNS. Este nome é usado como um endpoint global que pode ser usado por seus clientes. Quando seus clientes fizerem solicitações a esse endpoint, o S3 roteará dinamicamente essas solicitações para um dos buckets subjacentes especificados na configuração do seu Ponto de acesso multirregional. As solicitações baseadas em Internet são integradas à rede global da AWS para evitar segmentos de rede congestionados na Internet, o que reduz a latência e o jitter da rede, melhorando a performance. Com base no AWS Global Accelerator, as aplicações que acessam o S3 pela Internet podem perceber melhoria de até 60% na performance em função dos Pontos de acesso multirregionais do S3. Para controlar esse roteamento diretamente, é possível operar os Pontos de acesso multirregionais do S3 em uma configuração ativa-ativa ou ativa-passiva. Em uma configuração ativa-passiva, é possível usar os controles de failover dos Pontos de acesso multirregionais do S3 para iniciar um failover para mudar o tráfego de solicitações de acesso a dados do S3 para a região e conta da AWS alternativas escolhidas em questão de minutos.
Em uma configuração ativa-ativa, os Pontos de acesso multirregionais do S3 consideram fatores como congestionamento da rede e a localização da aplicação solicitante para rotear dinamicamente as solicitações pela rede AWS para a cópia mais próxima de seus dados. Os Pontos de acesso multirregionais do S3 roteiam suas solicitações por meio do local da AWS mais próximo do seu cliente, e em seguida pela rede privada global da AWS para o S3. Em qualquer uma das configurações, os Pontos de acesso multirregionais do S3 permitem aproveitar a infraestrutura global da AWS e manter uma arquitetura simples de aplicações.


O S3 CRR e os Pontos de acesso multirregionais do S3 são recursos complementares que funcionam juntos para replicar dados nas regiões da AWS e, em seguida, rotear automaticamente as solicitações para a cópia replicada com a latência mais baixa. Os Pontos de acesso multirregionais do S3 ajudam a gerenciar solicitações entre regiões da AWS, enquanto o CRR permite que você mova dados entre regiões da AWS para criar réplicas isoladas. Você usa os Pontos de acesso multirregionais do S3 e a CRR juntos para criar um conjunto de dados multirregional replicado que é endereçável por um único endpoint global.


Quando você usa o S3 Multi-Region Access Points para encaminhar requisições dentro da AWS, você paga uma pequena taxa de roteamento para cada GB processado, bem como taxas-padrão de requisição, armazenamento, transferência de dados e replicação do S3. Se sua aplicação roda fora da AWS e acessa o S3 pela Internet, o S3 Multi-Region Access Points aumenta a performance encaminhando automaticamente suas requisições por um local da borda da AWS, pela rede AWS privada global, para a cópia de seus dados mais próxima com base na latência de acesso. Ao acelerar as requisições feitas pela Internet, você paga a taxa de roteamento de dados e uma taxa de aceleração da Internet. A definição de preço da aceleração de Internet dos Pontos de acesso multirregionais do S3 varia dependendo se o cliente de origem está ou não na mesma localização da região AWS de destino, além da definição de preço da transferência de dados padrão do S3. Para usar os controles de failover dos Pontos de acesso multirregionais do S3, você será cobrado apenas pelos custos padrão da API do S3 para visualizar o status atual do controle de roteamento de cada região e enviar quaisquer alterações de controle de roteamento para iniciar um failover. Consulte a página de preços do S3 e a guia de transferência de dados para obter mais informações sobre preços.



Sim, você pode configurar os buckets subjacentes do Ponto de acesso multirregional do S3 para serem buckets do Pagamento pelo solicitante. Com o Pagamento pelo solicitante, o solicitante paga todo o custo associado ao uso do endpoint, incluindo o custo das solicitações e o custo da transferência de dados associados ao bucket e ao Ponto de acesso multirregional. Normalmente, você deseja configurar seus buckets como intervalos do Pagamento pelo solicitante se quiser compartilhar dados, mas não incorrer em cobranças associadas ao acesso de outras pessoas aos dados. Em geral, os proprietários de bucket pagam por todo o armazenamento do Amazon S3 associado ao bucket. Para saber mais, acesse Pagamento pelo solicitante do S3.

Os Pontos de acesso multirregionais do S3 e o S3 Transfer Acceleration fornecem benefícios similares de performance. Você pode usar o S3 Transfer Acceleration para acelerar transferências de conteúdo de e para o Amazon S3 usando a rede global. O S3 Transfer Accelerator pode ajudar a acelerar transferências de longa distância de objetos maiores de e para um único bucket do Amazon S3. Com os Pontos de acesso multirregionais do S3, você pode realizar transferências aceleradas semelhantes usando a rede global da AWS, mas em vários buckets do S3 em várias regiões da AWS para solicitações baseadas na Internet, baseadas em VPC e on-premises de e para o S3. Ao combinar Pontos de acesso multirregionais do S3 com a Replicação do S3 Entre Regiões Diferentes, você fornece a capacidade para os Pontos de acesso multirregionais do S3 rotearem dinamicamente suas solicitações para a cópia de latência mais baixa de seus dados para aplicações de clientes em vários locais.


O console do S3 fornece um fluxo de trabalho guiado simples para configurar rapidamente tudo o que você precisa para executar o armazenamento multirregional no S3 em apenas três etapas simples. Primeiro, crie um endpoint de Ponto de acesso multirregional do Amazon S3 e especifique as regiões da AWS que você deseja replicar e fazer failover entre elas. Você pode adicionar buckets em várias contas da AWS para um novo Ponto de acesso multirregional do S3 inserindo os IDs de conta proprietários dos buckets no momento da criação. Em segundo lugar, para cada região da AWS e bucket S3 por trás do endpoint do Ponto de acesso multirregional do S3, especifique se o status de roteamento é ativo ou passivo, em que as regiões ativas da AWS aceitam o tráfego de solicitação de dados do S3 e as regiões passivas não são roteadas até que você inicie um failover. Em terceiro lugar, configure suas regras de Replicação do S3 Entre Regiões Diferentes para sincronizar seus dados no S3 entre as regiões e/ou outras contas. Você pode então iniciar um failover a qualquer momento entre as regiões da AWS em questão de minutos para mudar suas solicitações de dados do S3 e monitorar a mudança de seu tráfego do S3 para sua nova região ativa da AWS no Amazon CloudWatch. Como alternativa, você pode usar o AWS CloudFormation para automatizar sua configuração de armazenamento multirregional. Todos os blocos de construção necessários para configurar o armazenamento multirregional no S3, incluindo os Pontos de acesso multirregionais do S3, são compatíveis com o CloudFormation, permitindo que você automatize um processo de configuração repetível fora do console do S3.

Processamento de dados

Abrir tudo

O S3 Object Lambda permite que você adicione seu próprio código a solicitações GET, LIST e HEAD do S3 para modificar e processar dados conforme eles são retornados a uma aplicação. Você pode usar o código personalizado para modificar os dados retornados por solicitações GET do S3 para filtrar linhas, redimensionar imagens dinamicamente, editar dados confidenciais e muito mais. Agora, você também pode usar o S3 Object Lambda para modificar a saída de solicitações LIST do S3 para criar uma visualização personalizada dos objetos em um bucket e solicitações HEAD do S3 para modificar metadados de objetos, como o nome e o tamanho do objeto. O S3 Object Lambda ajuda você a atender facilmente aos requisitos de formato de dados exclusivos de qualquer aplicação, sem ter que criar e operar infraestrutura adicional, como uma camada de proxy, ou ter que criar e manter várias cópias derivadas de seus dados. O S3 Object Lambda usa funções do AWS Lambda para processar automaticamente a saída de uma solicitação GET, LIST ou HEAD do S3 padrão. O AWS Lambda é um serviço de computação sem servidor que executa um código definido pelo cliente, sem exigir o gerenciamento de recursos de computação subjacentes.  Com apenas alguns cliques no Console de Gerenciamento da AWS, você pode configurar uma função do Lambda e anexá-la a um Ponto de acesso de serviço do S3 Object Lambda. Desse ponto em diante, o S3 chamará automaticamente sua função do Lambda para processar quaisquer dados recuperados por meio do endpoint do S3 Object Lambda, retornando à aplicação um resultado transformado. Você pode criar e executar suas próprias funções do Lambda personalizadas, adaptando a transformação de dados do S3 Object Lambda ao seu caso de uso específico. Para começar a usar o S3 Object Lambda, você pode usar o Console de Gerenciamento do S3, o SDK ou a API. Saiba mais na página do S3 Object Lambda ou no guia do usuário do S3 Object Lambda.

Você deve usar o S3 Object Lambda se deseja processar dados em linha com uma solicitação GET, LIST ou HEAD do S3. Você pode usar o S3 Object Lambda para compartilhar uma única cópia dos seus dados em várias aplicações, evitando a necessidade de criar e operar uma infraestrutura de processamento personalizada ou de armazenar cópias derivadas dos seus dados. Por exemplo, ao usar o S3 Object Lambda para processar solicitações GET do S3, você pode mascarar dados confidenciais para fins de conformidade, reestruturar dados brutos com a finalidade de torná-los compatíveis com aplicações de machine learning, filtrar dados para restringir o acesso a conteúdo específico dentro de um objeto do S3 ou lidar como um ampla variedade de casos de uso adicionais. Você pode usar o S3 Object Lambda para enriquecer listas de objetos, consultando um índice externo que contém metadados adicionais de objetos; filtrar e mascarar listas de objetos para incluir apenas objetos com uma tag de objeto específica; ou adicionar uma extensão de arquivo a todos os nomes de objetos nas listas de objetos. Por exemplo, se você tiver um bucket do S3 com vários conjuntos de dados discretos, poderá usar o S3 Object Lambda para filtrar uma resposta de S3 LIST de acordo com o solicitante.  O S3 Object Lambda pode ser configurado com apenas alguns cliques no Console de Gerenciamento do Amazon S3. Leia o guia do usuário para saber mais.

O S3 Object Lambda usa as funções do Lambda que você especifica para processar a saída de solicitações GET, LIST e HEAD. Depois de definir uma função do Lambda para processar os dados solicitados, você pode anexar essa função a um ponto de acesso do S3 Object Lambda. As solicitações GET, LIST e HEAD do S3 padrão feitas por meio de um ponto de acesso do S3 Object Lambda agora invocarão a função Lambda especificada. Em seguida, o Lambda buscará o objeto do S3 solicitado pelo cliente e processará esse objeto. Concluído o processamento, o Lambda fará streaming do objeto processado de volta ao cliente autor da chamada. Leia o guia do usuário do S3 Object Lambda para saber mais.

O S3 Object Lambda pode ser configurado de diversas maneiras. Configure o S3 Object Lambda no console do S3 navegando até a guia Object Lambda Access Point (Ponto de acesso do Object Lambda). Em seguida, crie um ponto de acesso do S3 Object Lambda, a função do Lambda que você deseja que o S3 execute nas solicitações GET, LIST e HEAD e um ponto de acesso do S3 de suporte. Conceda permissões a todos os recursos para interagir com o Object Lambda. Por último, atualize seu SDK e aplicação para usar o novo Ponto de acesso do S3 Object Lambda, para recuperar os dados do S3 usando o SDK de linguagem de sua escolha. Você pode usar um alias do Ponto de acesso do S3 Object Lambda ao fazer solicitações. Os aliases do Ponto de acesso do S3 Object Lambda são gerados automaticamente e são intercambiáveis com nomes de bucket do S3 para dados acessados por meio do S3 Object Lambda. Para os Pontos de acesso do S3 Object Lambda existentes, os aliases são atribuídos automaticamente e prontos para uso. Existem exemplos de implantações da função do Lambda, na documentação da AWS para ajudar você a começar. Você também pode usar o AWS CloudFormation para automatizar a configuração do S3 Object Lambda. Quando você usar o modelo do AWS CloudFormation, a função do Lambda implementada na sua conta transmitirá objetos do S3 de volta para o cliente ou aplicação solicitante sem qualquer alteração. Adicione um código personalizado para modificar e processar dados à medida que eles são retornados a uma aplicação. Para saber mais, acesse o Guia do usuário do S3 Object Lambda. 

Qualquer operação com suporte em uma função do Lambda é compatível com o S3 Object Lambda. Isso oferece uma ampla variedade de opções disponíveis para processar suas solicitações. Você fornece sua própria função do Lambda para executar cálculos personalizados em solicitações GET, LIST e HEAD, obtendo a flexibilidade de processar dados de acordo com as necessidades da sua aplicação. O tempo de processamento do Lambda é limitado a no máximo 60 segundos. Para obter mais detalhes, consulte a documentação do S3 Object Lambda.

O S3 Object Lambda oferece suporte a solicitações GET, LIST e HEAD. Qualquer outra chamada de API do S3 feita a um ponto de acesso do S3 Object Lambda retornará a resposta da API padrão do S3. Saiba mais sobre o S3 Object Lambda no guia do usuário.

Quando uma função do S3 Object Lambda falhar, você receberá uma resposta da solicitação com detalhes sobre a falha. Como outras invocações de funções do Lambda, a AWS também monitora automaticamente funções em seu nome, relatando métricas por meio do Amazon CloudWatch. Para ajudar você a solucionar falhas, o Lambda registra todas as solicitações processadas pela sua função e armazena automaticamente os logs gerados pelo seu código com o Amazon CloudWatch Logs. Para obter mais informações sobre como acessar logs do CloudWatch para o AWS Lambda, acesse a documentação do CloudWatch.

O S3 Object Lambda conecta o Amazon S3, o AWS Lambda e, opcionalmente, outros serviços da AWS de sua escolha para fornecer objetos relevantes às aplicações solicitantes. Todos os serviços da AWS usados em conexão com o S3 Object Lambda continuarão a ser regidos por seus respectivos Acordos de Nível de Serviço (SLAs). Por exemplo, no caso de qualquer Serviço da AWS não atender seu Compromisso de serviço, você estará qualificado para receber um Crédito de serviço, conforme documentado no SLA desse serviço. A criação de um ponto de acesso do S3 Object Lambda não afeta a durabilidade dos seus objetos. No entanto, o S3 Object Lambda invoca sua função do AWS Lambda especificada, e você deve garantir que esta seja intencional e correta. Consulte o mais novo SLA do Amazon S3 aqui.

Ao usar o S3 Object Lambda, você paga uma taxa por gigabyte para cada gigabyte de dados retornado por meio do S3 Object Lambda. Você também é cobrado por solicitações com base no tipo de solicitação (GET, LIST e HEAD) e nas cobranças de computação do AWS Lambda pelo tempo em que sua função especificada está sendo executada para processar os dados solicitados. Para ver os detalhes de preços e um exemplo, acesse a página de preços do S3.

Acesso aos dados

Abrir tudo

O Mountpoint para Amazon S3 é um cliente de arquivos de código aberto que pode ser usado para montar um bucket do S3 em sua instância de computação e acessá-lo como um sistema de arquivos local. O Mountpoint para Amazon S3 traduz as operações do sistema de arquivos local para chamadas de API REST em objetos armazenados no Amazon S3. Com o Mountpoint para Amazon S3, você pode obter um alto throughput de instância única para concluir trabalhos com mais rapidez. O Mountpoint para Amazon S3 conta com o AWS Support. Clientes com acesso ao AWS Enterprise Support têm suporte técnico 24 horas, todos os dias, dos engenheiros de suporte da Amazon e orientações de arquitetura fornecidas no contexto de seus casos de uso. O Mountpoint para Amazon S3 funciona com o sistema operacional Linux e com os serviços de computação da AWS, como o Amazon Elastic Compute Cloud (EC2). Saiba mais na página do Mountpoint para Amazon S3 ou no guia do usuário.

O Mountpoint para Amazon S3 é ideal para workloads de data lake com uso intensivo de leitura que processam petabytes de dados usando operações de leitura aleatória e sequencial nos arquivos em uso e operações de gravação sequencial para criar novos arquivos. Essas workloads são gravadas de um único nó e não modificam os dados presentes no Amazon S3. Casos de uso comuns incluem simulação de veículos autônomos em escala de petabytes, treinamento em machine learning, análise genômica e renderização de imagens. Essas workloads rapidamente aumentam e reduzem a escala verticalmente e contam com a elasticidade do Amazon S3 para minimizar a capacidade subutilizada e evitar o custo de provisionamento excessivo do throughput. É possível economizar nos custos de computação com o Mountpoint para Amazon S3 utilizando com eficiência o uso da largura de banda da rede de suas instâncias de computação e escalar de forma confiável para milhares de instâncias de computação para workloads de data lake em escala de petabytes.

O Mountpoint para Amazon S3 oferece suporte a operações básicas de sistemas de arquivos, como ler arquivos de até 5 TB, gravar novos arquivos, listar arquivos atuais e criar e listar diretórios. O Mountpoint para Amazon S3 não é compatível com a modificação de arquivos atuais ou a exclusão de diretórios. Com essas operações, o Mountpoint para Amazon S3 é ideal para aplicações que leem e gravam dados com alto throughput nos data lakes do Amazon S3. Não é adequado para aplicações que precisam de colaboração e coordenação entre várias instâncias de computação ou usuários. Essas aplicações geralmente precisam de atributos compartilhados do sistema de arquivos, como anexação a arquivos atuais e bloqueio de arquivos. Você pode usar o Amazon FSx para Lustre para aplicações de data lake que precisam de semântica POSIX e atributos de sistema de arquivos compartilhados.

Você pode começar a usar o Mountpoint para Amazon S3 montando um bucket do S3 em um diretório local em sua instância de computação usando as instruções fornecidas na documentação. Depois de montar o bucket do S3 em um diretório local, suas aplicações poderão acessar objetos do S3 como arquivos disponíveis localmente nas respectivas instâncias de computação. O Mountpoint para Amazon S3 oferece suporte a operações de leitura sequencial e aleatória em objetos existentes do Amazon S3 e a gravações sequenciais para novos objetos. Leia a documentação semântica do Mountpoint para Amazon S3 para obter mais detalhes sobre as operações compatíveis do sistema de arquivos. Use o Mountpoint para Amazon S3 para acessar objetos em todas as classes de armazenamento do S3, exceto objetos do S3 Glacier Flexible Retrieval, do S3 Glacier Deep Archive e objetos nos níveis Archive Access e Deep Archive Access do S3 Intelligent-Tiering.

Não há cobrança adicional pelo uso do Mountpoint para Amazon S3. Você pagará por solicitações de API do S3, como solicitações GET, PUT e LIST, feitas pelo Mountpoint para Amazon S3 ao executar operações do sistema de arquivos, como operações de leitura, gravação de arquivos e listagem de diretórios. Para obter preços de solicitação do S3, acesse a página de preços.

O Mountpoint para Amazon S3 oferece a mesma performance dos AWS SDKs. Isso significa que as aplicações de data lake alcançam altas taxas de transferência de instância única, utilizando com eficiência a largura de banda da rede disponível na instância do Amazon EC2. Para ter um throughput ainda maior, essas aplicações podem agregar o throughput em várias instâncias para obter vários TB/s.

Ao usar o Mountpoint para Amazon S3, você pode controlar o acesso a seus dados usando os mecanismos de controle de acesso existentes do Amazon S3, como políticas de bucket e políticas do AWS Identity and Access Management (IAM). O Mountpoint para Amazon S3 traduz operações do sistema de arquivos, como leitura e gravação, em solicitações de API de objetos feitas no bucket do S3. Depois disso, o Amazon S3 avalia todas as políticas relevantes, como as do usuário e do bucket, para decidir se autorizará a solicitação. O Mountpoint para Amazon S3 não introduz novos mecanismos de controle de acesso.

O Mountpoint para Amazon S3 é compatível com leitura ou gravação de metadados no estilo POSIX, como ID de usuário, ID de grupo e campos de permissão. Você pode usar o Amazon FSx para Lustre com o Amazon S3 ou o AWS DataSync para armazenar metadados no estilo POSIX em objetos do S3.

Sim, o Mountpoint para Amazon S3 é compatível com acesso por meio de endpoints da VPC de gateway. Recomendamos usar endpoints da VPC de interface baseados no AWS PrivateLink para acessar o S3 de ambientes on-premises ou de uma VPC em outra região da AWS. Para recursos que acessam o S3 de uma VPC na mesma região da AWS que o bucket do S3, recomendamos usar endpoints da VPC de gateway, já que eles não são cobrados.

Sim, você pode acessar o Amazon S3 a partir do Amazon EKS usando o SDK da AWS e a AWS CLI. Para aplicações que usam uma interface de sistema de arquivos para ler e gravar dados, você pode usar o driver Mountpoint para Amazon S3 Container Storage Interface (CSI). Com o driver CSI Mountpoint para Amazon S3, você pode alcançar altos níveis de throughput agregada (até terabits por segundo) sem alterar uma única linha de código da aplicação ou seu modelo de permissão. Assim como o Mountpoint para Amazon S3, o driver CSI do S3 oferece suporte a operações de leitura sequencial e aleatória em arquivos existentes e operações de gravação sequencial para criar novos arquivos. Para obter detalhes sobre as operações do sistema de arquivos com suporte, leia Comportamento do sistema de arquivos Mountpoint para Amazon S3. Você pode instalar, configurar e atualizar o driver CSI Mountpoint para Amazon S3 com apenas alguns cliques no console do EKS, na AWS CLI, na API do EKS ou no AWS CloudFormation. Para saber mais, visite a página do GitHub do driver CSI Mountpoint para Amazon S3.

O Navegador de Armazenamento para Amazon S3 é um componente de código aberto que você pode adicionar às aplicações Web para oferecer aos usuários finais, como clientes, parceiros e funcionários, uma interface simples para dados armazenados no S3. Com o Navegador de Armazenamento para S3, você pode fornecer aos usuários finais autorizados acesso para navegar, baixar, fazer upload, copiar e excluir dados no S3 diretamente de suas próprias aplicações.

Você deve usar o Storage Browser se quiser adicionar uma interface de usuário simples criada para navegar, baixar e fazer upload de dados do S3 em aplicações sem precisar escrever seu próprio código para oferecer suporte a essa experiência do usuário. O Storage Browser faz chamadas de API para o S3 em seu nome, e você pode personalizar a interface para combinar com o design e a marca da aplicação existente. 

Você pode adicionar o Storage Browser à sua aplicação em apenas três etapas. Primeiro, adicione uma referência na aplicação Web para chamar o Storage Browser quando uma página específica for carregada. Para isso, importe o pacote NPM do Storage Browser e adicione um código à aplicação conforme definido no Guia do usuário do S3. Depois, configure a autorização configurando o Storage Browser para funcionar com o Centro de Identidade do IAM, o Amazon Cognito ou seu próprio serviço de autorização personalizado. Em seguida, configure as regras de compartilhamento de recursos entre origens e as políticas de segurança de conteúdo nos buckets que você deseja apresentar aos usuários no Storage Browser, conforme definido no Guia do usuário do S3. Agora, os usuários finais autenticados que visitarem a página na aplicação que você escolheu para inicializar o Storage Browser poderão trabalhar com dados no S3 aos quais têm acesso.

Para usar a autorização gerenciada pela AWS, primeiro você precisa configurar um Centro de Identidade do IAM e configurar as concessões de permissão para seus usuários e grupos na Concessão de Acesso do S3, conforme definido no Guia do usuário do S3, para configurar o Storage Browser. Em seguida, você conecta sua aplicação ao Centro de Identidade e configura a aplicação para trocar um token de identidade do seu provedor de identidade externo por um do Centro de Identidade. Por fim, você configura sua aplicação para fornecer o token do Centro de Identidade ao Storage Browser quando um usuário abre a página na aplicação para acessar seus dados no S3. Como alternativa ao Centro de Identidade, você pode usar o Amazon Cognito para fornecer credenciais de acesso ao Storage Browser quando um usuário final abre a página que você escolheu para apresentar uma interface aos seus dados do S3. Para usar o Cognito, você configura um repositório de identidades no Cognito, associa-o a um recurso de autenticação no Amplify, implementa o recurso no Amplify e, em seguida, conecta o código da aplicação ao seu recurso de autenticação, conforme definido na documentação do AWS Amplify. Depois de adicionar o Storage Browser à aplicação, ele autorizará os usuários finais a terem acesso aos dados em seu nome com base no método de autorização escolhido.

Para aplicar uma autorização personalizada, você configura sua aplicação para fornecer ao Storage Browser tokens do STS autorizando o usuário a trabalhar com conjuntos de dados do S3 aos quais eles têm permissão de acesso. Na política de sessão para cada token do STS, você deve incluir os níveis de acesso do usuário final para cada conjunto de dados do S3 que ele está autorizado a acessar.

Você pode registrar qualquer acesso aos dados feito por meio do Storage Browser usando os logs do AWS CloudTrail. Você pode habilitar esses logs para buckets usados pelo Storage Browser com apenas alguns cliques no Console de Gerenciamento da AWS. Quando você usa a Concessão de Acesso do S3, o S3 registra as identidades dos usuários finais que acessam seus dados nos logs do CloudTrail.

Com o Navegador de Armazenamento, os usuários finais podem pesquisar buckets e prefixos, classificar por metadados de objetos e pesquisar prefixos e objetos por nome. Os usuários finais também podem fazer upload, baixar, copiar e excluir objetos no S3. Acesse o roteiro do Navegador de Armazenamento para ver a lista de recursos que estamos avaliando.

Não. O Storage Browser não oferece suporte à renomeação de prefixos ou objetos.

Sim. Você pode adicionar um logotipo específico e personalizar as cores primárias, o espaçamento, o alinhamento, o idioma e outros aspectos da interface do Storage Browser para combinar com o design e a marca da sua aplicação. Acesse o Guia do usuário do AWS Amplify para ver a lista completa de elementos que você pode personalizar.