Pular para o conteúdo principal

Amazon S3

Atributos do Amazon S3

Tópicos da página

Gerenciamento e monitoramento do armazenamento

Abrir tudo

A estrutura não hierárquica simples do Amazon S3 e vários atributos de gerenciamento estão ajudando clientes de todos os portes e indústrias a organizar os dados de maneiras valiosas para suas empresas e equipes. Todos os objetos são armazenados em buckets do S3 e podem ser organizados com nomes compartilhados chamados prefixos. Você também pode anexar até dez pares de chave-valor chamados de etiquetas de objetos do S3 a cada objeto, que podem ser criados, atualizados e excluídos durante o ciclo de vida de um objeto. Para acompanhar os objetos e os respectivos buckets, tags e prefixos, você pode usar um relatório do S3 Inventory que lista os objetos armazenados em um bucket do S3 ou com um prefixo específico e os respectivos metadados e status de criptografia. O S3 Inventory pode ser configurado para gerar relatórios diária ou semanalmente.

Com os nomes de buckets do S3, os prefixos, as etiquetas de objetos, o S3 Metadata e o S3 Inventory, você tem várias maneiras de categorizar e gerar relatórios sobre seus dados, podendo, posteriormente, configurar outros atributos do S3 para tomar decisões. Seja para armazenar milhares de objetos ou um bilhão deles, o recurso Operações em Lote do Amazon S3 simplifica o gerenciamento de seus dados no Amazon S3 em qualquer escala. Com o Operações em Lote do S3, você pode copiar objetos entre buckets, substituir conjuntos de etiquetas de objetos, modificar controles de acesso e restaurar objetos arquivados das classes de armazenamento Amazon S3 Glacier Flexible Retrieval e Amazon S3 Glacier Deep Archive com uma única solicitação à API do S3 ou com alguns cliques no console do S3. Também é possível usar as operações em lotes do S3 para executar funções do AWS Lambda nos objetos para executar lógica de negócios personalizada, como processamento de dados ou transcodificação de arquivos de imagem. Para começar, selecione um bucket de origem e filtros ou especifique uma lista de objetos de destino usando um relatório de inventário do S3 ou fornecendo uma lista personalizada e, em seguida, selecione a operação desejada em um menu pré-preenchido. Quando uma solicitação do S3 Batch Operations é feita, você recebe uma notificação e um relatório de conclusão de todas as alterações feitas. Assista aos tutoriais em vídeo para saber mais sobre o S3 Batch Operations.

O recurso Amazon S3 Metadata disponibiliza metadados de objetos consultáveis praticamente em tempo real para auxiliar na organização dos seus dados e acelerar a descoberta de dados. Isso ajuda você a organizar, identificar e usar os dados do S3 para analytics de negócios, aplicações de inferência em tempo real e muitas outras finalidades. O S3 Metadata foi projetado para criar e gerenciar metadados para todos os objetos, novos e existentes, em seus buckets do S3. Ele inclui detalhes definidos pelo sistema, como tamanho e origem do objeto, além de metadados personalizados, que permitem o uso de etiquetas para fazer anotações nos objetos com informações como SKU do produto, ID da transação ou classificação de conteúdo. O S3 Metadata armazena essas informações em duas tabelas do Apache Iceberg: tabelas de inventário ativas que fornecem uma visão passível de consulta de todo o seu bucket e tabelas de diário que rastreiam as mudanças em seu bucket. 

O Amazon S3 também oferece suporte a atributos que ajudam a manter o controle da versão dos dados, evitar exclusões acidentais e replicar dados para a mesma região ou para outras regiões da AWS. Com o versionamento do S3, é possível preservar, acessar e restaurar com todas as versões de um objeto armazenado no Amazon S3, o que permite a recuperação de ações não intencionais de usuários e de falhas da aplicação. Para evitar exclusões acidentais, habilite a Exclusão da autenticação multifator (MFA) em um bucket do S3. Se você tentar excluir um objeto armazenado em um bucket habilitado para exclusão da MFA, serão necessárias duas formas de autenticação: as credenciais da conta da AWS e a concatenação de um número de série válido, um espaço e o código de seis dígitos exibido em um dispositivo de autenticação aprovado, como um hardware key fob ou uma chave de segurança Universal 2nd Factor (U2F).

Com a Replicação do Amazon S3, você pode replicar objetos (e os respectivos metadados e etiquetas do objeto) para um ou mais buckets de destino na mesma região da AWS ou em outra diferente para obter latência reduzida, conformidade, segurança, recuperação de desastres e outros casos de uso. Você pode configurar o S3 Cross-Region Replication (CRR) para replicar objetos de um bucket do S3 de origem para um ou mais buckets de destino em uma região diferente. O S3 Same-Region Replication (SRR) replica objetos entre buckets na mesma região da AWS. Enquanto a replicação em tempo real, como CRR e SRR, replica automaticamente os objetos recém-carregados à medida que são gravados em seu bucket, o S3 Batch Replication permite replicar objetos existentes. Você pode usar o S3 Batch Replication para preencher um bucket recém-criado com objetos existentes, repetir objetos que antes não conseguiam replicar, migrar dados entre contas ou adicionar novos buckets ao data lake. O Controle de Tempo de Replicação do Amazon S3 (S3 RTC) ajuda a cumprir os requisitos de compatibilidade para a replicação de dados oferecendo um SLA e uma visibilidade dos tempos de replicação.

Para acessar conjuntos de dados replicados em buckets do S3 em todas as contas e regiões, use os Pontos de acesso multirregionais do Amazon S3 para criar um único endpoint global para suas aplicações e clientes usarem, independentemente da sua localização. Esse endpoint global permite criar aplicações multirregionais com a mesma arquitetura simples que você usaria em uma única região e, em seguida, executar essas aplicações em qualquer lugar do mundo. Os pontos de acesso de várias regiões do Amazon S3 podem acelerar a performance em até 60% ao acessar conjuntos de dados replicados em várias contas e regiões da AWS. Com base no AWS Global Accelerator, os Pontos de acesso multirregionais do S3 consideram fatores como congestionamento da rede e a localização da aplicação solicitante para rotear dinamicamente as solicitações pela rede AWS para a cópia de menor latência de seus dados. Usando Controles de failover de pontos de acesso multirregionais do S3, é possível fazer failover entre conjuntos de dados replicados nas regiões, permitindo que você mude seu tráfego de solicitação de dados do S3 para uma região alternativa da AWS em minutos.

Também é possível impor políticas de gravação única e várias leituras (WORM) com o Bloqueio de objetos do Amazon S3. Esse atributo de gerenciamento do S3 bloqueia a exclusão de versão de objetos durante um período de retenção definido pelo usuário para que você possa aplicar políticas de retenção como uma camada adicional de proteção de dados ou para atender a obrigações de conformidade. Você pode migrar workloads de sistemas WORM existentes para o Amazon S3 e configurar o Bloqueio de objetos do S3 nos níveis do objeto e do bucket para impedir exclusões de versões de objetos antes das datas de retenção ou datas de retenção legal predefinidas. Os objetos com Bloqueio de objetos do S3 retêm a proteção WORM, mesmo se forem movidos para diferentes classes de armazenamento com uma política de ciclo de vida do Amazon S3. Para rastrear os objetos que têm o Bloqueio de objetos do S3, consulte um relatório do S3 Inventory que inclua o status de WORM dos objetos. O Bloqueio de objetos do S3 pode ser configurado de duas formas. Quando implantadas no modo Governança, as contas da AWS com permissões do IAM específicas são capazes de remover o Bloqueio de objetos do S3 dos objetos. Se você precisar de uma imutabilidade mais forte para conformidade com regulamentos, é possível usar o modo de conformidade. No modo de conformidade, a proteção não pode ser removida por nenhum usuário, incluindo a conta raiz.

Além desses recursos de gerenciamento, use os atributos do Amazon S3 e outros serviços da AWS para monitorar e controlar seus recursos do S3. Aplique tags aos buckets do S3 para alocar custos em várias dimensões de negócios (como centros de custo, nomes de aplicações ou proprietários) e use os Relatórios de alocação de custos da AWS para consultar o uso e os custos agregados pelas tags de bucket. Também é possível usar o Amazon CloudWatch para acompanhar a integridade operacional de seus recursos da AWS e configurar alertas de faturamento que são enviados quando as despesas estimadas atingem um limite definido pelo usuário. Use o AWS CloudTrail para rastrear e relatar atividades em nível de bucket e de objeto e configurar o S3 Event Notifications para acionar fluxos de trabalho e alertas ou invocar o AWS Lambda quando uma alteração específica for feita nos recursos do S3. O S3 Event Notifications transcodifica automaticamente os arquivos de mídia à medida que são carregados no S3, processa os arquivos de dados à medida que ficam disponíveis e sincroniza objetos com outros armazenamentos de dados. Além disso, os SDKs mais recentes da AWS calculam automaticamente somas de verificação eficientes baseadas em CRC para todos os uploads. O S3 verifica de forma independente essa soma de verificação e só aceita objetos após confirmar que a integridade dos dados foi mantida em trânsito pela Internet pública. Se uma versão do SDK que não fornece somas de verificação pré-calculadas for usada para carregar um objeto, o S3 calculará uma soma de verificação baseada em CRC de todo o objeto, mesmo para uploads de várias partes. As somas de verificação são armazenadas nos metadados de objeto e, portanto, estão disponíveis para verificar a integridade dos dados a qualquer momento. Você pode escolher um dos cinco algoritmos compatíveis (CRC64NVME, CRC32, CRC32C, SHA-1 e SHA-256) para verificar a integridade dos dados no upload e no download, dependendo das necessidades da aplicação.

Analytics e informações do armazenamento

Abrir tudo

 

A Lente de Armazenamento do S3 proporciona visibilidade em toda a empresa para o uso do armazenamento de objetos, para as tendências da atividade e faz recomendações práticas para otimizar os custos, melhorar a performance da aplicação e fortalecer a proteção de dados. A Lente de Armazenamento do S3 é a primeira solução de analytics de armazenamento na nuvem a fornecer uma visão única do uso do armazenamento de objetos e da atividade em centenas, ou mesmo milhares, de contas em uma empresa, além de oferecer detalhamentos para gerar insights no nível da conta, do bucket ou mesmo do prefixo. Baseado em mais de 16 anos de experiência ajudando os clientes a otimizar o armazenamento, a Lente de Armazenamento do S3 analisa as métricas de toda a empresa para fazer recomendações contextuais visando encontrar formas de reduzir os custos de armazenamento, melhorar a performance da aplicação e aplicar melhores práticas de proteção de dados. 

 

O Amazon S3 Storage Class Analysis analisa os padrões de acesso ao armazenamento para ajudar você a decidir quando fazer a transição dos dados certos para a classe de armazenamento certa. Esse recurso do Amazon S3 observa os padrões de acesso aos dados para ajudar você a determinar quando fazer a transição do armazenamento menos acessado para uma classe de armazenamento de menor custo. Você pode usar os resultados para ajudar a melhor as políticas do S3 Lifecycle. É possível configurar a análise da classe de armazenamento para analisar todos os objetos em um bucket. Ou você pode configurar filtros para agrupar objetos para a análise por prefixo comum, tags de objeto ou prefixo e tags. Para saber mais, visite a página de analytics e informações do armazenamento.

Armazenamento de tabela

Abrir tudo

As Tabelas do Amazon S3 fornecem o primeiro armazenamento de objetos na nuvem com suporte integrado ao formato de tabela aberto, sendo a maneira mais fácil de armazenar dados em formato tabular em grande escala. As Tabelas do S3 são otimizadas especificamente para workloads de analytics, resultando em uma performance de consulta até três vezes mais rápida em comparação com tabelas do Iceberg não gerenciadas e transações até dez vezes maiores por segundo em comparação com tabelas do Iceberg armazenadas em buckets do S3 de uso geral. As Tabelas do S3 são compatíveis com o padrão do Apache Iceberg e podem ser facilmente consultadas por mecanismos de consulta conhecidos da AWS e de entidades externas. Além disso, as Tabelas do S3 foram desenvolvidas para realizar manutenção contínua das tabelas, otimizando automaticamente a eficiência das consultas e os custos de armazenamento ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake.

As Tabelas do S3 usam buckets de tabelas, um tipo de bucket desenvolvido com o propósito específico de armazenar dados em formato tabular. Com os buckets de tabelas, é possível simplificar a criação de tabelas e a configuração das permissões por tabela para gerenciar o acesso ao data lake. Em seguida, você pode carregar e consultar dados nas suas tabelas usando SQL padrão e aproveitar as funcionalidades avançadas de analytics do Apache Iceberg, como transações em nível de linha, snapshots consultáveis, evolução de esquema e muito mais. Os buckets de tabela também fornecem manutenção de tabela orientada por políticas, ajudando a automatizar tarefas operacionais, como compactação, gerenciamento de snapshots e remoção de arquivos não referenciados.

Armazenamento de vetor

Abrir tudo

O Amazon S3 Vectors oferece o primeiro armazenamento de objetos na nuvem com suporte nativo para armazenar e consultar vetores. O S3 Vectors fornece armazenamento vetorial econômico, elástico e durável que pode ser consultado com base no significado semântico e na similaridade. Ele oferece tempos de resposta de consulta de menos de um segundo e custos até 90% menores para carregar, armazenar e consultar vetores em grande escala. Por meio da integração com as bases de conhecimento do Amazon Bedrock, você pode usar o S3 Vectors como seu armazenamento vetorial e reduzir os custos de casos de uso de geração aumentada via recuperação (RAG).

O S3 Vectors apresenta buckets de vetores, um tipo de bucket criado especificamente para armazenar vetores. Um bucket de vetores fornece um conjunto dedicado de APIs para armazenar, acessar e consultar vetores sem provisionar nenhuma infraestrutura. Em um bucket de vetores, você organiza seus vetores dentro de índices vetoriais e pode aumentar a escala verticalmente e de forma elástica em até dez mil índices vetoriais em um bucket de vetores. Ao adicionar vetores a um índice vetorial, você também pode anexar metadados para limitar futuras consultas com base em um conjunto de condições (por exemplo, datas, categorias e preferências do usuário). Você pode usar o S3 Vectors para uma ampla variedade de casos de uso, como encontrar músicas correspondentes para playlists, vídeos relacionados, trechos de código relevantes, imagens radiológicas semelhantes para diagnóstico ou padrões em logs. O S3 Vectors se integra ao Amazon OpenSearch Service gerenciado para que você possa otimizar o custo do armazenamento vetorial enquanto continua usando as APIs do OpenSearch para workloads que podem se beneficiar de funcionalidades de pesquisa mais avançadas, incluindo pesquisa híbrida, agregações, filtragem avançada e pesquisa facetada. Você também pode exportar vetores do S3 Vectors para o OpenSearch sem servidor para workloads que precisam de desempenho de consulta em tempo real.

Classes de armazenamento

Abrir tudo

Com o Amazon S3, você pode armazenar dados em uma variedade de diferentes classes de armazenamento do S3 criadas para casos de uso e padrões de acesso específicos: S3 Intelligent-Tiering, S3 Standard, S3 Express One Zone, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive e S3 Outposts.

Cada classe de armazenamento do S3 oferece suporte a um nível específico de acesso aos dados com os custos ou localização geográfica correspondentes. 

Para dados com padrões de acesso variáveis, desconhecidos ou imprevisíveis, como data lakes, analytics ou novas aplicações, use a S3 Intelligent-Tiering, que otimiza automaticamente seus custos de armazenamento. A S3 Intelligent-Tiering move automaticamente seus dados entre três níveis de acesso de baixa latência otimizados para acesso frequente, infrequente e raro. Quando subconjuntos de objetos são arquivados com o tempo, você pode ativar a camada de acesso ao arquivamento projetada para acesso assíncrono.

Para padrões de acesso mais previsíveis, você pode armazenar dados de produção de missão crítica no S3 Standard para acesso frequente, acelerar aplicações de performance crítica armazenando seus dados acessados com mais frequência no S3 Express One Zone, economizar custos armazenando dados acessados com pouca frequência no S3 Standard-IA ou S3 One Zone-IA e arquivar dados com os menores custos nas classes de armazenamento de arquivamento: S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive. Você pode usar o S3 Storage Class Analysis para monitorar os padrões de acesso entre objetos e descobrir dados que devem ser movidos para classes de armazenamento de custo mais baixo. Em seguida, você pode usar essas informações para configurar uma política de Ciclo de vida do S3 que faz a transferência dos dados. Você também pode usar as políticas de ciclo de vida do S3 para expirar objetos no final de seus ciclos de vida.

Caso tenha requisitos de residência de dados que não podem ser atendidos por uma região da AWS existente, use as classes de armazenamento do S3 em zonas locais dedicadas da AWS ou o S3 em racks do Outposts para armazenar seus dados em um perímetro de dados específico.

 

O Amazon S3 oferece suporte a casos de uso de residência e isolamento de dados quando você precisa armazená-los em um perímetro de dados específico. Caso tenha requisitos de residência de dados que não podem ser atendidos por uma região da AWS existente, use as classes de armazenamento do S3 em zonas locais dedicadas da AWS ou o S3 em racks do Outposts para armazenar seus dados em um perímetro de dados específico. Isso amplia o Compromisso de soberania digital da AWS, nosso compromisso de oferecer o conjunto mais avançado de controles e atributos de soberania na nuvem.

Segurança e gerenciamento do acesso

Abrir tudo

Por padrão, para proteger os dados no Amazon S3, os usuários só têm acesso aos recursos do S3 que criam. Você pode conceder acesso a outros usuários usando um ou uma combinação dos seguintes atributos de gerenciamento de acesso: AWS Identity and Access Management (IAM) para criar usuários e gerenciar seus respectivos acessos; Listas de controle de acesso (ACLs) para tornar objetos individuais acessíveis a usuários autorizados; políticas de bucket para configurar permissões para todos os objetos dentro de um único bucket do S3; Pontos de acesso do S3 para simplificar o gerenciamento do acesso a dados em conjuntos de dados compartilhados, criando pontos de acesso com nomes e permissões específicos para cada aplicação ou conjunto de aplicações; Concessões de acesso do S3 para gerenciar permissões de dados em grande escala, concedendo automaticamente acesso para o S3 aos usuários finais com base em sua identidade corporativa; e Autenticação de sequência de consulta para conceder acesso por tempo limitado a outros com URLs temporários. O Amazon S3 também oferece suporte a logs de auditoria que listam as solicitações feitas em seus recursos do S3 para oferecer visibilidade total sobre quem está acessando quais dados.

O Amazon S3 oferece atributos de segurança flexíveis para impedir que usuários não autorizados acessem seus dados. Use endpoints da VPC para conectar aos recursos do S3 a partir do Amazon Virtual Private Cloud (Amazon VPC) e de on-premises. O Amazon S3 criptografa todos os novos dados carregados em qualquer bucket (a partir de 5 de janeiro de 2023). O Amazon S3 oferece suporte à criptografia do lado do servidor (com quatro opções de gerenciamento de chaves) e à criptografia do lado do cliente para uploads de dados (consulte o Guia do usuário do Amazon S3 para obter mais informações sobre criptografia de dados com o S3). Use o S3 Inventory para verificar o status de criptografia dos objetos do S3 (consulte gerenciamento de armazenamento para obter mais informações sobre o S3 Inventory).

O S3 Block Public Access é um conjunto de controles de segurança que garantem que buckets e objetos do S3 não tenham acesso público. A opção de bloquear acesso público é ativada por padrão para todos os novos buckets. Com alguns cliques no console do Amazon S3, você pode aplicar as configurações do S3 Block Public Access a todos os buckets em sua conta da AWS ou a buckets do S3 específicos. Depois das configurações serem aplicadas a uma conta da AWS, elas são propagadas aos buckets e objetos novos ou existentes associados à essa conta e o acesso público a eles fica bloqueado. As configurações do S3 Block Public Access substituem outras permissões de acesso do S3. Assim, fica mais fácil para o administrador da conta impor uma política que bloqueie o acesso público, independentemente de como um objeto é adicionado, de como um bucket é criado ou da existência de permissões de acesso. Os controles do S3 Block Public Access são auditáveis, fornecem uma camada adicional de controle e usam as verificações de permissão de bucket do AWS Trusted Advisor, os logs do AWS CloudTrail e os alarmes do Amazon CloudWatch. Você deve habilitar a opção de bloquear acesso público para todas as contas e buckets que não deseja tornar publicamente acessíveis.

O S3 Object Ownership é um atributo que desabilita as listas de controle de acesso (ACLs), alterando a propriedade de todos os objetos para o proprietário do bucket e simplificando o gerenciamento de acesso aos dados armazenados no S3. Quando você define a configuração Proprietário do bucket aplicado do S3 Object Ownership, as ACLs deixam de afetar as permissões do seu bucket e dos objetos nele. Todo o controle de acesso será definido por meio de políticas baseadas em recursos, políticas de usuário ou uma combinação delas. Antes de desativar as ACLs, revise suas ACLs de bucket e objeto. Para identificar solicitações do Amazon S3 que exigiam ACLs para autorização, você pode usar o campo aclRequired nos logs de acesso ao servidor do Amazon S3 ou AWS CloudTrail.

Usando os Pontos de Acesso do S3 que estão restritos a uma nuvem privada virtual (VPC), você pode proteger facilmente os dados do S3 dentro da sua rede privada. Além disso, você pode usar Políticas de controle de serviço da AWS para exigir que qualquer novo Ponto de Acesso do S3 em sua organização seja restrito ao acesso somente à VPC.

O IAM Access Analyzer para S3 é um atributo que ajuda a simplificar o gerenciamento de permissões conforme você define, verifica e refina políticas para seus buckets e pontos de acesso do S3. O Access Analyzer for S3 monitora suas políticas de acesso ao bucket para verificar se elas fornecem apenas o acesso necessário aos seus recursos S3. O Access Analyzer for S3 avalia suas políticas de acesso ao bucket para que você possa remediar rapidamente qualquer bucket com acesso desnecessário. Ao analisar resultados que mostram acesso potencialmente compartilhado a um bucket, você pode bloquear o acesso público ao bucket com um único clique no console do S3. Para fins de auditoria, é possível baixar as descobertas do Access Analyzer for S3 com um relatório CSV. Além disso, o console do S3 reporta avisos de segurança, erros e sugestões do IAM Access Analyzer à medida que você cria suas políticas do S3. O console executa automaticamente mais de 100 verificações de política para validar suas políticas. Essas verificações economizam tempo, orientam você para resolver erros e ajudam a aplicar práticas recomendadas de segurança.

O IAM facilita a análise de acesso e a redução de permissões para obter o menor privilégio fornecendo o carimbo de data/hora de quando um usuário ou função usou o S3 pela última vez e as ações associadas. Use essas informações de “último acesso” para analisar o acesso do S3, identificar permissões não usadas e removê-las com confiança. Para saber mais, consulte Refinar permissões usando dados acessados mais recentemente.

Você pode usar o Amazon Macie para descobrir e proteger dados sensíveis armazenados no Amazon S3. O Macie reúne automaticamente um inventário completo do S3 e avalia continuamente cada bucket para alertar sobre quaisquer buckets com acesso público, buckets não criptografados ou buckets compartilhados ou replicados com contas da AWS fora da sua organização. Em seguida, o Macie aplica técnicas de machine learning e de correspondência de padrões aos buckets selecionados para identificar e alertar sobre dados confidenciais, tais como informações de identificação pessoal (PII). À medida que descobertas de segurança são geradas, elas são enviadas para o Amazon CloudWatch Events, facilitando a integração com sistemas de fluxo de trabalho existentes e para acionar correções automatizadas com serviços como o AWS Step Functions para ações como fechar um bucket público ou adicionar tags de recursos.

O AWS PrivateLink para S3 oferece conectividade privada entre o Amazon S3 e o ambiente on-premises. Você pode provisionar endpoints da VPC para S3 em sua VPC para conectar suas aplicações on-premises diretamente ao S3 via AWS Direct Connect ou AWS VPN. As solicitações para fazer interface de VPC endpoints para o S3 são roteadas para o S3 pela rede da Amazon. Você pode definir grupos de segurança e configurar políticas de endpoint da VPC para os endpoints da VPC de sua interface para obter mais controles de acesso.

Saiba mais acessando Gerenciamento e segurança de acesso do S3, o e-book sobre segurança e proteção de dados do S3 e proteção de dados no Amazon S3.

Processamento de dados

Abrir tudo

Com o S3 Object Lambda, você pode adicionar seu próprio código às solicitações GET, LIST e HEAD do S3 para modificar e processar dados conforme eles são retornados a uma aplicação. Pela primeira vez, você pode usar o código personalizado para modificar os dados retornados por solicitações GET do S3 para filtrar linhas, redimensionar imagens dinamicamente, editar dados confidenciais e muito mais. Você também pode usar o S3 Object Lambda para modificar a saída de solicitações LIST do S3 a fim de criar uma visualização personalizada dos objetos em um bucket e solicitações HEAD do S3 a fim de modificar metadados de objetos, como o nome e o tamanho do objeto. Equipado com funções do AWS Lambda, seu código é executado em uma infraestrutura totalmente gerenciada pela AWS, eliminando a necessidade de criar e armazenar cópias derivadas de seus dados ou de executar proxies caros, tudo sem a necessidade de alterações nas aplicações.

O S3 Object Lambda usa funções do AWS Lambda para processar automaticamente a saída de uma solicitação GET, HEAD ou LIST do S3 padrão. O AWS Lambda é um serviço de computação sem servidor que executa um código definido pelo cliente, sem exigir o gerenciamento de recursos de computação subjacentes. Com apenas alguns cliques no Console de Gerenciamento da AWS, você pode configurar uma função do Lambda e anexá-la a um ponto de acesso do S3 Object Lambda. Desse ponto em diante, o S3 chamará automaticamente sua função Lambda para processar quaisquer dados recuperados por meio do ponto de acesso do S3 Object Lambda, retornando um resultado transformado de volta a aplicação. Você pode criar e executar suas próprias funções do Lambda personalizadas, adaptando a transformação de dados do S3 Object Lambda ao seu caso de uso específico.

Consulta in-loco

Abrir tudo

O Amazon S3 tem serviços complementares que consultam dados sem a necessidade de copiá-los e carregá-los em uma plataforma de analytics ou data warehouse separado. Isso significa que você pode executar data analytics diretamente nos seus dados armazenados no Amazon S3.

O Amazon S3 é compatível com os serviços de analytics do Amazon Athena e Amazon Redshift Spectrum. O Amazon Athena consulta seus dados no Amazon S3 sem a necessidade de extrair e carregá-los em um serviço ou uma plataforma separada. Ele usa expressões SQL padrão para analisar seus dados, gera resultados em segundos e normalmente é usado para descoberta de dados ad-hoc. O Amazon Redshift Spectrum também executa consultas SQL diretamente em dados em repouso no Amazon S3 e é mais apropriado para consultas complexas e grandes conjuntos de dados (até exabytes). Como o Amazon Athena e o Amazon Redshift compartilham um catálogo de dados e formatos de dados comuns, é possível usá-los nos mesmos conjuntos de dados no Amazon S3.

Saiba mais sobre como consultar seus dados no Amazon S3 lendo a postagem no blog.

 

Transferência de dados

Abrir tudo

A AWS oferece um portfólio de serviços de transferência de dados para fornecer a solução certa para qualquer projeto de migração de dados. O nível de conectividade é um fator importante na migração de dados e a AWS tem produtos capazes de atender suas necessidades de armazenamento em nuvem híbrida, transferência de dados online e transferência de dados off-line.

Armazenamento em nuvem híbrida: o AWS Storage Gateway é um serviço de armazenamento em nuvem híbrida que permite conectar e ampliar diretamente suas aplicações de armazenamento on-premises para o Armazenamento da AWS. Os clientes usam o Storage Gateway para substituir sem problemas bibliotecas de fitas por armazenamento na nuvem, fornecer compartilhamentos de arquivos com backup na nuvem ou criar cache de baixa latência para acessar dados na AWS para aplicativos on-premises. 

Transferência de dados online: o AWS DataSync facilita e torna eficiente a transferência de centenas de terabytes e milhões de arquivos para o Amazon S3 de forma até dez vezes mais rápida do que as ferramentas de código aberto. O DataSync processa ou elimina automaticamente muitas tarefas manuais, incluindo trabalhos de cópia de scripts, agendamento e monitoramento de transferências, validação de dados e otimização de utilização de rede. Além disso, você pode usar o AWS DataSync para copiar objetos entre um bucket no S3 on Outposts e um bucket armazenado em uma região da AWS. O AWS Transfer Family oferece uma transferência de arquivos para o Amazon S3 totalmente gerenciada, simples e direta usando SFTP, FTPS e FTP. O Amazon S3 Transfer Acceleration permite transferências de arquivos rápidas em longas distâncias entre seu cliente e o bucket do Amazon S3.

Transferência de dados off-line com pouca ou nenhuma conectividade: o serviço AWS Snowball usa dispositivos robustos e portáteis de armazenamento e computação de borda para coleta, processamento e migração de dados. Os clientes podem receber o dispositivo Snowball físico para migração de dados off-line para a AWS.

Os clientes também podem trabalhar com provedores de terceiros da Rede de Parceiros da AWS (APN) para implantar arquiteturas de armazenamento híbridas, integrar o Amazon S3 com aplicações e fluxos de trabalho existentes e transferir dados para e a partir da AWS.

Saiba mais ao acessar os serviços de migração de dados na Nuvem AWS, AWS Storage Gateway, AWS DataSync, AWS Transfer Family, Amazon S3 Transfer Acceleration, AWS Snowball.

Data Exchange

Abrir tudo

O AWS Data Exchange para Amazon S3 acelera o tempo de obtenção de informações com acesso direto aos dados do Amazon S3 dos provedores de dados. O AWS Data Exchange para Amazon S3 ajuda você a encontrar, assinar e usar facilmente arquivos de dados de terceiros para otimização de custos de armazenamento, gerenciamento simplificado de licenciamento de dados e muito mais. Destina-se a assinantes que desejam usar facilmente arquivos de dados de terceiros para análise de dados com serviços da AWS sem precisar criar ou gerenciar cópias de dados. Também é útil para provedores de dados que desejam oferecer acesso in-loco aos dados hospedados em seus buckets do Amazon S3.

Uma vez autorizados a acessar um conjunto de dados do AWS Data Exchange para Amazon S3, os assinantes de dados podem executar análises de dados sem precisar configurar seus próprios buckets do S3, copiar arquivos de dados para esses buckets do S3 ou pagar as taxas de armazenamento associadas. As análises de dados podem ser realizadas com serviços da AWS, como Amazon Athena, Amazon SageMaker Feature Store ou Amazon EMR. Como os assinantes acessam os mesmos objetos do S3 mantidos pelo provedor de dados, usam sempre os dados mais atualizados disponíveis, sem necessidade de trabalho adicional de engenharia ou operações. Os provedores de dados podem configurar facilmente o AWS Data Exchange para Amazon S3 com base em buckets do S3 existentes para compartilhar o acesso direto a um bucket do S3 inteiro ou prefixos e objetos específicos do S3. Após a configuração, o AWS Data Exchange gerencia automaticamente assinaturas, autorizações, faturamento e pagamentos.

Performance

Abrir tudo

O Amazon S3 fornece a melhor performance do setor para o armazenamento de objetos na nuvem. O Amazon S3 suporta solicitações paralelas, ou seja, você pode escalar a performance do S3 pelo fator do cluster de computação sem fazer nenhuma personalização na aplicação. A performance é escalada por prefixo, para que você possa usar quantos prefixos forem necessários em paralelo para atingir a taxa de transferência necessária. Não há limites quanto ao número de prefixos. A performance do Amazon S3 suporta, pelo menos, 3.500 solicitações por segundo para adicionar dados e 5.500 solicitações por segundo para recuperar dados. Cada prefixo do S3 pode dar suporte a essas taxas de solicitação, simplificando muito o aumento da performance.

Para conseguir essa performance da taxa de solicitação do S3, pode ser necessário randomizar os prefixos do objeto para conseguir uma performance mais rápida. Isso significa que você pode usar padrões de nomenclatura lógicos ou sequenciais nos objetos do S3 sem nenhuma implicação na performance. Consulte as Diretrizes de performance do Amazon S3 e os Padrões de design da performance do Amazon S3 para ter as informações mais atuais sobre a otimização da performance do Amazon S3.

O Amazon S3 oferece automaticamente uma forte consistência de leitura após gravação para todas as aplicações, sem alterações no desempenho ou na disponibilidade, sem sacrificar o isolamento regional das aplicações e sem custo adicional. Com a Consistência Forte do S3, o S3 simplifica a migração das workloads de analytics on-premises, acabando com a necessidade de fazer alterações nas aplicações, e reduz os custos eliminando a necessidade de usar uma infraestrutura extra para fornecer tal consistência forte.

Qualquer solicitação do armazenamento S3 tem uma forte consistência. Após uma gravação bem-sucedida de um novo objeto ou uma substituição de um objeto existente, qualquer solicitação de leitura subsequente recebe imediatamente a versão mais recente do objeto. O S3 também fornece uma consistência forte para operações de lista. Dessa maneira, após uma gravação, você pode executar imediatamente uma listagem dos objetos em um bucket com todas as alterações refletidas.

Uso pretendido e restrições

O uso deste serviço está sujeito ao Contrato do Cliente da Amazon Web Services.