Recursos do Amazon S3
Gerenciamento e monitoramento do armazenamento
Open allGerenciamento e monitoramento do armazenamento
A estrutura não hierárquica simples do Amazon S3 e vários recursos de gerenciamento estão ajudando clientes de todos os portes e indústrias a organizar os dados de maneiras valiosas para suas empresas e equipes. Todos os objetos são armazenados em buckets do S3 e podem ser organizados com nomes compartilhados chamados prefixos. Você também pode anexar até 10 pares de chave-valor chamados de etiquetas de objetos do S3 a cada objeto, que podem ser criados, atualizados e excluídos durante o ciclo de vida de um objeto. Para acompanhar os objetos e os respectivos buckets, tags e prefixos, você pode usar um relatório de inventário do S3 que lista os objetos armazenados em um bucket do S3 ou com um prefixo específico e os respectivos metadados e status de criptografia. O inventário do S3 pode ser configurado para gerar relatórios diária ou semanalmente.
Gerenciamento de armazenamento
Com os nomes de buckets do S3, os prefixos, as etiquetas de objetos, o S3 Metadata e o S3 Inventory, você tem várias maneiras de categorizar e gerar relatórios sobre seus dados, podendo, posteriormente, configurar outros recursos do S3 para tomar decisões. Seja para armazenar milhares de objetos ou um bilhão deles, o recurso Operações em Lote do Amazon S3 simplifica o gerenciamento de seus dados no Amazon S3 em qualquer escala. Com o S3 Batch Operations, você pode copiar objetos entre buckets, substituir conjuntos de etiquetas de objetos, modificar controles de acesso e restaurar objetos arquivados das classes de armazenamento Amazon S3 Glacier Flexible Retrieval e Amazon S3 Glacier Deep Archive com uma única solicitação à API do S3 ou com alguns cliques no console do S3. Também é possível usar as operações em lotes do S3 para executar funções do AWS Lambda nos objetos para executar lógica de negócios personalizada, como processamento de dados ou transcodificação de arquivos de imagem. Para começar, selecione um bucket de origem e filtros ou especifique uma lista de objetos de destino usando um relatório de inventário do S3 ou fornecendo uma lista personalizada e, em seguida, selecione a operação desejada em um menu pré-preenchido. Quando uma solicitação do S3 Batch Operations é feita, você recebe uma notificação e um relatório de conclusão de todas as alterações feitas. Assista aos tutoriais em vídeo para saber mais sobre Operações em Lote do S3.
O Amazon S3 Metadata disponibiliza metadados de objetos consultáveis praticamente em tempo real para auxiliar na organização dos seus dados e acelerar a descoberta de dados. Isso ajuda você a organizar, identificar e usar os dados do S3 para analytics de negócios, aplicações de inferência em tempo real e muitas outras finalidades. O S3 Metadata fornece suporte a metadados de objetos, incluindo detalhes definidos pelo sistema, como tamanho e origem do objeto, além de metadados personalizados, que permitem o uso de etiquetas para fazer anotações nos objetos com informações como, por exemplo, SKU do produto, ID da transação ou classificação de conteúdo. O S3 Metadata foi projetado para capturar automaticamente metadados dos objetos à medida que eles são carregados em um bucket e disponibilizá-los para consultas em uma tabela somente para leitura. Conforme os dados em seu bucket são alterados, o S3 Metadata atualiza a tabela em minutos, refletindo as modificações mais recentes.
O Amazon S3 também oferece suporte a recursos que ajudam a manter o controle da versão dos dados, evitar exclusões acidentais e replicar dados para a mesma região ou para outras regiões da AWS. Com o versionamento do S3, é possível preservar, acessar e restaurar com todas as versões de um objeto armazenado no Amazon S3, o que permite a recuperação de ações não intencionais de usuários e de falhas da aplicação. Para evitar exclusões acidentais, habilite a Exclusão da autenticação multifator (MFA) em um bucket do S3. Se você tentar excluir um objeto armazenado em um bucket habilitado para exclusão da MFA, serão necessárias duas formas de autenticação: as credenciais da conta da AWS e a concatenação de um número de série válido, um espaço e o código de seis dígitos exibido em um dispositivo de autenticação aprovado, como um hardware key fob ou uma chave de segurança Universal 2nd Factor (U2F).
Com a Replicação do Amazon S3, você pode replicar objetos (e os respectivos metadados e etiquetas do objeto) para um ou mais buckets de destino na mesma Região da AWS ou em outra diferente para obter latência reduzida, conformidade, segurança, recuperação de desastres e outros casos de uso. O S3 Cross-Region Replication (CRR) pode ser configurado para replicar objetos de um bucket do S3 de origem para um ou mais buckets de destino em uma região diferente. O S3 Same-Region Replication (SRR) replica objetos entre buckets na mesma Região da AWS. Enquanto a replicação em tempo real, como CRR e SRR, replica automaticamente os objetos recém-carregados à medida que são gravados em seu bucket, o S3 Batch Replication permite replicar objetos existentes. Você pode usar o S3 Batch Replication para preencher um bucket recém-criado com objetos existentes, repetir objetos que antes não conseguiam replicar, migrar dados entre contas ou adicionar novos buckets ao data lake. O Controle de Tempo de Replicação do Amazon S3 (S3 RTC) ajuda a cumprir os requisitos de compatibilidade para a replicação de dados oferecendo um SLA e uma visibilidade dos tempos de replicação.
Para acessar conjuntos de dados replicados em buckets S3 em todas as contas e regiões, use os Pontos de acesso multirregionais do Amazon S3 para criar um único endpoint global para suas aplicações e clientes usarem, independentemente da sua localização. Esse endpoint global permite criar aplicações multirregionais com a mesma arquitetura simples que você usaria em uma única região e, em seguida, executar essas aplicações em qualquer lugar do mundo. Os pontos de acesso de várias regiões do Amazon S3 podem acelerar a performance em até 60% ao acessar conjuntos de dados replicados em várias contas e regiões da AWS. Com base no AWS Global Accelerator, os Pontos de acesso multirregionais do S3 consideram fatores como congestionamento da rede e a localização da aplicação solicitante para rotear dinamicamente as solicitações pela rede AWS para a cópia de menor latência de seus dados. Usando Controles de failover de pontos de acesso multirregionais do S3, é possível fazer failover entre conjuntos de dados replicados nas regiões, permitindo que você mude seu tráfego de solicitação de dados do S3 para uma região alternativa da AWS em minutos.
Também é possível impor políticas de Gravação única e várias leituras (WORM) com o Bloqueio de Objetos do Amazon S3. Esse recurso de gerenciamento do S3 bloqueia a exclusão de versão de objetos durante um período de retenção definido pelo usuário para que você possa aplicar políticas de retenção como uma camada adicional de proteção de dados ou para atender a obrigações de conformidade. Você pode migrar cargas de trabalho de sistemas WORM existentes para o Amazon S3 e configurar o bloqueio de objetos do S3 nos níveis do objeto e do bucket para impedir exclusões de versões de objetos antes das datas de retenção ou datas de retenção legal predefinidas. Os objetos com Bloqueio de objetos do S3 retêm a proteção WORM, mesmo se forem movidos para diferentes classes de armazenamento com uma política de ciclo de vida do Amazon S3. Para rastrear os objetos que têm o Bloqueio de objetos do S3, consulte um relatório do Inventário do S3 que inclua o status de WORM dos objetos. O Bloqueio de objetos do S3 pode ser configurado de duas formas. Quando implantadas no modo Governança, as contas da AWS com permissões do IAM específicas são capazes de remover o Bloqueio de objetos do S3 dos objetos. Se você precisar de uma imutabilidade mais forte para conformidade com regulamentos, é possível usar o modo de conformidade. No modo de conformidade, a proteção não pode ser removida por nenhum usuário, incluindo a conta raiz.
Monitoramento de armazenamento
Além desses recursos de gerenciamento, use os recursos do Amazon S3 e outros serviços da AWS para monitorar e controlar seus recursos do S3. Aplique tags aos buckets do S3 para alocar custos em várias dimensões de negócios (como centros de custo, nomes de aplicações ou proprietários) e use os Relatórios de alocação de custos da AWS para consultar o uso e os custos agregados pelas tags de bucket. Também é possível usar o Amazon CloudWatch para acompanhar a integridade operacional de seus recursos da AWS e configurar alertas de faturamento que são enviados quando as despesas estimadas atingem um limite definido pelo usuário. Use o AWS CloudTrail para rastrear e relatar atividades em nível de bucket e de objeto e configurar as notificações de eventos do S3 para acionar fluxos de trabalho e alertas ou invocar o AWS Lambda quando uma alteração específica for feita nos recursos do S3. O S3 Event Notifications transcodifica automaticamente os arquivos de mídia à medida que são carregados no S3, processa os arquivos de dados à medida que ficam disponíveis e sincroniza objetos com outros armazenamentos de dados. Além disso, os SDKs mais recentes da AWS calculam automaticamente somas de verificação eficientes baseadas em CRC para todos os uploads. O S3 verifica de forma independente essa soma de verificação e só aceita objetos após confirmar que a integridade dos dados foi mantida em trânsito pela internet pública. Se uma versão do SDK que não fornece somas de verificação pré-calculadas for usada para fazer upload de um objeto, o S3 calculará uma soma de verificação baseada em CRC do objeto inteiro, mesmo para uploads de várias partes. As somas de verificação são armazenadas nos metadados do objeto e, portanto, estão disponíveis para verificar a integridade dos dados a qualquer momento. Você pode escolher um dos cinco algoritmos compatíveis (CRC64NVME, CRC32, CRC32C, SHA-1 e SHA-256) para verificar a integridade dos dados no upload e no download, dependendo das necessidades da aplicação.
Análise e informações do armazenamento
Open allS3 Storage Lens
O S3 Storage Lens proporciona visibilidade em toda a empresa para o uso do armazenamento de objetos, as tendências da atividade e faz recomendações práticas para baixar os custos e aplicar melhores práticas de proteção de dados. O S3 Storage Lens é a primeira solução de análise de armazenamento na cloud a fornecer uma visão única do uso do armazenamento de objetos e da atividade em centenas, ou mesmo milhares, de contas em uma empresa, além de oferecer detalhamentos para gerar insights no nível da conta, do bucket ou mesmo do prefixo. Baseado em mais de 16 anos de experiência ajudando os clientes a otimizar o armazenamento, o S3 Storage Lens analisa as métricas de toda a empresa para fazer recomendações contextuais visando encontrar formas de reduzir os custos de armazenamento e aplicar melhores práticas de proteção de dados.
S3 Storage Class Analysis
O Amazon S3 Storage Class Analysis analisa os padrões de acesso ao armazenamento para ajudar você a decidir quando fazer a transição dos dados certos para a classe de armazenamento certa. Esse recurso do Amazon S3 observa os padrões de acesso aos dados para ajudar você a determinar quando fazer a transição do armazenamento menos acessado para uma classe de armazenamento de menor custo. Você pode usar os resultados para ajudar a melhor as políticas do S3 Lifecycle. É possível configurar a análise da classe de armazenamento para analisar todos os objetos em um bucket. Ou você pode configurar filtros para agrupar objetos para a análise por prefixo comum, tags de objeto ou prefixo e tags. Para saber mais, visite a página de análise e informações do armazenamento.
Armazenamento de tabela
Open allAmazon S3 Tables
O Amazon S3 Tables fornece o primeiro armazenamento de objetos na nuvem com suporte integrado ao formato de tabela aberto, sendo a maneira mais fácil de armazenar dados em formato tabular em grande escala. As Tabelas do S3 são otimizadas especificamente para workloads de analytics, resultando em uma performance de consulta até três vezes mais rápida em comparação com tabelas do Iceberg não gerenciadas, e transações até dez vezes maiores por segundo em comparação com tabelas do Iceberg armazenadas em buckets do S3 de uso geral. O S3 Tables é compatível com o padrão do Apache Iceberg e pode ser facilmente consultado por mecanismos de consulta conhecidos da AWS e de entidades externas. Além disso, o S3 Tables foi desenvolvido para realizar manutenção contínua das tabelas, otimizando automaticamente a eficiência das consultas e os custos de armazenamento ao longo do tempo, mesmo com o crescimento e a evolução do seu data lake.
O S3 Tables faz uso de buckets de tabela, um tipo de bucket desenvolvido com o propósito específico de armazenar dados em formato tabular. Com os buckets de tabelas, é possível simplificar a criação de tabelas e a configuração das permissões por tabela para gerenciar o acesso ao data lake. Em seguida, você pode carregar e consultar dados nas suas tabelas usando SQL padrão e aproveitar as funcionalidades avançadas de analytics do Apache Iceberg, como transações em nível de linha, snapshots consultáveis, evolução de esquema e muito mais. Os buckets de tabela também fornecem manutenção de tabela orientada por políticas, ajudando a automatizar tarefas operacionais, como compactação, gerenciamento de snapshots e remoção de arquivos não referenciados.
Classes de armazenamento
Open allClasses de armazenamento
Com o Amazon S3, você pode armazenar dados em uma variedade de diferentes classes de armazenamento S3 criadas para casos de uso e padrões de acesso específicos: S3 Intelligent-Tiering, S3 Standard, S3 Express One Zone, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive e S3 Outposts.
Cada classe de armazenamento do S3 oferece suporte a um nível específico de acesso aos dados com os custos ou localização geográfica correspondentes.
Para dados com padrões de acesso variáveis, desconhecidos ou imprevisíveis, como data lakes, análises ou novas aplicações, use a S3 Intelligent-Tiering, que otimiza automaticamente seus custos de armazenamento. A S3 Intelligent-Tiering move automaticamente seus dados entre três níveis de acesso de baixa latência otimizados para acesso frequente, infrequente e raro. Quando subconjuntos de objetos são arquivados com o tempo, você pode ativar a camada de acesso ao arquivamento projetada para acesso assíncrono.
Para padrões de acesso mais previsíveis, você pode armazenar dados de produção de missão crítica no S3 Standard para acesso frequente, acelerar aplicações de performance crítica armazenando seus dados acessados com mais frequência no S3 Express One Zone, economizar custos armazenando dados acessados com pouca frequência no S3 Standard-IA ou S3 One Zone-IA e arquivar dados com os menores custos nas classes de armazenamento de arquivamento: S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive. Você pode usar a Análise de classes de armazenamento do S3 para monitorar os padrões de acesso entre objetos e descobrir dados que devem ser movidos para classes de armazenamento de custo mais baixo. Em seguida, você pode usar essas informações para configurar uma política de Ciclo de vida do S3 que faz a transferência dos dados. Você também pode usar as políticas de ciclo de vida do S3 para expirar objetos no final de seus ciclos de vida.
Caso tenha requisitos de residência de dados que não possam ser atendidos por uma região existente da AWS, você pode usar as classes de armazenamento do S3 para zonas locais dedicadas da AWS ou o S3 em racks do Outposts para armazenar os dados em um perímetro de dados específico.
Residência e isolamento de dados
O Amazon S3 oferece suporte a casos de uso de residência e isolamento de dados quando você precisa armazená-los em um perímetro de dados específico. Caso tenha requisitos de residência de dados que não possam ser atendidos por uma região existente da AWS, você pode usar as classes de armazenamento do S3 para zonas locais dedicadas da AWS ou o S3 em racks do Outposts para armazenar os dados em um perímetro de dados específico. Isso amplia o Compromisso de soberania digital da AWS, nosso compromisso de oferecer o conjunto mais avançado de controles e recursos de soberania na nuvem.
Segurança e gerenciamento do acesso
Open allGerenciamento de acesso
Por padrão, para proteger os dados no Amazon S3, os usuários só têm acesso aos recursos do S3 que criam. Você pode conceder acesso a outros usuários usando um ou uma combinação dos seguintes recursos de gerenciamento de acesso: AWS Identity and Access Management (IAM) para criar usuários e gerenciar seus respectivos acessos; Listas de controle de acesso (ACLs) para tornar objetos individuais acessíveis a usuários autorizados; políticas de bucket para configurar permissões para todos os objetos dentro de um único bucket do S3; Pontos de acesso do S3 para simplificar o gerenciamento do acesso a dados em conjuntos de dados compartilhados, criando pontos de acesso com nomes e permissões específicos para cada aplicação ou conjunto de aplicações; Concessões de acesso do S3 para gerenciar permissões de dados em grande escala, concedendo automaticamente acesso para o S3 aos usuários finais com base em sua identidade corporativa; e Autenticação de sequência de consulta para conceder acesso por tempo limitado a outros com URLs temporários. O Amazon S3 também oferece suporte a logs de auditoria que listam as solicitações feitas em seus recursos do S3 para oferecer visibilidade total sobre quem está acessando quais dados.
Segurança
O Amazon S3 oferece recursos de segurança flexíveis para impedir que usuários não autorizados acessem seus dados. Use endpoints da VPC para conectar aos recursos do S3 a partir do Amazon Virtual Private Cloud (Amazon VPC) e de on-premises. O Amazon S3 criptografa todos os novos dados carregados em qualquer bucket (a partir de 5 de janeiro de 2023). O Amazon S3 oferece suporte à criptografia do lado do servidor (com quatro opções de gerenciamento de chaves) e à criptografia no lado do cliente para uploads de dados (consulte o Guia do usuário do Amazon S3 para obter mais informações sobre criptografia de dados com o S3). Use o Inventário do S3 para verificar o status de criptografia dos objetos do S3 (consulte gerenciamento de armazenamento para obter mais informações sobre o Inventário do S3).
O S3 Block Public Access é um conjunto de controles de segurança que garantem que buckets e objetos do S3 não tenham acesso público. Bloquear acesso público é ativado por padrão para todos os novos buckets. Com alguns cliques no console do Amazon S3, você pode aplicar as configurações do S3 Block Public Access a todos os buckets em sua conta da AWS ou a buckets do S3 específicos. Depois das configurações serem aplicadas a uma conta da AWS, elas são propagadas aos buckets e objetos novos ou existentes associados à essa conta e o acesso público a eles fica bloqueado. As configurações do S3 Block Public Access substituem outras permissões de acesso do S3. Assim, fica mais fácil para o administrador da conta impor uma política que bloqueie o acesso público, independentemente de como um objeto é adicionado, de como um bucket é criado ou da existência de permissões de acesso. Os controles do S3 Block Public Access são auditáveis, fornecem uma camada adicional de controle e usam as verificações de permissão de bucket do AWS Trusted Advisor, os logs do AWS CloudTrail e os alarmes do Amazon CloudWatch. Você deve habilitar a opção Block Public Access (Bloquear acesso público) para todas as contas e buckets que não deseja tornar publicamente acessíveis.
S3 Object Ownership é um recurso que desabilita as listas de controle de acesso (ACLs), alterando a propriedade de todos os objetos para o proprietário do intervalo e simplificando o gerenciamento de acesso aos dados armazenados no S3. Quando você configura a configuração Proprietário do bucket aplicado do S3 Object Ownership, as ACLs não afetarão mais as permissões do seu bucket e dos objetos nele. Todo o controle de acesso será definido por meio de políticas baseadas em recursos, políticas de usuário ou alguma combinação delas. Antes de desativar as ACLs, revise suas ACLs de bucket e objeto. Para identificar solicitações do Amazon S3 que exigiam ACLs para autorização, você pode usar o campo aclRequired nos , logs de acesso ao servidor do Amazon S3 ou AWS CloudTrail.
Usando os S3 Access Points que estão restritos a uma Virtual Private Cloud (VPC), você pode proteger facilmente os dados do seu S3 dentro da sua rede privada. Além disso, você pode usar Políticas de controle de serviço da AWS para exigir que qualquer novo S3 Access Point em sua organização seja restrito ao acesso somente à VPC.
Analisador de Acesso IAM para S3 é um recurso que ajuda a simplificar o gerenciamento de permissões conforme você define, verifica e refina políticas para seus buckets S3 e pontos de acesso. O Access Analyzer for S3 monitora suas políticas de acesso ao bucket para verificar se elas fornecem apenas o acesso necessário aos seus recursos S3. O Access Analyzer for S3 avalia suas políticas de acesso ao bucket para que você possa remediar rapidamente qualquer bucket com acesso desnecessário. Ao analisar resultados que mostram acesso potencialmente compartilhado a um bucket, você pode bloquear o acesso público ao bucket com um único clique no console do S3. Para fins de auditoria, é possível baixar as descobertas do Access Analyzer for S3 com um relatório CSV. Além disso, o console do S3 reporta avisos de segurança, erros e sugestões do IAM Access Analyzer à medida que você cria suas políticas do S3. O console executa automaticamente mais de 100 verificações de política para validar suas políticas. Essas verificações economizam tempo, orientam você para resolver erros e ajudam a aplicar práticas recomendadas de segurança.
O IAM facilita a análise de acesso e a redução de permissões para obter o menor privilégio fornecendo o carimbo de data/hora de quando um usuário ou função usou o S3 pela última vez e as ações associadas. Use essas informações de "último acesso" para analisar o acesso do S3, identificar permissões não usadas e removê-las com confiança. Para saber mais, consulte Refinar permissões usando dados acessados mais recentemente.
Você pode usar o Amazon Macie para descobrir e proteger dados confidenciais armazenados no Amazon S3. O Macie reúne automaticamente um inventário completo do S3 e avalia continuamente cada bucket para alertar sobre quaisquer buckets com acesso público, buckets não criptografados ou buckets compartilhados ou replicados com contas da AWS fora da sua organização. Em seguida, o Macie aplica técnicas de machine learning e de correspondência de padrões aos buckets selecionados para identificar e alertar sobre dados confidenciais, tais como informações de identificação pessoal (PII). À medida que descobertas de segurança são geradas, elas são enviadas para o Amazon CloudWatch Events, facilitando a integração com sistemas de fluxo de trabalho existentes e para acionar correções automatizadas com serviços como o AWS Step Functions para ações como fechar um bucket público ou adicionar tags de recursos.
O AWS PrivateLink para S3 oferece conectividade privada entre o Amazon S3 e o ambiente on-premises. Você pode provisionar endpoints da VPC para S3 em sua VPC para conectar suas aplicações on-premises diretamente ao S3 via AWS Direct Connect ou AWS VPN. As solicitações para fazer interface de VPC endpoints para o S3 são roteadas para o S3 pela rede da Amazon. Você pode configurar grupos de segurança e configurar políticas de VPC endpoint para os VPC endpoints de sua interface para obter mais controles de acesso.
Saiba mais acessando Gerenciamento e segurança de acesso do S3, o e-book sobre segurança e proteção de dados do S3 e e proteção de dados no Amazon S3.
Processamento de dados
Open allS3 Object Lambda
Com o S3 Object Lambda, você pode adicionar seu próprio código às solicitações GET, LIST e HEAD do S3 para modificar e processar dados conforme eles são retornados a uma aplicação. Você pode usar o código personalizado para modificar os dados retornados por solicitações GET do S3 padrões para filtrar linhas, redimensionar imagens dinamicamente, editar dados confidenciais e muito mais. Você também pode usar o S3 Object Lambda para modificar a saída de solicitações LIST do S3 a fim de criar uma visualização personalizada dos objetos em um bucket e solicitações HEAD do S3 a fim de modificar metadados de objetos, como o nome e o tamanho do objeto. Com as funções do AWS Lambda, seu código é executado em uma infraestrutura totalmente gerenciada pela AWS, removendo a necessidade de criar e armazenar cópias derivadas de seus dados ou executar proxies caros, tudo sem a necessidade de alterações nas aplicações.
O S3 Object Lambda usa funções do AWS Lambda para processar automaticamente a saída de uma solicitação GET, HEAD ou LIST do S3 padrão. O AWS Lambda é um serviço de computação com tecnologia sem servidor que executa um código definido pelo cliente sem exigir o gerenciamento de recursos de computação subjacentes. Com apenas alguns cliques no Console de Gerenciamento da AWS, você pode configurar uma função do Lambda e anexá-la a um ponto de acesso do S3 Object Lambda. Desse ponto em diante, o S3 chamará automaticamente sua função Lambda para processar quaisquer dados recuperados por meio do ponto de acesso do S3 Object Lambda, retornando um resultado transformado de volta a aplicação. Você pode criar e executar suas próprias funções do Lambda personalizadas, adaptando a transformação de dados do S3 Object Lambda ao seu caso de uso específico.
Consulta in-loco
Open allConsulta in-loco
O Amazon S3 tem serviços complementares que consultam dados sem a necessidade de copiá-los e carregá-los em uma plataforma de análise ou data warehouse separado. Isso significa que você pode executar análises de dados diretamente nos seus dados armazenados no Amazon S3.
O Amazon S3 é compatível com os serviços de análise da AWS Amazon Athena e Amazon Redshift Spectrum. O Amazon Athena consulta seus dados no Amazon S3 sem a necessidade de extrair e carregá-los em um serviço ou uma plataforma separada. Ele usa expressões SQL padrão para analisar seus dados, gera resultados em segundos e normalmente é usado para descoberta de dados ad-hoc. O Amazon Redshift Spectrum também executa consultas SQL diretamente em dados em repouso no Amazon S3 e é mais apropriado para consultas complexas e grandes conjuntos de dados (até exabytes). Como o Amazon Athena e o Amazon Redshift compartilham um catálogo de dados e formatos de dados comuns, é possível usá-los nos mesmos conjuntos de dados no Amazon S3.
Saiba mais sobre como consultar seus dados no Amazon S3 lendo a postagem no blog do .
Transferência de dados
Open allTransferência de dados
A AWS tem um portfólio de serviços de transferência de dados para fornecer a solução certa para qualquer projeto de migração de dados. O nível de conectividade é um fator importante na migração de dados e a AWS tem produtos capazes de atender suas necessidades de armazenamento em nuvem híbrida, transferência de dados online e transferência de dados offline.
Armazenamento em nuvem híbrida: o AWS Storage Gateway é um serviço de armazenamento em nuvem híbrida que permite conectar e ampliar diretamente suas aplicações de armazenamento on-premises para o Armazenamento da AWS. Os clientes usam o Storage Gateway para substituir sem problemas bibliotecas de fitas por armazenamento na nuvem, fornecer compartilhamentos de arquivos com backup na nuvem ou criar cache de baixa latência para acessar dados na AWS para aplicativos no local.
Transferência de dados online: o AWS DataSync facilita e torna eficiente a transferência de centenas de terabytes e milhões de arquivos para o Amazon S3 de forma até dez vezes mais rápida do que as ferramentas de código aberto. O DataSync processa ou elimina automaticamente muitas tarefas manuais, incluindo trabalhos de cópia de scripts, agendamento e monitoramento de transferências, validação de dados e otimização de utilização de rede. Além disso, você pode usar o AWS DataSync para copiar objetos entre um bucket no S3 on Outposts e um bucket armazenado em uma região da AWS. A AWS Transfer Family oferece uma transferência de dados para o Amazon S3 totalmente gerenciada, simples e direta usando SFTP, FTPS e FTP. O Amazon S3 Transfer Acceleration permite transferências de arquivos rápidas em longas distâncias entre seu cliente e o bucket do Amazon S3.
Transferência de dados off-line com pouca ou nenhuma conectividade: o serviço AWS Snowball usa dispositivos robustos e portáteis de armazenamento e computação de borda para coleta, processamento e migração de dados. Os clientes podem receber o dispositivo Snowball físico para migração de dados offline para a AWS.
Os clientes também podem trabalhar com provedores de terceiros da Rede de Parceiros da AWS (APN) para implantar arquiteturas de armazenamento híbridas, integrar o Amazon S3 com aplicações e fluxos de trabalho existentes e transferir dados para e a partir da AWS.
Saiba mais ao acessar os serviços de migração de dados na Nuvem AWS, AWS Storage Gateway, AWS DataSync, AWS Transfer Family, Amazon S3 Transfer Acceleration, AWS Snowball.
Data Exchange
Open allData Exchange
O AWS Data Exchange para Amazon S3 acelera o tempo de obtenção de informações com acesso direto aos dados do Amazon S3 dos provedores de dados. O AWS Data Exchange para Amazon S3 ajuda você a encontrar, assinar e usar facilmente arquivos de dados de terceiros para otimização de custos de armazenamento, gerenciamento simplificado de licenciamento de dados e muito mais. Destina-se a assinantes que desejam usar facilmente arquivos de dados de terceiros para análise de dados com serviços da AWS sem precisar criar ou gerenciar cópias de dados. Também é útil para provedores de dados que desejam oferecer acesso in-loco aos dados hospedados em seus buckets do Amazon S3.
Uma vez autorizados a acessar um conjunto de dados do AWS Data Exchange para Amazon S3, os assinantes de dados podem executar análises de dados sem precisar configurar seus próprios buckets do S3, copiar arquivos de dados para esses buckets do S3 ou pagar as taxas de armazenamento associadas. As análises de dados podem ser realizadas com serviços da AWS, como Amazon Athena, Amazon SageMaker Feature Store ou Amazon EMR. Como os assinantes acessam os mesmos objetos do S3 mantidos pelo provedor de dados, usam sempre os dados mais atualizados disponíveis, sem necessidade de trabalho adicional de engenharia ou operações. Os provedores de dados podem configurar facilmente o AWS Data Exchange for Amazon S3 com base em buckets do S3 existentes para compartilhar o acesso direto a um bucket do S3 inteiro ou prefixos e objetos específicos do S3. Após a configuração, o AWS Data Exchange gerencia automaticamente assinaturas, autorizações, faturamento e pagamentos.
Performance
Open allPerformance
O Amazon S3 fornece a melhor performance do setor para o armazenamento de objetos na cloud. O Amazon S3 suporta solicitações paralelas, ou seja, você pode escalar a performance do S3 pelo fator do cluster de computação sem fazer nenhuma personalização na aplicação. A performance é escalada por prefixo, para que você possa usar quantos prefixos forem necessários em paralelo para atingir a taxa de transferência necessária. Não há limites quanto ao número de prefixos. A performance do Amazon S3 suporta, pelo menos, 3.500 solicitações por segundo para adicionar dados e 5.500 solicitações por segundo para recuperar dados. Cada prefixo do S3 pode dar suporte a essas taxas de solicitação, simplificando muito o aumento da performance.
Para conseguir essa performance da taxa de solicitação do S3, pode ser necessário randomizar os prefixos do objeto para conseguir uma performance mais rápida. Isso significa que você pode usar padrões de nomenclatura lógicos ou sequenciais nos objetos do S3 sem nenhuma implicação na performance. Consulte as Diretrizes de performance do Amazon S3 e os Padrões de design da performance do Amazon S3 para ter as informações mais atuais sobre a otimização da performance do Amazon S3.
Consistência
O Amazon S3 oferece automaticamente uma forte consistência de leitura após gravação para todas as aplicações, sem alterações no desempenho ou na disponibilidade, sem sacrificar o isolamento regional das aplicações e sem custo adicional. Com a Consistência Forte S3, o S3 simplifica a migração das workloads de análises on-premises, acabando com a necessidade de fazer alterações nas aplicações, e reduz os custos eliminando a necessidade de usar uma infraestrutura extra para fornecer tal consistência forte.
Qualquer solicitação do armazenamento S3 tem uma forte consistência. Após uma gravação bem-sucedida de um novo objeto ou uma substituição de um objeto existente, qualquer solicitação de leitura subsequente recebe imediatamente a versão mais recente do objeto. O S3 também fornece uma consistência forte para operações de lista. Dessa maneira, após uma gravação, você pode executar imediatamente uma listagem dos objetos em um bucket com todas as alterações refletidas.
Uso pretendido e restrições
O uso deste serviço está sujeito ao Contrato de Cliente da Amazon Web Services.