Metadados do Amazon S3 agora oferecem suporte a objetos existentes e reduzem o preço em até 33%
Os Metadados do Amazon S3 criam e gerenciam metadados que fornecem informações sobre conjuntos de dados armazenados no S3, para que você possa descobrir e usar seus dados do S3 com mais facilidade. Anteriormente, os Metadados do S3 davam suporte a objetos novos e atualizados. Agora, os Metadados do S3 também criam e gerenciam metadados para todos os seus dados existentes do S3, para que você possa escrever uma consulta SQL, entre metadados, para qualquer quantidade de armazenamento do S3.
Os Metadados do S3 criam e mantêm duas tabelas do Apache Iceberg que oferecem uma visão consultável e continuamente atualizada dos metadados associados a um bucket do S3. Uma tabela de diário registra as alterações feitas em seus dados quase em tempo real, ajudando você a identificar novos dados enviados para seu bucket, rastrear objetos excluídos recentemente, monitorar as transições do ciclo de vida e muito mais. Uma nova tabela de inventário ao vivo fornece e mantém uma visão atualizada de todos os objetos em seu bucket. As duas tabelas de Metadados do S3 são armazenadas em um bucket de tabelas do Iceberg gerenciado pela AWS em sua conta e podem ser consultadas usando SQL padrão por meio de serviços de analytics da AWS, como Amazon Athena ou Amazon EMR, e ferramentas de código aberto, como DuckDB e PyIceberg.
Atualmente, os Metadados do S3 estão disponíveis no Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio) e Oeste dos EUA (Oregon). Você paga uma pequena taxa por cada alteração no conjunto de dados subjacente registrado nas tabelas do diário de Metadados do S3. Atualmente, estamos reduzindo o preço da tabela do diário em 33% para tornar o rastreamento e o preenchimento de alterações em tempo real mais econômicos para grandes conjuntos de dados. Além disso, você paga uma pequena taxa por objeto para preencher suas tabelas de inventário ao vivo com informações sobre os conjuntos de dados existentes do S3. Para obter mais detalhes sobre os preços, visite a página de preços do Amazon S3. Para saber mais e começar, acesse a página do produto, a documentação e leia o blog de notícias da AWS.