Amazon S3 Tabloları
Amazon S3'te tam olarak yönetilen Apache Iceberg tablolarıyla tablo verilerini ölçekte depolayın
S3 Tabloları Nedir?
Amazon S3 Tabloları, veri göllerini ve göl evlerini yönetmenin operasyonel yükünü otomatikleştiren tam olarak yönetilen Apache Iceberg tablolarıdır. Gelişmiş sıkıştırma ve bakım stratejileri sayesinde S3 Tabloları, veri hacimleri büyüdükçe sorgu performansını otomatik olarak optimize eder. S3 Tabloları; Apache Spark, Trino, Amazon Athena, Amazon Redshift ve diğer üçüncü taraf araçlar dahil olmak üzere tüm Iceberg uyumlu altyapılarla çalışır, mimari esneklik sağlar ve tablo verilerini ölçekte depolamanın en kolay yolunu sunar.
Avantajlar
S3 Tabloları; sıkıştırma, anlık yedek yönetimi ve referanssız dosya kaldırma yoluyla Iceberg tablolarını sürekli olarak optimize eder. Otomatik çoğaltma, dağıtılmış ekipler için sorgu gecikmesini azaltır ve Akıllı Katmanlama depolama maliyetlerini %80'e kadar azaltır. Sonuç olarak, veri ekipleri altyapıyı yönetmek yerine oluşturmaya odaklanabilirler.
İş yükleri arttıkça, Iceberg tablosunun bakımı ve optimizasyonu daha da önem kazanır ve bunlara ayak uydurmak zorlaşır. S3 Tabloları, tabloların performansını otomatik olarak korur, böylece sorgular, verileriniz büyüdükçe performans düşüşü yaşamak yerine tutarlı kalır. Veriler, varsayılan olarak %99,999999999 (11 tane dokuz) dayanıklılık ve %99,99 erişilebilirlik sağlayacak şekilde tasarlanmış buluttaki en dayanıklı depolama alanı ile desteklenir.
Apache Iceberg açık standardı üzerine kurulan S3 Tablolar, verilerinizin hiçbir zaman tek bir işlem altyapısına veya satıcıya bağlı kalmamasını sağlar. S3 Tabloları, Iceberg REST Katalog API'sini ortaya çıkarır, bu nedenle Spark, Trino, Flink, Athena, Redshift, Snowflake ve diğer üçüncü taraf araçları dahil olmak üzere Iceberg uyumlu altyapılarla çalışır ve uzun vadeli esneklik sağlarken mevcut araçlara yapılan yatırımı korur.
Iceberg tablosu yönetişimi ve güvenliğini yönetmek, karmaşık ve parçalı olabilir. S3 Tabloları, her tablo için S3 bucket politikalarını yönetme ihtiyacını ortadan kaldıran ve karmaşık analiz ortamları için yönetişimi basitleştiren tablo düzeyinde erişim denetimi, şifreleme ve yaşam döngüsü yönetimine sahip birinci sınıf AWS kaynaklarıdır.
S3 Tabloları, genel amaçlı S3 bucket'larında depolanan Iceberg tablolarına kıyasla saniyede 10 kata kadar daha yüksek işlem ile analiz için optimize edilmiş depolama sağlar. MCP desteği ile yapay zeka temsilcileri ve büyük dil modelleri, S3 Tablolarıyla etkileşime girebilir ve yapay zeka odaklı analizi mümkün kılar. AWS Analiz hizmetleriyle yerel entegrasyonlar ve Iceberg REST API'si aracılığıyla üçüncü taraf araçlarla uyumluluk, S3 Tablolarının yeni ortaya çıkan yapay zeka destekli iş akışlarını destekleyeceği anlamına gelir.
S3 Tabloları nasıl çalışır?
Kullanım örnekleri
Parquet, Apache Hive veya Hadoop'tan Apache Iceberg tablolarına geçerek veri göllerini modernleştirin, gelişmiş analiz ve yapay zeka/makine öğrenimi öğrenme iş yüklerini destekleyen ölçeklenebilir yapay zekaya hazır veri gölleri oluştururken operasyonel karmaşıklığı azaltın.
Daha fazla bilgi edinin
AWS Akış hizmetlerini kullanarak IoT sensörleri, işlem sistemleri ve uygulama günlükleri gibi kaynaklardan verileri doğrudan Iceberg tablolarına aktarın. Arka planda otomatik optimizasyon sayesinde akış halindeki veriler neredeyse gerçek zamanlı olarak sorgulanabilir durumda kalır.
S3 Tabloları, Iceberg tablolarını genel amaçlı bucket'larda depolamaya kıyasla saniyede 10 kata kadar daha yüksek işlem sunar ve bu da onları büyük ölçekli analiz iş yükleri ve yüksek aktarım hızı gerektiren işlemler için çok uygun hale getirir.
Model Bağlam Protokolü (MCP) aracılığıyla doğal dil kullanarak Iceberg tablolarında depolanan verileri sorgulayın ve SQL uzmanlığına gerek kalmadan anlık keşifler yapın. S3 Tabloları, sorgu performansını koruyan otomatik optimizasyon ile birden fazla kullanıcı ve yapay zeka yardımcısından eş zamanlı erişimi destekler.
Daha fazla bilgi edinin
Bir demo izleyin
Amazon S3 Tabloları, neden oluşturduğumuz ve nasıl çalıştıkları hakkında bilgi edinin
Hemen izleyinÇözüm ortakları ve entegrasyonlar
Daft
"Amazon S3 Tabloları, Daft'ın Apache Iceberg desteğinin mükemmel bir tamamlayıcısıdır. Bu hizmetin AWS Lake Formation ve AWS Glue ile entegrasyonlarından yararlanarak hem mevcut Iceberg okuma ve yazma kabiliyetlerimizi Amazon S3 Tablolarına kolayca genişlettik hem de optimize edilmiş performanstan yararlandık. Bu yeni hizmetin evrimini dört gözle bekliyoruz ve Python Veri Mühendisliği ve makine öğrenimi/yapay zeka ekosistemi için sınıfının en iyisi S3 Tabloları desteğini sağlamaktan heyecan duyuyoruz."
Sammy Sidhu, CEO ve Kurucu Ortak - Daft
Dremio
"Dremio, Amazon S3 Tablolarının genel kullanılabilirliğini desteklemekten memnuniyet duyar. Apache Iceberg REST Kataloğu (IRC) teknik özelliklerini desteklemesi sayesinde Dremio ile sorunsuz birlikte çalışabilirlik sağlayan S3 Tabloları, kullanıcılara optimize edilmiş S3 tablo bucket'larında yönetilen Apache Iceberg tablolarını sorgulama kabiliyetine sahip yüksek performanslı bir SQL altyapısından yararlanma olanağı tanır. Göl evi ekosistemindeki açık standartların önemini pekiştiren bu iş birliği, entegrasyon karmaşıklığını ortadan kaldırıyor ve müşterilerin benimsemesini hızlandırıyor. Amazon S3 Tabloları ve IRC desteği sayesinde kuruluşlar, yapay zeka çağında birleşik bir göl evi mimarisi oluşturmak için gereken esnekliği ve seçenekleri elde ediyor."
Rahim Bhojani, CTO - Dremio
DuckDB Labs
"Amazon S3 Tabloları, DuckDB'nin açık dosya formatlarını kullanarak veri analizini demokratikleştirme vizyonuyla mükemmel uyum sağlıyor. AWS ile DuckDB Labs arasındaki iş birliği, DuckDB'deki Iceberg desteğini daha geniş bir alana yaymamıza ve S3 Tabloları ile sorunsuz entegrasyon geliştirmemize olanak tanıyor. Hem DuckDB'nin hem de S3 Tablolarının benimsediği piller kutuya dahildir felsefesinin, giriş gereksinimlerini inanılmaz derecede düşük tutarken çok çeşitli iş yüklerini ele alabilen güçlü bir analiz yığınında birleştiğine inanıyoruz."
Hannes Mühleisen, İcra Kurulu Başkanı (CEO) - DuckDB Labs
HighByte
"Amazon S3 Tabloları, analiz iş yükleri için tablo verilerinin yönetimini, performansını ve depolanmasını optimize eden yeni ve güçlü bir özelliktir. HighByte Intelligence Hub'ın Amazon S3 Tabloları ile doğrudan entegrasyonu, küresel üreticilerin endüstriyel verileri için açık bir işlemsel veri gölü oluşturmalarını kolaylaştırır. S3 Tablolarının ham Parquet verileri için anında sorgulama imkanı sunması, müşterilere herhangi bir ek işleme veya dönüşüm gerçekleştirmeden bağlamsal bilgileri anında kullanım için uçtan buluta gönderme olanağı tanır. Bu olanak, ortak müşterilerimiz için hem performans hem de maliyet optimizasyonu üzerinde büyük bir etkiye sahiptir."
Aron Semle, Teknoloji Direktörü (CTO) - HighByte
PuppyGraph
"Amazon S3 uzun zamandır modern veri altyapısının temeli olmuştur ve S3 Tablolarının kullanıma sunulması Apache Iceberg'i veri ve yapay zeka için evrensel standart haline getirerek önemli bir kilometre taşını temsil edilmektedir. Kuruluşların S3 üzerinde yüksek performanslı, açık tablo formatlarından yararlanmasına olanak tanıyan bu yenilik, veri çoğaltma olmadan çok altyapılı analizleri mümkün kılar. PuppyGraph müşterileri için bu yenilik, bundan böyle gerçek zamanlı grafik sorgularını doğrudan S3 verileri üzerinde çalıştırarak, karmaşık ETL yükü olmadan taze ve ölçeklenebilir öngörüleri sürdürebilecekleri anlamına gelir. Grafik analizlerini verilerin kendisi kadar sorunsuz hale getiren bu evrimin bir parçası olmaktan heyecan duyuyoruz."
Weimo Liu, Kurucu Ortak ve CEO - PuppyGraph
RisingWave
"RisingWave'in Amazon S3 Tabloları ile entegrasyonu, kuruluşların Amazon S3'teki Apache Iceberg tablolarından sorunsuz bir şekilde yararlanmalarını sağlayarak, akış veri işlem hattı özelliklerini geliştirmelerini sağlıyor. İster ham verileri alıyor, ister gerçek zamanlı olarak dönüştürüyor veya sonuçları S3'e geri yazıyor olun, RisingWave iş akışınızın doğal bir uzantısı olarak Iceberg tablolarıyla çalışmayı kolaylaştırır. Bu entegrasyon, veri yönetimini basitleştirir, operasyonel karmaşıklığı azaltır ve akış analizi ile çalışan ekipler için sorunsuz birlikte çalışabilirlik sağlar."
Rayees Pasha, CPO - RisingWave Labs
Ryft
"Ryft'in Amazon S3 Tabloları ile entegrasyonu, ekiplerin Apache Iceberg tablolarını tamamen otonom bir göl evi olarak çalıştırmasına olanak sağlıyor. Müşteriler, Iceberg'e özgü depolama alanında, iş yüküne duyarlı optimizasyon ve yönetişim, otomatik dosya düzeni optimizasyonu ve sıkıştırma, yönetilen anlık yedek saklama ve kurtarma, Apache Iceberg tabloları için otomatik uyumluluk ve göl evleri hakkında tam görünürlük elde ederler. Ryft ve S3 Tabloları birlikte, manuel ayarlama veya cron tabanlı bakım gerektirmeden tutarlı bir şekilde hızlı sorgulamalar, daha düşük depolama maliyetleri ve güvenilir işlemler sunar."
Yossi Reitblat, CEO ve Ortak Kurucu - Ryft
Snowflake
"Snowflake'in büyüsünü Amazon S3 Tablolarına getirmekten heyecan duyuyoruz. Bu iş birliği, Snowflake müşterilerine mevcut Snowflake kurulumlarını kullanarak S3 Tablolarında depolanan verileri sorunsuz bir şekilde okuma ve işleme imkanı sağlayarak karmaşık veri taşıma veya çoğaltma ihtiyaçlarını ortadan kaldırıyor. Kuruluşlar, Snowflake'in birinci sınıf performans analizi kabiliyetlerini Amazon S3 Tablolarının Apache Iceberg tablolarını verimli bir şekilde depolama kabiliyetiyle birleştirerek Amazon S3'te depolanan tablo verilerini kolayca sorgulayabilir ve analiz edebilir."
Rithesh Makkena, Çözüm Ortağı Çözümleri Mühendisliği Küresel Direktörü - Snowflake
Starburst
"Amazon S3'ün, Iceberg Açık Veri Göl Evi ekosistemini daha da ileriye taşıyarak S3 Tabloları ile Apache Iceberg için yerleşik destek sunmasından heyecan duyuyoruz. S3 tablo bucket'ları sayesinde AWS ile iş birliği yaparak, ortak müşterilerimizin önde gelen bir açık kaynaklı MPP SQL altyapısı olan optimize edilmiş Trino tarafından desteklenen Açık Göl Evi'nin gücünü çeşitli analiz ve yapay zeka kullanım örneklerinde Amazon S3'teki verilere taşımasına yardımcı olmayı dört gözle bekliyoruz."
Matt Fuller, Üründen Sorumlu Başkan Yardımcısı - Starburst
StreamNative
"Amazon S3 Tablolarıyla entegrasyonumuz, yapay zekaya hazır gerçek zamanlı verileri her zamankinden daha açık ve erişilebilir hale getiriyor. Ursa'nın S3 üzerindeki lidersiz mimarisi depolama maliyetlerini zaten düşürürken, S3 Tabloları ile doğrudan entegrasyon performansı ve verimliliği daha da artırıyor. Yapay zeka odaklı bir dünyada, veri yönetişimi büyük önem taşıyor. StreamNative olarak bir yandan işletmelerin toplam sahip olma maliyetlerini (TCO) %90 oranında azaltmalarına yardımcı olurken bir yandan da yönetişim kapsamındaki gerçek zamanlı verilerle yapay zeka destekli uygulamalar oluşturmayı zahmetsiz ve uygun maliyetli hale getirmek için elimizden gelenin en iyisini yapıyoruz."
Sijie Guo, CEO ve Kurucu Ortak - StreamNative
Sık sorulan sorular
Tablo şeklindeki verileri Amazon S3'te depolamak üzere basit, yüksek performanslı ve uygun maliyetli bir yol için S3 Tablolarını kullanmalısınız. S3 Tabloları, yapılandırılmış verilerinizi tablolar halinde organize etme ve ardından bu verileri neredeyse hiç kurulum yapmadan standart SQL deyimlerini kullanarak sorgulama olanağı sağlar. Ek olarak S3 Tabloları, S3'ün kendisiyle aynı dayanıklılık, kullanılabilirlik, ölçeklenebilirlik ve performans özelliklerini sunar ve sorgu performansını en üst düzeye çıkarmak ve maliyeti en aza indirmek için depolamanızı otomatik olarak optimize eder. Ayrıca Akıllı Katmanlama depolama sınıfı ile S3 Tabloları, performans etkisi veya operasyonel ek yük olmadan erişim modellerine göre maliyetleri otomatik olarak yönetir.
S3 Tabloları, Iceberg tablolarını genel amaçlı Amazon S3 bucket'larında depolamaya kıyasla 10 kata kadar daha yüksek saniye başına işlem (TPS) sunar. S3 Tabloları, tablolarınızı optimum sorgu performansı için sürekli olarak optimize etmek için temel veriler üzerinde otomatik olarak sıkıştırma gerçekleştirir. İş yükünüze ve sorgu kalıplarınıza bağlı olarak, tablolarınızı daha da optimize etmek için sıralama ve z sıralı sıkıştırma gibi gelişmiş sıkıştırma stratejileri arasından seçim yapabilirsiniz. Sıralama sıkıştırması, filtrelenmiş işlemler için sorgu performansını iyileştirmek amacıyla verileri belirtilen sütunlara göre düzenlerken, z sıralı sıkıştırma ise verilerin birden fazla boyutta düzenlenmesini optimize ederek, aynı anda birden fazla sütunda veri sorgulamanız gerektiğinde idealdir.
S3 dışında herhangi bir altyapıya gerek kalmadan yalnızca bir kaç basit adımda S3 Tablolarını kullanmaya başlayabilirsiniz. İlk olarak, S3 konsolunda bir tablo bucket'ı oluşturun. Konsol aracılığıyla ilk tablo bölmenizi oluşturmanın bir parçası olarak AWS Analiz hizmetleriyle entegrasyon otomatik olarak gerçekleşir ve bu sayede S3'ün hesabınızdaki ve Bölgenizdeki tüm tablo bucket'larını ve tabloları AWS Glue Veri Kataloğu'nda otomatik olarak doldurmasını sağlar. Bundan sonra S3 Tablolarına artık Amazon Athena, EMR ve Redshift gibi AWS sorgu motorları erişebilir. Ardından, S3 konsolundan Amazon Athena kullanarak bir tablo oluşturmak için tıklayabilirsiniz. Athena'ya girdikten sonra, hızlı bir şekilde yeni tabloları doldurmaya ve sorgulamaya başlayabilirsiniz.
Alternatif olarak, tüm tablo kaynakları da dahil olmak üzere tüm veri varlığınızı keşfetmenizi sağlayan AWS Glue Veri Kataloğu aracılığıyla Iceberg REST Kataloğu uç noktasını kullanarak S3 Tablolarına erişebilirsiniz. Ayrıca, söz konusu bucket'taki tüm S3 Tabloları kaynaklarını keşfetmek için doğrudan bir tablo bucket'ı uç noktasına bağlanabilirsiniz. Bu, S3 Tablolarını Apache Iceberg REST Kataloğu özelleştirmesini destekleyen herhangi bir uygulama veya sorgu motoruyla kullanmanıza olanak tanır.