Amazon S3 Tabloları
Veri gölünüz ölçeklenirken sorgu performansını ve maliyetini optimize edin
Büyük hacimli tablo biçimindeki verileri S3'te depolayın
Amazon S3 Tabloları, yerleşik Apache Iceberg desteğine sahip ilk bulut nesne depolamasını sunar ve büyük ölçekli tablo biçimindeki verileri depolamayı kolaylaştırır. Sürekli tablo optimizasyonu, arka planda tablo verilerini otomatik olarak tarayıp yeniden yazar. Bu sayede, yönetilmeyen Iceberg tablolarına kıyasla 3 kata kadar daha hızlı sorgu performansı sağlar. Bu performans optimizasyonları zamanla gelişmeye devam edecektir. Ayrıca S3 Tabloları, genel amaçlı S3 bucket'larında depolanan Iceberg tablolarına kıyasla saniyede 10 kata kadar daha fazla işlem sağlayan Iceberg iş yüklerine özel optimizasyonlar içerir. S3 Tablolarının sorgu performansı iyileştirmeleri hakkında daha fazla ayrıntı için blog gönderisine bakın.
Apache Iceberg standardı için S3 Tablolar desteğiyle tablo verileriniz, popüler AWS ve üçüncü taraf sorgu altyapıları ile kolayca sorgulanabilir. Günlük satın alma işlemleri, sensör verisi akışı veya reklam gösterimleri gibi tablo biçimindeki verileri S3'te bir Iceberg tablosu olarak depolamak için S3 Tabloları'nı kullanın ve otomatik tablo bakımından yararlanarak verileriniz değiştikçe performansı ve maliyeti optimize edin. Daha fazla bilgi edinmek için blog gönder isini okuyun.
Avantajlar
İster yeni başlıyor ister Iceberg ortamınızda binlerce tabloyu yönetiyor olun, herhangi bir ölçekteki veri göllerini basitleştirin.
Sürekli tablo optimizasyonu sayesinde, yönetilmeyen Iceberg tablolarına kıyasla 3 kata kadar daha hızlı sorgu performansı ve genel amaçlı S3 bucket'larında depolanan Iceberg tablolarına kıyasla saniyede 10 kata kadar daha fazla işlem elde edin.
Zaman içinde sorgu verimliliğini ve maliyetleri otomatik olarak optimize etmek için sıkıştırma, anlık görüntü yönetimi ve referanssız dosya kaldırma gibi sürekli tablo bakım görevlerini gerçekleştirin.
Amazon SageMaker Göl Evi ile S3 Tabloları entegrasyonu aracılığıyla Amazon Athena, Redshift ve EMR gibi bilindik AWS hizmetlerini kullanarak gelişmiş Iceberg analiz özelliklerine ve sorgulama verilerine erişin. Ek olarak, verileri okumak ve S3 Tablolarına yazmak için Apache Spark, Apache Flink, Trino, DuckDB ve PyIceberg gibi Iceberg REST uyumlu üçüncü taraf uygulamalarını da kullanabilirsiniz.
Birinci sınıf AWS kaynakları olarak tablolar oluşturun ve bunlara erişimi kolayca yönetmek için izinler uygulayın.
Nasıl çalışır?
S3 Tablolar, yapılandırılmış verileri Apache Parquet, Avro ve ORC formatlarında depolamak için özel olarak oluşturulmuş S3 depolama sağlar. Doğrudan S3'te bir tablo bucket'ı içinde birinci sınıf kaynaklar olarak tablolar oluşturabilirsiniz. Bu tablolar, kimlik veya kaynak tabanlı politikalarda tanımlanan tablo düzeyinde izinlerle güvence altına alınabilir ve Apache Iceberg standardını destekleyen uygulamalar veya araçlar tarafından erişilebilir. Tablo klasörünüzde bir tablo oluşturduğunuzda, S3'teki temel veriler Parquet, Avro veya ORC dosyaları olarak saklanır. Ardından S3, bu verileri uygulamalarınız tarafından sorgulanabilir hale getirmek için gerekli meta verileri korur. Tablo bucket'ları, sorgu altyapıları tarafından tablo bucket'ınızdaki tabloların Iceberg meta verilerinde gezinmek ve bunları güncellemek için kullanılan bir istemci kitaplığı içerir. Bu kitaplık, tablo işlemleri için güncellenmiş S3 API'leri ile birlikte, birden fazla istemcinin verileri güvenli bir şekilde okumasına ve tablolarınıza yazmasına olanak tanır. Zamanla S3, nesnelerinizi yeniden yazarak veya “sıkıştırarak” temel Parquet, Avro veya ORC verilerini otomatik olarak optimize eder. Sıkıştırma, sorgu performansını iyileştirmek ve maliyetleri en aza indirmek için S3'teki verilerinizi optimize eder. Daha fazla bilgi edinmek için kullanım kılavuzunu okuyun.
Müşteriler
Genesys
Genesys, Yapay Zeka Destekli Deneyim Düzenleme alanında küresel bir bulut lideridir. Gelişmiş yapay zeka, dijital ve iş gücü etkileşim yönetimi yetenekleri aracılığıyla Genesys, gelişmiş iş çevikliği ve sonuçlarından avantaj sağlarken 100'den fazla ülkede 8.000'den fazla kuruluşa kişiselleştirilmiş, empatik müşteri ve çalışan deneyimleri sunmaları konusunda yardımcı oluyor.
“Amazon S3 Tablolar, özellikle çeşitli veri analizi ihtiyaçları için etkili bir şekilde somutlaştırılmış bir görünüm katmanı oluşturan yönetilen Iceberg desteğiyle veri mimarimize dönüştürücü bir katkı sağlayacak. Bu teklif, Genesys'in ekstra tablo yönetimi katmanlarını ortadan kaldırarak karmaşık veri iş akışlarını basitleştirmesine yardımcı olma potansiyeline sahiptir ve S3; sıkıştırma, anlık yedek yönetimi ve referanssız dosya temizleme gibi temel bakım görevlerini otomatik olarak ele alır. Iceberg Tablolarını doğrudan S3'ten okuma ve yazma yeteneği, performansı artırmamıza ve verileri analiz ekosistemimizde sorunsuz bir şekilde entegre etmek için yeni olanaklar yaratmamıza yardımcı olacaktır. Performans geliştirmeleriyle birleşen bu birlikte çalışabilirlik, S3 Tablolarını hızlı, esnek ve güvenilir veri içgörüleri sunmak için gelecekteki stratejimizin önemli bir parçası olarak konumlandırıyor. “
Glenn Nethercutt, Teknoloji Direktörü, Genesys
Pendulum
Video, ses ve metin içerikleri konusunda dünyanın en geniş kapsamına sahip Marka Zekası platformu olan Pendulum, riskleri ve fırsatları proaktif şekilde tespit ederek kuruluş genelinde daha iyi karar alma ve izleme analizi sağlar.
Pendulum Intelligence'de yüz milyonlarca sosyal kanaldan ve kaynaktan gelen verileri analiz ediyoruz. Amazon S3 Tabloları, hem binlerce saatlik analiz edilmiş video ve ses içeriğini işleyen hem de tescilli makine öğrenimi araçlarımızı kullanarak görüntülerden ve diğer ortamlardan neredeyse gerçek zamanda bağlam ayıklayan veri gölümüzü yönetme şeklimizi değiştirdi. Sıkıştırma, anlık yedekler ve dosya temizleme dahil olmak üzere tablo yönetimi yükünü ortadan kaldırması sayesinde, ekibimiz en önemli şeye, yani devasa veri kümelerinden eyleme geçirilebilir öngörüler elde etmeye odaklanabiliyor. Analitik yığınımızla (Amazon Athena, AWS Glue ve Amazon EMR) sorunsuz entegrasyon, karmaşık verileri ölçekte işleme yeteneğimizi önemli ölçüde geliştirdi. “
Abdurrahman Elbuni, Bulut Büyük Veri Mimarı - Pendulum
SnapLogic
SnapLogic, yapay zeka liderliğindeki entegrasyonda öncüdür. SnapLogic Üretken Entegrasyon Platformu, görevleri otomatikleştiren, gerçek zamanlı kararlar veren ve mevcut iş akışlarına zahmetsizce entegre olan yapay zeka temsilcileri ve entegrasyonlar tasarlamak, dağıtmak ve yönetmek üzere kuruluş genelinde dijital dönüşümü hızlandırır.
Yerleşik Apache Iceberg desteği ve AWS Analytics hizmetleri entegrasyonu ile Amazon S3 Tablolar, şirketlerin veri analizi maliyetlerini optimize etmelerine yardımcı olurken, iş verilerini analitik, uyumluluk ve yapay zeka girişimleri için kullanma biçimlerini dönüştürmelerine yardımcı oluyor. Karmaşık veri yönetimi görevlerini otomatikleştirerek ve veri değişikliklerinin eksiksiz denetim izlerini sağlayarak ekipler geçmiş verileri anında analiz edebilir, mevzuata uygunluğu koruyabilir ve teknoloji maliyetlerini önemli ölçüde azaltırken iş içgörülerini hızlandırabilir. “
Dominic Wellington, Kurumsal Mimar, SnapLogic
Zus Health
Zus; API, gömülü bileşenler ve doğrudan EHR entegrasyonları aracılığıyla kullanımı kolay hasta verileri sağlayarak sağlık verilerinin birlikte çalışabilirliğini hızlandırmak üzere tasarlanmış, paylaşılan bir sağlık verileri platformudur.
“Sık sık değişen hasta verilerini kullanan bir sağlık şirketi olarak Apache Iceberg'e yatırım yapmaya karar verdik, çünkü Apache Hive ile bölümleme ve otomasyon konusundaki birçok sorun noktasını çözerek daha geniş birlikte çalışabilirlik avantajıyla çözdü. Iceberg ile ilgili en büyük zorluklarımızdan biri tablo optimizasyonunu anlamak ve yönetmek oldu. Bu nedenle S3 Tabloları ve yönetilen optimizasyon yetenekleri konusunda heyecanlıyız. Geliştirici tablo bakımının yükünü azaltabilmek, müşterilerimize yüksek kaliteli veriler ve değerli bilgiler getirmeye daha fazla odaklanmamızı sağlayacaktır. “
Sonya Huang, Danışman Yazılım Mühendisi, Zus Health
Çözüm ortakları ve entegrasyonlar
Daft
Veri mühendisliği, analiz ve ML/AI için birleşik bir altyapı olan ve Rust dilinde yazılmış olan Daft, hem SQL hem de Python DataFrame arabirimlerine birinci sınıf destek sunar. Hızlı ve keyifli bir yerel etkileşimli deneyim sunan Daft, petabayt ölçeğinde dağıtılmış iş yüklerine sorunsuz bir şekilde ölçeklenebilir.
“Amazon S3 Tablolar, Daft'in Apache Iceberg desteğinin mükemmel bir tamamlayıcısıdır. Bu hizmetin AWS Lake Formation ve AWS Glue ile entegrasyonlarından yararlanarak hem mevcut Iceberg okuma ve yazma kabiliyetlerimizi Amazon S3 Tablolarına kolayca genişlettik hem de optimize edilmiş performanstan yararlandık. Bu yeni hizmetin evrimini dört gözle bekliyoruz ve Python Veri Mühendisliği ve ML/AI ekosistemi için sınıfının en iyisi S3 Tablolar desteğini sağlamaktan heyecan duyuyoruz. “
Sammy Sidhu, CEO ve Kurucu Ortak - Daft
Dremio
Dremio; pazar lideri bir SQL altyapısı, açık ve birlikte çalışabilir bir veri kataloğu ve güvenli, ölçeklenebilir ve kullanımı kolay bir platform sunarak yapay zekayı ve analizleri hızlandıran akıllı göl evi platformudur. Apache Iceberg, Apache Polaris (erken geliştirme aşamasında) ve Apache Arrow topluluklarındaki liderliğimiz, kuruluşlara esneklikten ve kontrolden taviz vermeden tamamen açık ve yüksek performanslı göl evi mimarileri oluşturma gücünü vererek tek bir satıcıya bağımlılık riskini ortadan kaldırıyor.
“Dremio, Amazon S3 Tablolarının genel kullanılabilirliğini desteklemekten memnuniyet duyar. Apache Iceberg REST Kataloğu (IRC) teknik özelliklerini desteklemesi sayesinde Dremio ile sorunsuz birlikte çalışabilirlik sağlayan S3 Tabloları, kullanıcılara optimize edilmiş S3 tablo bucket'larında yönetilen Apache Iceberg tablolarını sorgulama kabiliyetine sahip yüksek performanslı bir SQL altyapısından yararlanma olanağı tanır. Göl evi ekosistemindeki açık standartların önemini pekiştiren bu iş birliği, entegrasyon karmaşıklığını ortadan kaldırıyor ve müşterilerin benimsemesini hızlandırıyor. Amazon S3 Tabloları ve IRC desteği ile kuruluşlar, yapay zeka çağında birleşik bir göl evi mimarisi oluşturmak için gereken esnekliği ve seçeneği elde eder. “
James Rowland-Jones, Üründen Sorumlu Başkan Yardımcısı - Dremio
DuckDB Labs
DuckDB Labs, popüler bir evrensel veri hazırlama aracı olan DuckDB'nin yaratıcıları tarafından kurulan şirkettir. Şirket, DuckDB sistemine önemli katkılarda bulunanları istihdam ediyor. DuckDB, MIT lisansı altında Ücretsiz ve Açık Kaynaklı bir yazılımdır ve kâr amacı gütmeyen bağımsız DuckDB Foundation tarafından yönetiliyor. DuckDB projesi, kullanım kolaylığı ve taşınabilirliği sayesinde hızlı analiz işlemeyi geniş bir kitlenin erişimine açıyor.
AWS Storage Blogu: DuckDB ile Amazon S3 Tablolarında depolanan tablo veri kümelerine erişimi kolaylaştırma
“Amazon S3 Tablolar, DuckDB'nin açık dosya formatlarını kullanarak veri analizini demokratikleştirme vizyonuyla mükemmel uyum sağlar. AWS ile DuckDB Labs arasındaki iş birliği, DuckDB'deki Iceberg desteğini daha geniş bir alana yaymamıza ve S3 Tabloları ile sorunsuz entegrasyon geliştirmemize olanak tanıyor. DuckDB ve S3 Tablolarının paylaşılan pil içeren zihniyetinin, giriş için inanılmaz derecede düşük bir engel oluştururken çok çeşitli iş yüklerini idare edebilen güçlü bir analitik yığınında birleştiğine inanıyoruz. “
Hannes Mühleisen, İcra Kurulu Başkanı (CEO) - DuckDB Labs
HighByte
HighByte, küresel üreticilerin dijital dönüşüm sürecinde karşılaştıkları veri mimarisi ve entegrasyon zorluklarını ele alan endüstriyel bir yazılım şirketidir. Şirketin kanıtlanmış Endüstriyel Veri Operasyonları yazılımı olan HighByte Intelligence Hub, kodsuz bir arabirim kullanarak, entegrasyon süresini kısaltmak ve analizleri hızlandırmak için AWS bulut hizmetlerine modellenmiş ve kullanıma hazır veriler sağlar.
“Amazon S3 Tablolar, analitik iş yükleri için tablo verilerinin yönetimini, performansını ve depolanmasını optimize eden yeni güçlü bir özelliktir. HighByte Intelligence Hub'ın Amazon S3 Tabloları ile doğrudan entegrasyonu, küresel üreticilerin endüstriyel verileri için açık bir işlemsel veri gölü oluşturmalarını kolaylaştırır. S3 Tablolarının ham Parquet verileri için anında sorgulama imkanı sunması, müşterilere herhangi bir ek işleme veya dönüşüm gerçekleştirmeden bağlamsal bilgileri anında kullanım için uçtan buluta gönderme olanağı tanır. Bu, ortak müşterilerimiz için hem performans hem de maliyet optimizasyonu üzerinde büyük bir etkiye sahiptir. “
Aron Semle, Teknoloji Direktörü (CTO) - HighByte
PuppyGraph
İlk gerçek zamanlı, sıfır-ETL grafik sorgu altyapısı olan PuppyGraph, masraflı taşıma veya bakım gerektirmeden veri ekiplerine mevcut göl evini birkaç dakika içinde grafik olarak sorgulama olanağı tanır. Petabayt boyutundaki veri kümelerine ölçeklenmesi ve çok noktalı karmaşık sorguları saniyeler içinde yürütmesi sayesinde, dolandırıcılık algılamadan siber güvenliğe ve yapay zeka temelli öngörülere kadar birçok kullanım örneğine güç verir.
“Amazon S3 uzun zamandır modern veri altyapısının temeli olmuştur ve S3 Tabloları'nın piyasaya sürülmesi Apache Iceberg'i veri ve yapay zeka için evrensel standart haline getirerek önemli bir kilometre taşıdır. Kuruluşların S3 üzerinde yüksek performanslı, açık tablo formatlarından yararlanmasına olanak tanıyan bu yenilik, veri çoğaltma olmadan çok altyapılı analizleri mümkün kılar. PuppyGraph müşterileri için bu yenilik, bundan böyle gerçek zamanlı grafik sorgularını doğrudan S3 verileri üzerinde çalıştırarak, karmaşık ETL yükü olmadan taze ve ölçeklenebilir öngörüleri sürdürebilecekleri anlamına gelir. Grafik analitiğini verilerin kendisi kadar sorunsuz hale getiren bu evrimin bir parçası olmaktan heyecan duyuyoruz. “
Weimo Liu, Kurucu Ortak ve CEO - PuppyGraph
Yükselen Dalga
2021 yılında San Francisco'da kurulan RisingWave Labs, gerçek zamanlı veri işlemeyi basitleştiren bulut tabanlı bir SQL akış veritabanı olan RisingWave geliştiriyor. Şirketin teknolojisi, PostgreSQL uyumluluğunu hem açık kaynaklı bir çözüm olarak hem de tamamen yönetilen bir platform olan RisingWave Cloud olarak sunulan modern akış mimarisiyle birleştiriyor.
RisingWave'in Amazon S3 Tablolar ile entegrasyonu, kuruluşların Amazon S3'teki Apache Iceberg tablolarından sorunsuz bir şekilde yararlanmalarını sağlayarak akış veri hattı yeteneklerini geliştirmelerini sağlıyor. İster ham verileri alıyor, ister gerçek zamanlı olarak dönüştürüyor veya sonuçları S3'e geri yazıyor olun, RisingWave iş akışınızın doğal bir uzantısı olarak Iceberg tablolarıyla çalışmayı kolaylaştırır. Bu entegrasyon, veri yönetimini basitleştirir, operasyonel karmaşıklığı azaltır ve akış analitiği ile çalışan ekipler için sorunsuz birlikte çalışabilirlik sağlar. “
Rayees Paşa, CPO - RisingWave Labs
Snowflake
Snowflake, kurumsal yapay zekayı kolay, bağlantılı ve güvenilir hale getirir. Dünyanın en büyük şirketlerinden yüzlercesi de dahil olmak üzere dünyanın dört bir yanındaki binlerce şirket; verileri paylaşmak, uygulamalar oluşturmak ve işlerini yapay zeka ile güçlendirmek için Snowflake'in Yapay Zeka Veri Bulutunu kullanıyor.
AWS Depolama Blogu: SageMaker Lakehouse Iceberg REST uç noktasını kullanarak Snowflake'i S3 Tablolarına Bağlayın
“Snowflake'in büyüsünü Amazon S3 Tablolarına getirmekten heyecan duyuyoruz. Bu iş birliği, Snowflake müşterilerine mevcut Snowflake kurulumlarını kullanarak S3 Tablolarında depolanan verileri sorunsuz bir şekilde okuma ve işleme imkanı sağlayarak karmaşık veri taşıma veya çoğaltma ihtiyaçlarını ortadan kaldırıyor. Kurumlar, Snowflake'in birinci sınıf performans analizi yeteneklerini Amazon S3 Tables'ın Apache Iceberg tablolarını verimli bir şekilde depolamasıyla birleştirerek Amazon S3'te depolanan tablo verilerini kolayca sorgulayabilir ve analiz edebilir. “
Rithesh Makkena, Çözüm Ortağı Çözümleri Mühendisliği Küresel Direktörü - Snowflake
Starburst
Starburst; analiz, yapay zeka ve veri uygulamalarının ihtiyaç duyduğu temel veri mimarisine güç verir. Büyük ölçekte erişim, iş birliği ve yönetişim sağlamak için Apache Iceberg tarafından desteklenen hibrit bir veri gölü ortamı kullanır.
AWS Storage Blogu: Starburst ve Amazon S3 Tablolarını kullanarak yönetilen bir Apache Iceberg veri gölü oluşturun
“Amazon S3'ün Apache Iceberg ile S3 Tablolar için yerleşik destek sunarak Iceberg Açık Veri Lakehouse ekosistemini ilerlettiğini görmekten heyecan duyuyoruz. S3 tablo klasörleri ile ortak müşterilerimizin, önde gelen açık kaynaklı MPP SQL altyapısı olan optimize edilmiş Trino tarafından desteklenen Open Lakehouse'un gücünü Amazon S3'teki verilere taşımasına yardımcı olmak için AWS ile işbirliği yapmayı dört gözle bekliyoruz. “
Matt Fuller, Üründen Sorumlu Başkan Yardımcısı - Starburst
StreamNative
StreamNative, yapay zekayı ve analizleri uygun maliyetli ve yüksek performanslı veri alımı ile destekleyen bir mesajlaşma ve akış platformudur. StreamNative Ursa motoru, işletmelerin Kafka uyumluluğu, lidersiz bir mimari ve göl evi yerel depolama ile toplam sahip olma maliyetini (TCO) %90 oranında azaltmasına olanak tanıyarak yapay zekaya hazır verileri ölçekte erişilebilir hale getirir.
AWS Depolama Blogu: StreamNative Ursa Engine ile Amazon S3 Tablolarına sorunsuz akış
“Amazon S3 Tablolar ile entegrasyonumuz, gerçek zamanlı, yapay zekaya hazır verileri her zamankinden daha açık ve erişilebilir hale getiriyor. Ursa'nın S3 üzerindeki lidersiz mimarisi depolama maliyetlerini zaten düşürürken, S3 Tabloları ile doğrudan entegrasyon performansı ve verimliliği daha da artırıyor. Yapay zeka odaklı bir dünyada, veri yönetişimi büyük önem taşıyor. StreamNative olarak, işletmelerin TCO'yu %90 oranında azaltmalarına yardımcı olurken, yönetilen, gerçek zamanlı verilerle yapay zeka destekli uygulamalar oluşturmayı zahmetsiz ve uygun maliyetli hale getirmeyi taahhüt ediyoruz. “
Sijie Guo, CEO ve Kurucu Ortak - StreamNative
