Amazon S3 Tables
จัดเก็บข้อมูลตารางในขนาดที่เหมาะสมด้วยตาราง Apache Iceberg ที่มีการจัดการอย่างสมบูรณ์ใน Amazon S3
S3 Tables คืออะไร
Amazon S3 Tables เป็นตาราง Apache Iceberg ที่มีการจัดการอย่างสมบูรณ์ซึ่งทำให้ภาระการดำเนินงานในการจัดการData Lakeและ Lakehouse เป็นไปโดยอัตโนมัติ ด้วยกลยุทธ์การบีบอัดและการบำรุงรักษาขั้นสูง S3 Tables จะเพิ่มประสิทธิภาพการสืบค้นโดยอัตโนมัติเมื่อปริมาณข้อมูลเพิ่มขึ้น S3 Tables ทำงานร่วมกับเครื่องยนต์ที่รองรับ Iceberg ได้แก่ Apache Spark, Trino, Amazon Athena, Amazon Redshift และเครื่องมือของบุคคลที่สามอื่น ๆ ช่วยให้มีความยืดหยุ่นทางสถาปัตยกรรมและส่งมอบวิธีที่ง่ายที่สุดในการจัดเก็บข้อมูลตารางในขนาดที่เหมาะสม
ประโยชน์
S3 Tables ปรับแต่งตาราง Iceberg ให้เหมาะสมอย่างต่อเนื่องผ่านการบีบอัด การจัดการสแนปช็อต และการลบไฟล์ที่ไม่มีการอ้างอิงออก การจำลองแบบอัตโนมัติช่วยลดความหน่วงในการคิวรีข้อมูลสำหรับทีมงานที่กระจายตัวอยู่ตามที่ต่าง ๆ และ Intelligent-Tiering ช่วยลดต้นทุนการจัดเก็บข้อมูลได้สูงสุดถึง 80% เป็นผลให้ทีมข้อมูลสามารถมุ่งเน้นไปที่การสร้างแทนการจัดการโครงสร้างพื้นฐาน
ยิ่งเวิร์กโหลดเพิ่มขึ้นมากเท่าไหร่ การบำรุงรักษาและการเพิ่มประสิทธิภาพของตาราง Iceberg ก็ยิ่งมีความสำคัญมากขึ้นเท่านั้น และยังยากที่จะติดตามอย่างต่อเนื่อง S3 Tables รักษาประสิทธิภาพของตารางโดยอัตโนมัติ เพื่อให้การสืบค้นข้อมูลยังคงมีความสม่ำเสมอในขณะที่ข้อมูลของคุณเพิ่มขึ้น แทนที่จะมีประสิทธิภาพลดลงตามปริมาณข้อมูลที่มากขึ้น ข้อมูลได้รับการสนับสนุนโดยพื้นที่เก็บข้อมูลที่คงทนที่สุดในระบบคลาวด์ ซึ่งออกแบบมาเพื่อให้ความคงทน 99.9999999% (11 นิว) และความพร้อมใช้งาน 99.99% ตามค่าเริ่มต้น
S3 Tables สร้างขึ้นบนมาตรฐานเปิด Apache Iceberg ช่วยให้มั่นใจได้ว่าข้อมูลของคุณจะไม่ถูกล็อกเข้ากับกลไกการประมวลผลหรือผู้ขายเพียงรายเดียว S3 Tables เปิดเผย Iceberg REST Catalog API ดังนั้นจึงทำงานร่วมกับกลไกที่รองรับ Iceberg ได้แก่ Spark, Trino, Flink, Athena, Redshift, Snowflake และเครื่องมือของบุคคลที่สามอื่น ๆ เพื่อรักษาการลงทุนในเครื่องมือที่มีอยู่ในขณะที่ช่วยให้มีความยืดหยุ่นในระยะยาว
การจัดการการกำกับดูแลและความปลอดภัยของตาราง Iceberg อาจมีความซับซ้อนและถูกแยกเป็นส่วน ๆ S3 Tables เป็นทรัพยากรของ AWS ระดับ First-class ที่มาพร้อมกับการควบคุมการเข้าถึงระดับตาราง การเข้ารหัส และการจัดการวงจรในตัว ซึ่งช่วยกำจัดความจำเป็นในการจัดการนโยบายบัคเก็ต S3 สำหรับทุก ๆ ตาราง และทำให้การกำกับดูแลสำหรับสภาพแวดล้อมการวิเคราะห์ที่มีความซับซ้อนนั้นง่ายขึ้น
S3 Tables มอบพื้นที่จัดเก็บข้อมูลที่ปรับให้เหมาะสมสำหรับการวิเคราะห์ โดยมีธุรกรรมสูงสุดถึง 10 เท่าต่อวินาทีเมื่อเทียบกับตาราง Iceberg ที่เก็บไว้ในบัคเก็ต S3 สำหรับวัตถุประสงค์ทั่วไป ด้วยการสนับสนุน MCP, AI Agent และ LLM สามารถโต้ตอบกับ S3 Tables ทำให้การวิเคราะห์ที่ขับเคลื่อนด้วย AI เป็นไปได้ การผสานรวมแบบเนทีฟกับบริการ AWS Analytics และความเข้ากันได้กับเครื่องมือของบุคคลที่สามผ่าน Iceberg REST API หมายความว่า S3 Tables สามารถส่งเสริมเวิร์กโฟลว์ที่ขับเคลื่อนด้วย AI
S3 Tables ทำงานอย่างไร
กรณีการใช้งาน
ปรับปรุง Data Lake ให้ทันสมัยโดยการย้ายจาก Parquet, Apache Hive หรือ Hadoop ไปยังตาราง Apache Iceberg ลดความซับซ้อนในการดำเนินงานในขณะที่ S3 Tables ที่พร้อมกับ AI ที่ปรับขนาดได้ซึ่งรองรับการวิเคราะห์ขั้นสูงและเวิร์กโหลดการเรียนรู้ AI/ML
เรียนรู้เพิ่มเติม
สตรีมข้อมูลโดยตรงไปยังตาราง Iceberg จากแหล่งที่มาต่าง ๆ เช่น เซ็นเซอร์ IoT, ระบบธุรกรรม และข้อมูลบันทึกของแอปพลิเคชัน โดยใช้บริการ AWS Streaming พร้อมการปรับแต่งประสิทธิภาพในพื้นหลังแบบอัตโนมัติ ซึ่งช่วยให้ข้อมูลที่สตรีมเข้ามานั้นสามารถคิวรีได้ในเวลาใกล้เคียงเรียลไทม์
S3 Tables มอบจำนวนรายการธุรกรรมต่อวินาทีสูงขึ้นถึง 10 เท่า เมื่อเทียบกับการจัดเก็บตาราง Iceberg ในบัคเก็ตแบบอเนกประสงค์ ทำให้เหมาะอย่างยิ่งสำหรับภาระงานการวิเคราะห์ขนาดใหญ่และการดำเนินการที่ต้องการอัตราการโอนถ่ายข้อมูลในระดับสูง
สืบค้นข้อมูลที่เก็บไว้ในตาราง Iceberg โดยใช้ภาษาธรรมชาติผ่าน Model Context Protocol (MCP) ทำให้สามารถสำรวจแบบเฉพาะทางโดยไม่มีความเชี่ยวชาญ SQL S3 Tables รองรับการเข้าถึงพร้อมกันจากผู้ใช้งานหลายคนและผู้ช่วย AI ด้วยการเพิ่มประสิทธิภาพอัตโนมัติเพื่อรักษาประสิทธิภาพการสืบค้น
เรียนรู้เพิ่มเติม
ดูการสาธิต
เรียนรู้เกี่ยวกับ Amazon S3 Tables ทำไมเราจึงสร้างมันและมันทำงานอย่างไร
รับชมเลยพาร์ทเนอร์และการผสานรวม
Daft
"ตาราง Amazon S3 เป็นส่วนเสริมที่สมบูรณ์แบบสำหรับการสนับสนุนของ Daft สำหรับ Apache Iceberg ด้วยการใช้ประโยชน์จากการผสานรวมกับ AWS Lake Formation และ AWS Glue เราสามารถขยายความสามารถในการอ่านและเขียน Iceberg ที่มีอยู่ของเราไปยัง S3 Tables ได้อย่างง่ายดายในขณะเดียวกันก็ใช้ประโยชน์จากประสิทธิภาพที่ดีที่สุด เราหวังว่าจะมีวิวัฒนาการของบริการใหม่นี้ และเรารู้สึกตื่นเต้นที่จะให้การสนับสนุนที่ดีที่สุดในคลาส S3 Tables สำหรับระบบนิเวศวิศวกรรมข้อมูล Python และ ML/AI"
Sammy Sidhu, CEO และผู้ร่วมก่อตั้ง - Daft
Dremio
"Dremio มีความยินดีที่จะสนับสนุนความพร้อมใช้งานทั่วไปของ Amazon S3 Tables ด้วยการสนับสนุนข้อกำหนด Apache Iceberg REST Catalog (IRC), S3 Tables ช่วยให้มั่นใจได้ว่าการทำงานร่วมกันอย่างราบรื่นกับ Dremio ช่วยให้ผู้ใช้ได้รับประโยชน์จากเอ็นจิ้น SQL ประสิทธิภาพสูงที่สามารถสืบค้นตาราง Apache Iceberg ที่จัดการในบัคเก็ตตาราง S3 ที่ได้รับการปรับให้เหมาะสม ความร่วมมือนี้เสริมความสำคัญของมาตรฐานแบบเปิดในระบบนิเวศ Lakehouse ขจัดความซับซ้อนในการผนวกรวมและเร่งความเร็วการปรับตัวของลูกค้า ด้วยการสนับสนุนตาราง Amazon S3 และ IRC องค์กรจะได้รับความยืดหยุ่นและทางเลือกที่จำเป็นในการสร้างสถาปัตยกรรม Lakehouse แบบครบวงจรในยุค AI"
Rahim Bhojani, CTO - Dremio
DuckDB Labs
"ตาราง Amazon S3 สอดคล้องกับวิสัยทัศน์ของ DuckDB สำหรับการวิเคราะห์ข้อมูลที่เท่าเทียมกันโดยใช้รูปแบบไฟล์เปิด ความร่วมมือระหว่าง AWS และ DuckDB Labs ช่วยให้เราสามารถขยายการรองรับ Iceberg ใน DuckDB และพัฒนาการผสานรวมกับ S3 Tables ได้อย่างราบรื่น เราเชื่อว่าความคิดที่รวมอยู่ในหลัการพื้นฐานเดียวกันของ DuckDB และ S3 Tables รวมกันเป็นสแต็กการวิเคราะห์ที่มีประสิทธิภาพซึ่งสามารถจัดการกับเวิร์กโหลดที่หลากหลายในขณะที่ยังคงรักษาอุปสรรคต่อการเข้าสู่ระบบที่ต่ำอย่างไม่น่าเชื่อ"
Hannes Mühleisen ประธานเจ้าหน้าที่บริหาร - DuckDB Labs
HighByte
"Amazon S3 Tables เป็นฟีเจอร์ใหม่ที่มีประสิทธิภาพที่เพิ่มประสิทธิภาพในการจัดการ ประสิทธิภาพ และการจัดเก็บข้อมูลแบบตารางสำหรับเวิร์กโหลดการวิเคราะห์ การผสานรวมโดยตรงของ HighByte Intelligence Hub กับตาราง Amazon S3 ทำให้ผู้ผลิตทั่วโลกสามารถสร้าง Data Lake เชิงธุรกรรมแบบเปิดสำหรับข้อมูลอุตสาหกรรมของตนได้ง่าย S3 Tables ช่วยให้สามารถสืบค้นข้อมูล Parquet ดิบได้ทันที ทำให้ลูกค้าสามารถส่งข้อมูลตามบริบทจาก Edge ไปยังคลาวด์เพื่อใช้งานได้ทันทีโดยไม่ต้องประมวลผลหรือการแปลงเพิ่มเติม สิ่งนี้มีผลกระทบอย่างมากต่อทั้งประสิทธิภาพและการปรับเพิ่มประสิทธิภาพต้นทุนสำหรับลูกค้าร่วมกันของเรา"
Aron Semle ประธานเจ้าหน้าที่ด้านเทคโนโลยี - HighByte
PuppyGraph
"Amazon S3 ถือเป็นพื้นฐานของโครงสร้างพื้นฐานข้อมูลสมัยใหม่มาอย่างยาวนาน และการเปิดตัว S3 Tables ถือเป็นก้าวสำคัญที่ทำให้ Apache Iceberg เข้าใกล้การเป็นมาตรฐานสากลสำหรับข้อมูลและ AI มากขึ้น นวัตกรรมนี้ช่วยให้องค์กรสามารถใช้ประโยชน์จากรูปแบบตารางแบบเปิดประสิทธิภาพสูงบน S3 ทำให้สามารถทำการวิเคราะห์หลายเอ็นจิ้นโดยไม่ต้องทำซ้ำข้อมูล สำหรับลูกค้า PuppyGraph หมายความว่าตอนนี้พวกเขาสามารถเรียกใช้การสืบค้นกราฟแบบเรียลไทม์บนข้อมูล S3 ของตนได้โดยตรง โดยรักษาข้อมูลเชิงลึกที่สดใหม่และปรับขนาดได้โดยไม่ต้องใช้ ETL ที่ซับซ้อน เรารู้สึกตื่นเต้นที่จะเป็นส่วนหนึ่งของวิวัฒนาการนี้ ทำให้การวิเคราะห์กราฟได้อย่างราบรื่นเหมือนกับตัวข้อมูลเอง"
Weimo Liu ผู้ร่วมก่อตั้งและ CEO - PuppyGraph
RisingWave
“การผสานรวมของ RisingWave กับ Amazon S3 Tables ช่วยให้องค์กรสามารถใช้ประโยชน์จากตาราง Apache Iceberg ใน Amazon S3 ได้อย่างราบรื่น เพิ่มความสามารถให้ไปป์ไลน์การสตรีมมิ่ง ไม่ว่าคุณจะนำข้อมูลดิบเข้า ประมวลผลข้อมูลแบบเรียลไทม์ หรือเขียนผลลัพธ์กลับไปยัง S3 RisingWave ก็ช่วยให้การทำงานกับตาราง Iceberg เป็นเรื่องง่ายในฐานะส่วนขยายที่เป็นธรรมชาติของเวิร์กโฟลว์ของคุณ การรวมระบบนี้ช่วยให้การจัดการข้อมูลง่ายขึ้น ลดความซับซ้อนในการปฏิบัติงาน และช่วยให้ทีมที่ทำงานด้านการวิเคราะห์ข้อมูลแบบสตรีมมิ่งสามารถทำงานร่วมกันได้อย่างราบรื่น"
Rayees Pasha, CPO - RisingWave Labs
Ryft
“การผสานรวมของ Ryft กับ Amazon S3 Tables ช่วยให้ทีมสามารถใช้งานตาราง Apache Iceberg ในฐานะ Lakehouse ที่เป็นอิสระอย่างเต็มที่ ลูกค้าจะได้รับการเพิ่มประสิทธิภาพและการกำกับดูแลที่รับรู้เกี่ยวกับเวิร์กโหลด การเพิ่มประสิทธิภาพและการบีบอัดเค้าโครงไฟล์อัตโนมัติ การเก็บรักษาและการกู้คืนสแนปช็อตที่มีการจัดการ การปฏิบัติตามข้อกำหนดอัตโนมัติสำหรับตาราง Apache Iceberg และการมองเห็นเต็มรูปแบบใน Lakehouse ทั้งหมดนี้ใช้ที่จัดเก็บข้อมูลดั้งเดิมของ Iceberg Ryft และ S3 Tables มอบการสืบค้นที่รวดเร็วอย่างสม่ำเสมอ ต้นทุนการจัดเก็บข้อมูลที่ต่ำลง และการปฏิบัติงานที่เชื่อถือได้ โดยไม่จำเป็นต้องปรับแต่งด้วยตนเองหรือการบำรุงรักษาผ่าน cron"
Yossi Reitblat CEO และผู้ร่วมก่อตั้ง - Ryft
Snowflake
"เรารู้สึกตื่นเต้นที่จะนำความมหัศจรรย์ของ Snowflake มาสู่ Amazon S3 Tables การทำงานร่วมกันนี้ช่วยให้ลูกค้า Snowflake สามารถอ่านและประมวลผลข้อมูลที่จัดเก็บไว้ใน S3 Tables ได้อย่างราบรื่นโดยใช้การตั้งค่า Snowflake ที่มีอยู่ ซึ่งไม่จำเป็นต้องย้ายหรือทำซ้ำข้อมูลที่ซับซ้อน ด้วยการรวมความสามารถในการวิเคราะห์ประสิทธิภาพระดับโลกของ Snowflake เข้ากับระบบจัดเก็บตาราง Apache Iceberg อันมีประสิทธิภาพของ Amazon S3 Tables องค์กรต่าง ๆ สามารถสืบค้นและวิเคราะห์ข้อมูลแบบตารางที่จัดเก็บใน Amazon S3 Tables ได้อย่างง่ายดาย"
Rithesh Makkena ผู้อำนวยการฝ่ายวิศวกรรมโซลูชันพาร์ทเนอรืระดับโลก - Snowflake
Starburst
"เรารู้สึกตื่นเต้นที่ได้เห็น Amazon S3 แนะนำการสนับสนุนในตัวสำหรับ Apache Iceberg ด้วย S3 Tables เพื่อพัฒนาระบบนิเวศ Iceberg Open Data Lakehouse ด้วยบัคเก็ตตาราง S3 เราหวังว่าจะร่วมมือกับ AWS เพื่อช่วยให้ลูกค้าร่วมของเรานำพลังของ Open Lakehouse มาซึ่งขับเคลื่อนโดย Trino ที่ได้รับการปรับให้เหมาะสม ซึ่งเป็นเอ็นจิ้น MPP SQL แบบโอเพนซอร์สชั้นนำ ผ่านการวิเคราะห์ที่หลากหลายและกรณีการใช้งาน AI ไปยังข้อมูลใน Amazon S3"
Matt Fuller รองประธานฝ่ายผลิตภัณฑ์ - Starburst
StreamNative
"การผสานรวมของเรากับ Amazon S3 Tables ทำให้ข้อมูลที่พร้อมใช้งาน AI แบบเรียลไทม์มีความเปิดกว้างและเข้าถึงได้มากขึ้นกว่าที่เคย สถาปัตยกรรมไร้ผู้นำของ Ursa บน S3 ช่วยลดต้นทุนด้านพื้นที่จัดเก็บข้อมูลแล้ว และการรวมโดยตรงกับ S3 Tables จะช่วยปรับปรุงประสิทธิภาพและประสิทธิผลอีกด้วย ในโลกที่ขับเคลื่อนด้วย AI การกำกับดูแลข้อมูลเป็นสิ่งสำคัญ ที่ StreamNative เรามุ่งมั่นที่จะช่วยให้ธุรกิจลด TCO ลง 90% ในขณะที่ทำให้การสร้างแอปพลิเคชันที่ขับเคลื่อนด้วย AI ด้วยข้อมูลแบบเรียลไทม์ที่ควบคุมได้ง่ายและมีราคาไม่แพง"
Sijie Guo ซีอีโอและผู้ร่วมก่อตั้ง - StreamNative
คำถามที่พบบ่อย
คุณควรใช้ S3 Tables เพื่อวิธีที่เรียบง่าย มีประสิทธิภาพ และคุ้มค่าในการจัดเก็บข้อมูลแบบตารางใน Amazon S3 S3 Tables ช่วยให้คุณสามารถจัดระเบียบข้อมูลที่มีโครงสร้างของคุณเป็นตาราง จากนั้นทำการสืบค้นข้อมูลนั้นโดยใช้คำสั่ง SQL มาตรฐานโดยแทบไม่มีการตั้งค่า นอกจากนี้ S3 Tables ยังให้คุณสมบัติความทนทาน ความพร้อมใช้งาน ความสามารถในการปรับขนาด และประสิทธิภาพเหมือนกับ S3 เอง และเพิ่มประสิทธิภาพพื้นที่เก็บข้อมูลของคุณโดยอัตโนมัติเพื่อเพิ่มประสิทธิภาพการสืบค้นและลดต้นทุน ด้วยคลาสของพื้นที่เก็บข้อมูลแบบปรับระดับอัจฉริยะ S3 Tables ยังจะปรับปรุงประสิทธิภาพการค่าใช้จ่ายให้เหมาะสมตามรูปแบบการเข้าถึงโดยไม่มีผลกระทบต่อประสิทธิภาพหรือค่าใช้จ่ายในการดำเนินงาน
S3 Tables มอบการดำเนินธุรกรรมที่สูงขึ้นถึง 10 เท่าต่อวินาที (TPS) เมื่อเทียบกับการจัดเก็บตาราง Iceberg ในบัคเก็ต S3 สำหรับใช้งานทั่วไป S3 Tables จะทำการบีบอัดข้อมูลพื้นฐานโดยอัตโนมัติเพื่อเพิ่มประสิทธิภาพตารางของคุณอย่างต่อเนื่องเพื่อประสิทธิภาพการสืบค้นที่ดีที่สุด คุณยังสามารถเลือกกลยุทธ์การบีบอัดขั้นสูงเช่นการจัดเรียงและการบีบอัดแบบ z-order เพื่อเพิ่มประสิทธิภาพตารางของคุณให้เหมาะสมยิ่งขึ้นอยู่กับเวิร์กโหลดและรูปแบบการสืบค้นของคุณ การจัดเรียงการบีบอัดจัดจะระเบียบข้อมูลตามคอลัมน์ที่ระบุเพื่อปรับปรุงประสิทธิภาพการสืบค้นสำหรับการดำเนินการที่ถูกกรอง ในขณะที่การบีบอัด z-order จะเพิ่มประสิทธิภาพการจัดระเบียบข้อมูลในหลายมิติ ทำให้เหมาะอย่างยิ่งเมื่อคุณต้องการสอบถามข้อมูลในหลายคอลัมน์พร้อมกัน
คุณสามารถเริ่มต้นใช้งาน S3 Tables ได้ในไม่กี่ขั้นตอนง่าย ๆ และโดยไม่ต้องยืนโครงสร้างพื้นฐานใด ๆ นอก S3 ขั้นแรกให้สร้างบัคเก็ตตารางในคอนโซล S3 ในฐานะที่เป็นส่วนหนึ่งของการสร้างบัคเก็ตตารางแรกของคุณผ่านคอนโซล การผสานรวมกับบริการ AWS Analytics เกิดขึ้นโดยอัตโนมัติ ซึ่งทำให้ S3 สามารถเติมบัคเก็ตตารางและตารางทั้งหมดในบัญชีและรีเจี้ยนของคุณโดยอัตโนมัติใน AWS Glue Data Catalog หลังจากนี้แล้ว S3 Tables สามารถเข้าถึงได้กับกลไกการสืบค้น AWS เช่น Amazon Athena, EMR และ Redshift ถัดไป คุณสามารถคลิกเพื่อสร้างตารางโดยใช้ Amazon Athena จากคอนโซล S3 เมื่ออยู่ใน Athena คุณสามารถเริ่มป้อนตารางใหม่และสืบค้นได้อย่างรวดเร็ว
หรือคุณสามารถเข้าถึง S3 Tables โดยใช้ตำแหน่งข้อมูล Iceberg REST Catalog ผ่าน AWS Glue Data Catalog ซึ่งช่วยให้คุณค้นพบข้อมูลทั้งหมดของคุณรวมถึงทรัพยากรตารางทั้งหมด นอกจากนี้คุณยังสามารถเชื่อมต่อโดยตรงกับตำแหน่งข้อมูลบัคเก็ตตารางแต่ละรายการเพื่อค้นหาทรัพยากรของ S3 Tables ทั้งหมดภายในบัคเก็ตนั้น สิ่งนี้ช่วยให้คุณสามารถใช้ S3 Tables กับแอปพลิเคชันหรือเครื่องมือสืบค้นใด ๆ ที่รองรับข้อกำหนด Apache Iceberg REST Catalog