จัดการวัตถุหลายสิบถึงพันล้านรายการด้วยความสามารถที่ปรับขนาดได้
การทำงานแบบแบตช์ของ S3 เป็นคุณสมบัติการจัดการข้อมูลของ Amazon S3 ที่ให้คุณจัดการอ็อบเจ็กต์หลายพันล้านรายการในปริมาณมากในไม่กี่คลิกใน Amazon S3 Management Console หรือคำขอ API เดียว เมื่อใช้คุณสมบัตินี้ คุณสามารถสร้างการเปลี่ยนแปลงไปยังเมตาดาตาและคุณสมบัติของอ็อบเจกต์ หรือดำเนินงานจัดการพื้นที่จัดเก็บอื่นๆ เช่น การคัดลอกหรือจำลองแบบอ็อบเจกต์ระหว่างบัคเก็ต แทนที่ชุดแท็กของอ็อบเจกต์ แก้ไขการควบคุมการเข้าถึง และคืนค่าอ็อบเจกต์ที่เก็บถาวรแล้วจาก S3 Glacier แทนที่จะต้องใช้เวลาหลายเดือนเพื่อพัฒนาแอปพลิเคชันขึ้นเองสำหรับการดำเนินงานเหล่านี้
การทำงานแบบแบตช์ของ S3
การทำงานแบบแบตช์ของ S3 เป็นโซลูชันที่มีการจัดการสำหรับใช้ในการดำเนินการกับพื้นที่จัดเก็บต่างๆ เช่น การคัดลอกและการแท็กอ็อบเจ็กต์ต่างๆ ในปริมาณมาก ไม่ว่าจะเพื่องานแบบครั้งเดียวหรือปริมาณงานแบบแบตช์ที่เกิดซ้ำก็ตาม การทำงานแบบแบตช์ของ S3 สามารถดำเนินการกับอ็อบเจ็กต์หลายพันล้านรายการและข้อมูลหลายเพตะไบต์ได้ในคำขอเดียว เมื่อต้องการดำเนินงานในการทำงานแบบแบตช์ของ S3 คุณต้องสร้างงาน งานดังกล่าวจะประกอบด้วยรายการอ็อบเจกต์ การดำเนินการที่จะทำ และชุดพารามิเตอร์ที่คุณกำหนดสำหรับประเภทของการทำงานดังกล่าว คุณสามารถสร้างและเรียกใช้หลายงานได้ในครั้งเดียวในการทำงานแบบแบตช์ของ S3 หรือใช้การจัดลำดับความสำคัญของงานตามจำเป็นเพื่อกำหนดลำดับของแต่ละงานและทำให้แน่ใจว่างานที่สำคัญสุดจะได้รับการดำเนินการก่อน นอกจากนี้ การทำงานแบบแบตช์ของ S3 ยังจัดการกับการลองใหม่ ติดตามความคืบหน้า ส่งการแจ้งเตือนว่าดำเนินการเสร็จสิ้นแล้ว สร้างรายงาน และส่งเหตุการณ์ไปยัง AWS CloudTrail สำหรับทุกการเปลี่ยนแปลงและทุกงานที่ดำเนินการ
การทำงานแบบแบตช์ของ S3 จะเสริมสถาปัตยกรรมที่ขับเคลื่อนด้วยเหตุการณ์ทั้งหมดที่คุณดำเนินการอยู่ในทุกวันนี้ สำหรับอ็อบเจ็กต์ใหม่ การใช้เหตุการณ์ S3 และฟังก์ชัน Lambda นั้นเหมาะมากสำหรับการแปลงประเภทไฟล์ สร้างภาพขนาดย่อ ดำเนินการสแกนข้อมูล และทำการดำเนินการอื่นๆ ตัวอย่างเช่น ลูกค้าใช้เหตุการณ์ S3 และฟังก์ชัน Lambda เพื่อสร้างภาพถ่ายแบบดิบเวอร์ชันขนาดเล็กกว่าและความละเอียดต่ำเมื่อภาพอัปโหลดเป็นครั้งแรกไปยัง S3 การทำงานแบบแบตช์ของ S3 จะเสริมเวิร์กโฟลว์ที่ขับเคลื่อนด้วยเหตุการณ์ด้วยการมอบกลไกที่เรียบง่ายสำหรับทำกับอ็อบเจ็กต์ที่มีอยู่เดิมทั้งหมดของคุณด้วยการดำเนินการแบบเดียวกัน
วิธีการทำงาน: การทำงานแบบแบตช์ของ S3
เมื่อต้องการดำเนินงานในการทำงานแบบแบตช์ของ S3 คุณต้องสร้างงาน งานดังกล่าวจะประกอบด้วยรายการอ็อบเจกต์ การดำเนินการที่จะทำ และชุดพารามิเตอร์ที่คุณกำหนดสำหรับประเภทของการทำงานดังกล่าว คุณสามารถสร้างและเรียกใช้หลายงานได้ในครั้งเดียวในการทำงานแบบแบตช์ของ S3 หรือใช้การจัดลำดับความสำคัญของงานตามจำเป็นเพื่อกำหนดลำดับของแต่ละงานและทำให้แน่ใจว่างานที่สำคัญสุดจะได้รับการดำเนินการก่อน นอกจากนี้ การทำงานแบบแบตช์ของ S3 ยังจัดการกับการลองใหม่ ติดตามความคืบหน้า ส่งการแจ้งเตือนว่าดำเนินการเสร็จสิ้นแล้ว สร้างรายงาน และส่งเหตุการณ์ไปยัง AWS CloudTrail สำหรับทุกการเปลี่ยนแปลงและทุกงานที่ดำเนินการ
บทแนะนำสอนการใช้งานการทำงานแบบแบตช์ของ S3
ลูกค้า
-
Teespring
Teespring ก่อตั้งขึ้นในปี 2011 และช่วยให้ผู้ใช้สามารถสร้างและขายผลิตภัณฑ์ตามความต้องการแบบกำหนดเองออนไลน์ได้ เนื่องจากสินค้าแบบกำหนดเองทุกชิ้นต่างต้องใช้แอสเซทใน Teespring บริษัทจึงต้องจัดเก็บข้อมูลหลายเพตะไบต์ไว้ใน Amazon S3
การทำงานแบบแบตช์ของ Amazon S3 ช่วยให้เราปรับพื้นที่จัดเก็บให้เหมาะสมได้ด้วยการนำคลาสพื้นที่จัดเก็บ Amazon S3 Glacier มาใช้ เราใช้เมตาดาตาพื้นที่จัดเก็บของเราเองในการสร้างแบตช์อ็อบเจ็กต์สำหรับย้ายไปยัง Amazon S3 Glacier ซึ่ง Amazon S3 Glacier ช่วยให้เราประหยัดค่าใช้จ่ายในการเก็บข้อมูลได้ถึง 80% เรามองหาโอกาสในการปรับการจัดการพื้นที่จัดเก็บให้ทำงานโดยอัตโนมัติอยู่เสมอ และการทำงานแบบแบตช์ของ S3 ช่วยให้เราสามารถจัดการอ็อบเจ็กต์หลายล้านรายการได้ในไม่กี่นาที
James Brady รองประธานฝ่ายวิศวกรรมของ Teespring -
Capital One
Capital One เป็นธนาคารที่ก่อตั้งขึ้นจากการมาบรรจบกันระหว่างการเงินและเทคโนโลยี และเป็นหนึ่งในแบรนด์ที่เป็นรู้จักมากที่สุดในอเมริกา Capital One ใช้การทำงานแบบแบตช์ของ Amazon S3 ในการคัดลอกข้อมูลระหว่างเขต AWS สองเขตเพื่อเพิ่มความซ้ำซ้อนของข้อมูลและเพื่อปรับร่องรอยข้อมูลระหว่างตำแหน่งที่ตั้งทั้งสองให้ตรงกันตามมาตรฐาน
การทำงานแบบแบตช์ของ Amazon S3 ช่วยให้เราสามารถสร้างงานสำหรับคัดลอกอ็อบเจ็กต์หลายล้ายรายการได้ภายในไม่กี่ชั่วโมง ซึ่งเป็นงานที่แต่เดิมต้องใช้เวลาทำหลายเดือนกว่าจะทำเสร็จ เราใช้รายงานคลังข้อมูลของ Amazon S3 ซึ่งจะแสดงรายการอ็อบเจ็กต์ในบัคเก็ตของเราเพื่อเป็นอินพุตในงานการทำงานแบบแบตช์ของ Amazon S3 โดยเรานำ Amazon S3 มาใช้เป็นเครื่องมือในการคัดลอกข้อมูล ให้ข้อมูลอัปเดตเกี่ยวกับความคืบหน้า และมอบรายงานการตรวจสอบเมื่องานเสร็จสมบูรณ์ ฟีเจอร์นี้ช่วยให้ทีมของเราไม่ต้องเสียเวลาหลายสัปดาห์ไปกับการลงมือทำงานด้วยตัวเองและเปลี่ยนการถ่ายโอนข้อมูลขนาดใหญ่นี้ให้เป็นสิ่งที่ดำเนินการเป็นประจำ
Franz Zemen รองประธานฝ่ายวิศวกรรมซอฟต์แวร์จาก Capital One -
ePlus
ePlus ซึ่งเป็นคู่ค้าด้านการให้คำปรึกษาขั้นสูงของ AWS ประสานงานกับลูกค้าในการปรับสภาพแวดล้อมด้านไอทีให้เหมาะสมและใช้โซลูชันต่างๆ อย่างการทำงานแบบแบตช์ของ S3 เพื่อช่วยให้ลูกค้าประหยัดเวลาและเงิน
การทำงานแบบแบตช์ของ S3 เป็นสิ่งที่เยี่ยมมาก เพราะไม่เพียงแต่จะช่วยให้ลูกค้ารายหนึ่งของเราสามารถลดเวลา ลดความซับซ้อน และลดงานประจำที่หนักหนาในการรวบรวมการดำเนินการ S3 จำนวนมาก จากนั้นกำหนดเวลาให้งานต่างๆ แล้วเรนเดอร์ข้อมูล โดยเปลี่ยนทั้งหมดให้กลายเป็นแดชบอร์ดที่ใช้งานง่าย การทำงานแบบแบตช์ของ S3 ยังช่วยจัดการกับกรณีการใช้งานที่หนักหน่วงซึ่งผมไม่คิดว่าเราจะทำเองได้ภายในภายในเวลาสั้นๆ แบบเดียวกับที่การทำงานแบบแบตช์ของ S3 ทำ
ตัวอย่างเช่น การทำงานแบบแบตช์ของ S3 สามารถคัดลอกอ็อบเจ็กต์กว่า 2 ล้านรายการข้ามเขตต่างๆ ภายในบัญชีเดียวกันได้อย่างรวดเร็วโดยที่เมตาดาต้ายังสมบูรณ์อยู่ โซลูชันนี้ดำเนินงานได้อย่างราบรื่นเมื่อทำงานที่คล้ายกันข้ามบัญชีต่าง ๆ และสิ่งที่เห็นได้ชัดที่สุดคือสามารถสร้างรายงานฉบับสมบูรณ์ที่กรองและแยกการดำเนินการที่ล้มเหลวและประสบความสำเร็จได้โดยอัตโนมัติจากอ็อบเจ็กต์ 400 ล้านรายการ ช่วยให้รับมือกับการดำเนินการที่ล้มเหลวได้ง่ายขึ้นในไฟล์เดียวDavid Lin สถาปนิกโซลูชันอาวุโสและมืออาชีพที่ได้รับการรับรองจาก AWS ของ ePlus