จัดการอ็อบเจกต์ตั้งแต่สิบไปจนถึงหมื่นล้านรายการในปริมาณมากด้วยการทำงานแบบแบตช์ของ S3
การทำงานแบบแบตช์ของ S3 เป็นคุณสมบัติการจัดการข้อมูลของ Amazon S3 ที่ให้คุณจัดการอ็อบเจ็กต์หลายพันล้านรายการในปริมาณมากในไม่กี่คลิกใน Amazon S3 Management Console หรือคำขอ API เดียว เมื่อใช้คุณสมบัตินี้ คุณสามารถสร้างการเปลี่ยนแปลงไปยังเมตาดาตาและคุณสมบัติของอ็อบเจกต์ หรือดำเนินงานจัดการพื้นที่จัดเก็บอื่นๆ เช่น การคัดลอกหรือจำลองแบบอ็อบเจกต์ระหว่างบัคเก็ต แทนที่ชุดแท็กของอ็อบเจกต์ แก้ไขการควบคุมการเข้าถึง และคืนค่าอ็อบเจกต์ที่เก็บถาวรแล้วจาก S3 Glacier แทนที่จะต้องใช้เวลาหลายเดือนเพื่อพัฒนาแอปพลิเคชันขึ้นเองสำหรับการดำเนินงานเหล่านี้
การทำงานแบบแบตช์ของ S3
การทำงานแบบแบตช์ของ S3 เป็นโซลูชันที่มีการจัดการสำหรับใช้ในการดำเนินการกับพื้นที่จัดเก็บต่างๆ เช่น การคัดลอกและการแท็กอ็อบเจ็กต์ต่างๆ ในปริมาณมาก ไม่ว่าจะเพื่องานแบบครั้งเดียวหรือปริมาณงานแบบแบตช์ที่เกิดซ้ำก็ตาม การทำงานแบบแบตช์ของ S3 สามารถดำเนินการกับอ็อบเจ็กต์หลายพันล้านรายการและข้อมูลหลายเพตะไบต์ได้ในคำขอเดียว เมื่อต้องการดำเนินงานในการทำงานแบบแบตช์ของ S3 คุณต้องสร้างงาน งานดังกล่าวจะประกอบด้วยรายการอ็อบเจกต์ การดำเนินการที่จะทำ และชุดพารามิเตอร์ที่คุณกำหนดสำหรับประเภทของการทำงานดังกล่าว คุณสามารถสร้างและเรียกใช้หลายงานได้ในครั้งเดียวในการทำงานแบบแบตช์ของ S3 หรือใช้การจัดลำดับความสำคัญของงานตามจำเป็นเพื่อกำหนดลำดับของแต่ละงานและทำให้แน่ใจว่างานที่สำคัญสุดจะได้รับการดำเนินการก่อน นอกจากนี้ การทำงานแบบแบตช์ของ S3 ยังจัดการกับการลองใหม่ ติดตามความคืบหน้า ส่งการแจ้งเตือนว่าดำเนินการเสร็จสิ้นแล้ว สร้างรายงาน และส่งเหตุการณ์ไปยัง AWS CloudTrail สำหรับทุกการเปลี่ยนแปลงและทุกงานที่ดำเนินการ
การทำงานแบบแบตช์ของ S3 จะเสริมสถาปัตยกรรมที่ขับเคลื่อนด้วยเหตุการณ์ทั้งหมดที่คุณดำเนินการอยู่ในทุกวันนี้ สำหรับอ็อบเจ็กต์ใหม่ การใช้เหตุการณ์ S3 และฟังก์ชัน Lambda นั้นเหมาะมากสำหรับการแปลงประเภทไฟล์ สร้างภาพขนาดย่อ ดำเนินการสแกนข้อมูล และทำการดำเนินการอื่นๆ ตัวอย่างเช่น ลูกค้าใช้เหตุการณ์ S3 และฟังก์ชัน Lambda เพื่อสร้างภาพถ่ายแบบดิบเวอร์ชันขนาดเล็กกว่าและความละเอียดต่ำเมื่อภาพอัปโหลดเป็นครั้งแรกไปยัง S3 การทำงานแบบแบตช์ของ S3 จะเสริมเวิร์กโฟลว์ที่ขับเคลื่อนด้วยเหตุการณ์ด้วยการมอบกลไกที่เรียบง่ายสำหรับทำกับอ็อบเจ็กต์ที่มีอยู่เดิมทั้งหมดของคุณด้วยการดำเนินการแบบเดียวกัน
วิธีการทำงาน: การทำงานแบบแบตช์ของ S3
เมื่อต้องการดำเนินงานในการทำงานแบบแบตช์ของ S3 คุณต้องสร้างงาน งานดังกล่าวจะประกอบด้วยรายการอ็อบเจกต์ การดำเนินการที่จะทำ และชุดพารามิเตอร์ที่คุณกำหนดสำหรับประเภทของการทำงานดังกล่าว คุณสามารถสร้างและเรียกใช้หลายงานได้ในครั้งเดียวในการทำงานแบบแบตช์ของ S3 หรือใช้การจัดลำดับความสำคัญของงานตามจำเป็นเพื่อกำหนดลำดับของแต่ละงานและทำให้แน่ใจว่างานที่สำคัญสุดจะได้รับการดำเนินการก่อน นอกจากนี้ การทำงานแบบแบตช์ของ S3 ยังจัดการกับการลองใหม่ ติดตามความคืบหน้า ส่งการแจ้งเตือนว่าดำเนินการเสร็จสิ้นแล้ว สร้างรายงาน และส่งเหตุการณ์ไปยัง AWS CloudTrail สำหรับทุกการเปลี่ยนแปลงและทุกงานที่ดำเนินการ
บทแนะนำสอนการใช้งานการทำงานแบบแบตช์ของ S3
ลูกค้า
Teespring ก่อตั้งขึ้นในปี 2011 และช่วยให้ผู้ใช้สามารถสร้างและขายผลิตภัณฑ์ตามความต้องการแบบกำหนดเองออนไลน์ได้ เนื่องจากสินค้าแบบกำหนดเองทุกชิ้นต่างต้องใช้แอสเซทใน Teespring บริษัทจึงต้องจัดเก็บข้อมูลหลายเพตะไบต์ไว้ใน Amazon S3
"การทำงานแบบแบตช์ของ Amazon S3 ช่วยให้เราปรับพื้นที่จัดเก็บให้เหมาะสมได้ด้วยการนำคลาสพื้นที่จัดเก็บ Amazon S3 Glacier มาใช้ เราใช้เมตาดาตาพื้นที่จัดเก็บของเราเองในการสร้างแบตช์อ็อบเจ็กต์สำหรับย้ายไปยัง Amazon S3 Glacier ซึ่ง Amazon S3 Glacier ช่วยให้เราประหยัดค่าใช้จ่ายในการเก็บข้อมูลได้ถึง 80% เรามองหาโอกาสในการปรับการจัดการพื้นที่จัดเก็บให้ทำงานโดยอัตโนมัติอยู่เสมอ และการทำงานแบบแบตช์ของ S3 ช่วยให้เราสามารถจัดการอ็อบเจ็กต์หลายล้านรายการได้ในไม่กี่นาที”
James Brady รองประธานฝ่ายวิศวกรรมของ Teespring
Capital One เป็นธนาคารที่ก่อตั้งขึ้นจากการมาบรรจบกันระหว่างการเงินและเทคโนโลยี และเป็นหนึ่งในแบรนด์ที่เป็นรู้จักมากที่สุดในอเมริกา
Capital One ใช้การทำงานแบบแบตช์ของ Amazon S3 ในการคัดลอกข้อมูลระหว่างเขต AWS สองเขตเพื่อเพิ่มความซ้ำซ้อนของข้อมูลและเพื่อปรับร่องรอยข้อมูลระหว่างตำแหน่งที่ตั้งทั้งสองให้ตรงกันตามมาตรฐาน
"การทำงานแบบแบตช์ของ Amazon S3 ช่วยให้เราสามารถสร้างงานสำหรับคัดลอกอ็อบเจ็กต์หลายล้ายรายการได้ภายในไม่กี่ชั่วโมง ซึ่งเป็นงานที่แต่เดิมต้องใช้เวลาทำหลายเดือนกว่าจะทำเสร็จ เราใช้รายงานคลังข้อมูลของ Amazon S3 ซึ่งจะแสดงรายการอ็อบเจ็กต์ในบัคเก็ตของเราเพื่อเป็นอินพุตในงานการทำงานแบบแบตช์ของ Amazon S3 โดยเรานำ Amazon S3 มาใช้เป็นเครื่องมือในการคัดลอกข้อมูล ให้ข้อมูลอัปเดตเกี่ยวกับความคืบหน้า และมอบรายงานการตรวจสอบเมื่องานเสร็จสมบูรณ์ คุณสมบัตินี้ช่วยให้ทีมของเราไม่ต้องเสียเวลาหลายสัปดาห์ไปกับการลงมือทำงานด้วยตัวเองและเปลี่ยนการถ่ายโอนข้อมูลขนาดใหญ่นี้ให้เป็นสิ่งที่ดำเนินการเป็นประจำ”
Franz Zemen รองประธานฝ่ายวิศวกรรมซอฟต์แวร์จาก Capital One
ePlus ซึ่งเป็นคู่ค้าด้านการให้คำปรึกษาขั้นสูงของ AWS ประสานงานกับลูกค้าในการปรับสภาพแวดล้อมด้านไอทีให้เหมาะสมและใช้โซลูชันต่างๆ อย่างการทำงานแบบแบตช์ของ S3 เพื่อช่วยให้ลูกค้าประหยัดเวลาและเงิน
"การทำงานแบบแบตช์ของ S3 เป็นสิ่งที่เยี่ยมมาก เพราะไม่เพียงแต่จะช่วยให้ลูกค้ารายหนึ่งของเราสามารถลดเวลา ลดความซับซ้อน และลดงานประจำที่หนักหนาในการรวบรวมการดำเนินการ S3 จำนวนมาก จากนั้นกำหนดเวลาให้งานต่างๆ แล้วเรนเดอร์ข้อมูล โดยเปลี่ยนทั้งหมดให้กลายเป็นแดชบอร์ดที่ใช้งานง่าย การทำงานแบบแบตช์ของ S3 ยังช่วยจัดการกับกรณีการใช้งานที่หนักหน่วงซึ่งผมไม่คิดว่าเราจะทำเองได้ภายในภายในเวลาสั้นๆ แบบเดียวกับที่การทำงานแบบแบตช์ของ S3 ทำ
ตัวอย่างเช่น การทำงานแบบแบตช์ของ S3 สามารถคัดลอกอ็อบเจ็กต์กว่า 2 ล้านรายการข้ามเขตต่างๆ ภายในบัญชีเดียวกันได้อย่างรวดเร็วโดยที่เมตาดาต้ายังสมบูรณ์อยู่ โซลูชันนี้ดำเนินงานได้อย่างราบรื่นเมื่อทำงานที่คล้ายกันข้ามบัญชีต่างๆ และสิ่งที่เห็นได้ชัดที่สุดคือสามารถสร้างรายงานฉบับสมบูรณ์ที่กรองและแยกการดำเนินการที่ล้มเหลวและประสบความสำเร็จได้โดยอัตโนมัติจากอ็อบเจ็กต์ 400 ล้านรายการ ช่วยให้รับมือกับการดำเนินการที่ล้มเหลวได้ง่ายขึ้นในไฟล์เดียว”
David Lin สถาปนิกโซลูชันอาวุโสและมืออาชีพที่ได้รับการรับรองจาก AWS ของ ePlus
โพสต์บล็อกการทำงานแบบแบตช์ของ S3
บล็อกข่าว AWS
การทำงานแบบแบตช์ของ Amazon S3
การทำงานแบบแบตช์ของ Amazon S3 สามารถใช้สำหรับประมวลอ็อบเจ็กต์ S3 หลายร้อย หลายล้าน หรือหลายพันล้านรายการได้ง่ายๆ ด้วยวิธีที่ไม่ซับซ้อนและตรงไปตรงมา คุณสามารถคัดลอกอ็อบเจ็กต์ไปบัคเก็ตอื่น, กำหนดแท็กหรือรายการควบคุมการเข้าถึง (ACL), เริ่มการกู้คืนข้อมูลจาก S3 Glacier หรือเรียกใช้งานฟังก์ชัน AWS Lambda กับแต่ละรายการได้
บล็อกพื้นที่จัดเก็บของ AWS
การเข้ารหัสอ็อบเจ็กต์ด้วยการทำงานแบบแบตช์ของ S3
โพสต์นี้จะสาธิตให้เห็นถึงวิธีการสร้างรายการอ็อบเจ็กต์ กรองให้เหลือเพียงอ็อบเจ็กต์ที่ยังไม่ได้รับการเข้ารหัส ตั้งค่าสิทธิ์ และดำเนินงานการทำงานแบบแบตช์ของ S3 เพื่อเข้ารหัสอ็อบเจ็กต์ของคุณ การเข้ารหัสอ็อบเจ็กต์ที่มีอยู่เดิมคือหนึ่งในวิธีมากมายที่คุณสามารถใช้การทำงานแบบแบตช์ของ S3 ในการจัดการกับอ็อบเจ็กต์ Amazon S3 ของคุณได้
บล็อกพื้นที่จัดเก็บของ AWS
การแปลงโค้ดไฟล์วิดีโอด้วยการทำงานแบบแบตช์ของ S3
โพสต์นี้จะแสดงวิธีใช้การทำงานแบบแบตช์ของ S3 เพื่อเรียกใช้การแปลงโค้ดงานโดยใช้ AWS Lambda ทั้งจากวิดีโอที่จัดเก็บใน S3 หรือวิดีโอที่ต้องอาศัยการกู้คืนจาก Amazon S3 Glacier
เรียนรู้วิธีเริ่มต้นใช้งานและแนวทางปฏิบัติที่ดีที่สุด
