Kelola puluhan hingga miliaran objek dalam skala besar dengan Operasi Batch S3
S3 Batch Operations adalah fitur manajemen data Simple Storage Service (Amazon S3) yang memungkinkan Anda mengelola miliaran objek dalam skala besar hanya dengan beberapa klik di Konsol Manajemen Simple Storage Service (Amazon S3) atau satu permintaan API. Dengan fitur ini, Anda dapat membuat perubahan pada metadata dan properti objek, atau melakukan tugas manajemen penyimpanan lainnya, seperti menyalin atau mereplikasi objek di antara bucket, mengganti set tanda objek, mengubah kontrol akses, dan mengembalikan objek yang diarsipkan dari S3 Glacier, alih-alih membutuhkan waktu berbulan-bulan untuk mengembangkan aplikasi khusus untuk melakukan tugas-tugas ini.
S3 Batch Operations
S3 Batch Operations adalah solusi terkelola untuk melakukan tindakan penyimpanan seperti menyalin dan menandai objek dalam skala besar, baik untuk tugas satu kali atau untuk beban kerja batch yang berulang. S3 Batch Operations dapat melakukan tindakan pada miliaran objek dan petabyte data dengan satu permintaan. Untuk melakukan pekerjaan dalam S3 Batch Operations, Anda membuat pekerjaan. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. S3 Batch Operations juga mengelola percobaan ulang, melacak kemajuan, mengirimkan pemberitahuan penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.
S3 Batch Operations melengkapi arsitektur berbasis peristiwa apa pun yang mungkin Anda jalankan hari ini. Untuk objek baru, menggunakan peristiwa S3 dan fungsi Lambda sangat baik untuk mengkonversi tipe-tipe file, membuat thumbnail, melakukan pemindaian data, dan melakukan operasi lainnya. Misalnya, pelanggan menggunakan peristiwa S3 dan fungsi Lambda untuk membuat foto mentah berukuran kecil dan beresolusi tinggi saat gambar diunggah pertama kali ke S3. S3 Batch Operations melengkapi alur kerja berbasis-peristiwa yang ada ini dengan menyediakan sebuah mekanisme sederhana untuk melakukan tindakan yang sama di seluruh objek Anda yang ada.
Cara kerja: Operasi Batch S3
Untuk melakukan pekerjaan di Operasi Batch S3, Anda membuat tugas. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. Operasi Batch S3 juga mengelola percobaan ulang, melacak kemajuan, mengirimkan notifikasi penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.
Tutorial Operasi Batch S3
Pelanggan
Teespring didirikan pada tahun 2011 dan memungkinkan pengguna untuk membuat dan menjual produk sesuai permintaan khusus secara online. Karena setiap bagian dari barang dagangan khusus memerlukan banyak aset di dalam Teespring, mereka menyimpan petabyte data di Amazon S3.
"Amazon S3 Batch Operations membantu kami mengoptimalkan penyimpanan kami dengan memanfaatkan kelas penyimpanan Glacier Amazon S3. Kami menggunakan metadata penyimpanan kami sendiri untuk membuat kumpulan objek yang bisa kami pindahkan ke Amazon S3 Glacier. Dengan Amazon S3 Glacier kami menghemat lebih dari 80% dari biaya penyimpanan kami. Kami selalu mencari peluang untuk mengotomatisasi manajemen penyimpanan, dan dengan S3 Batch Operations, kami dapat mengelola jutaan objek dalam hitungan menit."
James Brady, VP of Engineering - Teespring
Capital One adalah bank yang didirikan di titik pertemuan finansial dan teknologi serta salah satu merek paling terkenal di Amerika.
Capital One menggunakan Amazon S3 Batch Operations untuk menyalin data antara dua wilayah AWS untuk meningkatkan redundansi data mereka dan untuk menstandarkan jejak data mereka di antara kedua lokasi tersebut.
"Dengan Amazon S3 Batch Operations kami menciptakan pekerjaan untuk menyalin jutaan objek dalam hitungan jam, pekerjaan yang secara tradisional membutuhkan waktu berbulan-bulan untuk diselesaikan. Kami menggunakan laporan inventaris Amazon S3, yang memberikan daftar objek dalam bucket kami, sebagai input untuk pekerjaan Amazon S3 Batch Operations kami. Amazon S3 sangat berperan dalam menyalin data, menyediakan pembaruan kemajuan, dan memberikan laporan audit ketika pekerjaan selesai. Memiliki fitur ini menyelamatkan upaya manual tim kami selama berminggu-minggu dan mengubah transfer data berskala besar ini menjadi sesuatu yang rutin.
Franz Zemen, Vice President, Software Engineering - Capital One
ePlus, Mitra Konsultasi Lanjutan AWS, bekerja dengan pelanggan untuk mengoptimalkan lingkungan TI mereka dan menggunakan solusi seperti, S3 Batch Operations, untuk menghemat waktu dan uang klien.
"S3 Batch Operations sungguh menakjubkan. Tidak hanya itu membantu salah satu klien kami mengurangi waktu, kompleksitas, dan tugas yang melelahkan karena harus menyatukan berbagai pilihan operasi S3, menjadwalkan pekerjaan, kemudian merender informasi yang mudah untuk menggunakan dashboard, itu juga membantu mengatasi beberapa hal yang menakutkan. menggunakan kasus Saya tidak berpikir kita akan mampu mengatasi di sebagian kecil dari waktu yang dibutuhkan S3 Batch Operations menyelesaikan.
Misalnya, S3 Batch Operations membuat pekerjaan cepat menyalin lebih dari 2 juta objek di seluruh wilayah dalam akun yang sama sambil menjaga metadata tetap utuh. Solusinya bekerja mulus melakukan tugas serupa di seluruh akun, dan yang paling penting, menghasilkan laporan penyelesaian yang secara otomatis memilah dan memisahkan operasi yang berhasil versus yang gagal di antara 400 juta objek yang memungkinkan untuk penanganan yang lebih sederhana dari operasi yang gagal dalam satu file."
David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus
Postingan blog S3 Batch Operations
Blog Berita AWS
Amazon S3 Batch Operations
Amazon S3 Batch Operations dapat digunakan untuk dengan mudah memproses ratusan, jutaan, atau miliaran objek S3 dengan cara yang sederhana dan mudah. Anda dapat menyalin objek ke bucket lain, menetapkan tag atau daftar kontrol akses (ACL), memulai pengembalian dari S3 Glacier, atau menjalankan fungsi AWS Lambda pada masing-masingnya.
Blog Penyimpanan AWS
Mengenkripsi objek dengan S3 Batch Operations
Posting ini menunjukkan cara membuat daftar objek, memfilter untuk hanya menyertakan objek yang tidak dienkripsi, mengatur izin, dan melakukan pekerjaan S3 Batch Operations untuk mengenkripsi objek Anda. Mengenkripsi objek yang ada adalah salah satu dari banyak cara Anda dapat menggunakan S3 Batch Operations untuk mengelola objek Amazon S3 Anda.
Blog Penyimpanan AWS
Transcoding file video dengan Operasi Batch S3
Posting ini mengulas cara menggunakan S3 Batch Operations untuk memicu pekerjaan transcoding video menggunakan AWS Lambda, baik dari video yang disimpan dalam S3 atau video yang membutuhkan pemulihan dari Amazon S3 Glacier.
Pelajari cara memulai dan praktik terbaik.
