Kelola puluhan hingga miliaran skala objek dengan S3 Batch Operations

S3 Batch Operations adalah fitur manajemen data Amazon S3 yang memungkinkan Anda mengelola miliaran objek dalam skala hanya dengan beberapa klik di Amazon S3 Management Console atau satu permintaan API. Dengan fitur ini, Anda dapat membuat perubahan pada metadata dan properti objek, atau melakukan tugas manajemen penyimpanan lainnya, seperti menyalin objek di antara bucket, mengganti set tag objek, mengubah kontrol akses, dan mengembalikan objek yang diarsipkan dari Gletser S3 - dari pada membutuhkan waktu berbulan-bulan untuk mengembangkan aplikasi khusus untuk melakukan tugas-tugas ini.

Pengantar Amazon S3 Batch Operations

S3 Batch Operations

S3 Batch Operations adalah solusi terkelola untuk melakukan tindakan penyimpanan seperti menyalin dan menandai objek dalam skala besar, baik untuk tugas satu kali atau untuk beban kerja batch yang berulang. S3 Batch Operations dapat melakukan tindakan pada miliaran objek dan petabyte data dengan satu permintaan. Untuk melakukan pekerjaan dalam S3 Batch Operations, Anda membuat pekerjaan. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. S3 Batch Operations juga mengelola percobaan ulang, melacak kemajuan, mengirimkan pemberitahuan penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.

S3 Batch Operations melengkapi arsitektur berbasis peristiwa apa pun yang mungkin Anda jalankan hari ini. Untuk objek baru, menggunakan peristiwa S3 dan fungsi Lambda sangat baik untuk mengkonversi tipe-tipe file, membuat thumbnail, melakukan pemindaian data, dan melakukan operasi lainnya. Misalnya, pelanggan menggunakan peristiwa S3 dan fungsi Lambda untuk membuat foto mentah berukuran kecil dan beresolusi tinggi saat gambar diunggah pertama kali ke S3. S3 Batch Operations melengkapi alur kerja berbasis-peristiwa yang ada ini dengan menyediakan sebuah mekanisme sederhana untuk melakukan tindakan yang sama di seluruh objek Anda yang ada.

Cara kerjanya: S3 Batch Operations

Amazon-S3_Batch_Operations_How_it_works_2x

Untuk melakukan pekerjaan dalam S3 Batch Operations, Anda membuat pekerjaan. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. S3 Batch Operations juga mengelola percobaan ulang, melacak kemajuan, mengirimkan pemberitahuan penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.

Tutorial S3 Batch Operations

Membuat pekerjaan

Buat pekerjaan Batch Operations

Mengelola dan melacak pekerjaan

Kelola dan lacak pekerjaan Batch Operations

Menyiapkan izin

Siapkan izin

Pelanggan

Teespring didirikan pada tahun 2011 dan memungkinkan pengguna untuk membuat dan menjual produk sesuai permintaan khusus secara online. Karena setiap bagian dari barang dagangan khusus memerlukan banyak aset di dalam Teespring, mereka menyimpan petabyte data di Amazon S3.

"Amazon S3 Batch Operations membantu kami mengoptimalkan penyimpanan kami dengan memanfaatkan kelas penyimpanan Glacier Amazon S3. Kami menggunakan metadata penyimpanan kami sendiri untuk membuat kumpulan objek yang bisa kami pindahkan ke Amazon S3 Glacier. Dengan Amazon S3 Glacier kami menghemat lebih dari 80% dari biaya penyimpanan kami. Kami selalu mencari peluang untuk mengotomatisasi manajemen penyimpanan, dan denganS3 Batch Operations, kami dapat mengelola jutaan objek dalam hitungan menit."

James Brady, VP of Engineering - Teespring

600x400_Capital-One_Logo

Capital One adalah bank yang didirikan di titik pertemuan finansial dan teknologi serta salah satu merek paling terkenal di Amerika.

Capital One menggunakan Amazon S3 Batch Operations untuk menyalin data antara dua wilayah AWS untuk meningkatkan redundansi data mereka dan untuk menstandarkan jejak data mereka di antara kedua lokasi tersebut.

"Dengan Amazon S3 Batch Operations kami menciptakan pekerjaan untuk menyalin jutaan objek dalam hitungan jam, pekerjaan yang secara tradisional membutuhkan waktu berbulan-bulan untuk diselesaikan. Kami menggunakan laporan inventaris Amazon S3, yang memberikan daftar objek dalam bucket kami, sebagai input untuk pekerjaan Amazon S3 Batch Operations kami. Amazon S3 sangat berperan dalam menyalin data, menyediakan pembaruan kemajuan, dan memberikan laporan audit ketika pekerjaan selesai. Memiliki fitur ini menyelamatkan upaya manual tim kami selama berminggu-minggu dan mengubah transfer data berskala besar ini menjadi sesuatu yang rutin.

Franz Zemen, Vice President, Software Engineering - Capital One

eplus

ePlus, Mitra Konsultasi Lanjutan AWS, bekerja dengan pelanggan untuk mengoptimalkan lingkungan TI mereka dan menggunakan solusi seperti, S3 Batch Operations, untuk menghemat waktu dan uang klien.

“S3 Batch Operations sungguh menakjubkan. Tidak hanya itu membantu salah satu klien kami mengurangi waktu, kompleksitas, dan tugas yang melelahkan karena harus menyatukan berbagai pilihan operasi S3, menjadwalkan pekerjaan, kemudian merender informasi yang mudah untuk menggunakan dashboard, itu juga membantu mengatasi beberapa hal yang menakutkan. menggunakan kasus Saya tidak berpikir kita akan mampu mengatasi di sebagian kecil dari waktu yang dibutuhkan S3 Batch Operations menyelesaikan.
 
Misalnya, S3 Batch Operations membuat pekerjaan cepat menyalin lebih dari 2 juta objek di seluruh wilayah dalam akun yang sama sambil menjaga metadata tetap utuh. Solusinya bekerja mulus melakukan tugas serupa di seluruh akun, dan yang paling penting, menghasilkan laporan penyelesaian yang secara otomatis memilah dan memisahkan operasi yang berhasil versus yang gagal di antara 400 juta objek yang memungkinkan untuk penanganan yang lebih sederhana dari operasi yang gagal dalam satu file."

David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus 

Postingan blog S3 Batch Operations

Blog Berita AWS


Amazon S3 Batch Operations

Amazon S3 Batch Operations dapat digunakan untuk dengan mudah memproses ratusan, jutaan, atau miliaran objek S3 dengan cara yang sederhana dan mudah. Anda dapat menyalin objek ke bucket lain, menetapkan tag atau daftar kontrol akses (ACL), memulai pengembalian dari S3 Glacier, atau menjalankan fungsi AWS Lambda pada masing-masingnya.

Baca blog berikut »

Blog Penyimpanan AWS


Mengenkripsi objek dengan S3 Batch Operations

Posting ini menunjukkan cara membuat daftar objek, memfilter untuk hanya menyertakan objek yang tidak dienkripsi, mengatur izin, dan melakukan pekerjaan S3 Batch Operations untuk mengenkripsi objek Anda. Mengenkripsi objek yang ada adalah salah satu dari banyak cara Anda dapat menggunakan S3 Batch Operations untuk mengelola objek Amazon S3 Anda.

Baca blog berikut »

Blog Penyimpanan AWS


Transcoding file video dengan Operasi Batch S3

Posting ini mengulas cara menggunakan S3 Batch Operations untuk memicu pekerjaan transcoding video menggunakan AWS Lambda, baik dari video yang disimpan dalam S3 atau video yang membutuhkan pemulihan dari Amazon S3 Glacier.

Baca blog berikut »
Product-Page_Standard-Icons_01_Product-Features_SqInk
Tonton S3 Batch Operations Tech Talk

Pelajari cara memulai dan praktik terbaik.

Pelajari selengkapnya 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Daftar untuk akun gratis

Dapatkan akses secara instan ke AWS Tingkat Gratis. 

Daftar 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Mulai membangun di konsol

Mulai merancang dengan Amazon S3 di AWS Management Console.

Masuk