S3 Toplu İşlemler ile milyarlarca nesneyi yönetin
S3 Batch Operations, uygun ölçekte milyarlarca nesneyi Amazon S3 Management Console'da birkaç tıklamayla veya tek bir API isteğiyle yönetmenize olanak tanıyan bir Amazon S3 veri yönetimi özelliğidir. Bu özellik ile nesne meta verileri ve özellikleri üzerinde değişiklikler yapmanın yanı sıra nesneleri klasörler arasında kopyalama veya çoğaltma, nesne etiket setlerini değiştirme, erişim denetimleri üzerinde değişiklik yapma ve arşivlenmiş nesneleri S3 Glacier'dan geri yükleme gibi diğer depolama yönetimi görevlerini gerçekleştirebilirsiniz ve bu görevleri gerçekleştirmek için aylar boyunca özel uygulamalar geliştirmek zorunda kalmazsınız.
S3 Batch Operations
S3 Batch Operations, nesneleri tek seferlik görevler ya da tekrar eden toplu iş yükleri için uygun ölçekte kopyalama ve etiketleme gibi depolama eylemlerini gerçekleştirmeye yönelik bir yönetilen çözümdür. S3 Batch Operations tek bir istekle milyarlarca nesnede ve petabaytlarca veride eylem gerçekleştirebilir. S3 Batch Operations'ta çalışmak için bir iş oluşturursunuz. Bu iş, nesnelerin listesini, gerçekleştirilecek eylemleri ve bu işlem türü için belirlediğiniz parametre setini içerir. S3 Batch Operations’da tek seferde birden fazla iş oluşturup çalıştırabilir ya da gerektiğinde iş önceliklerini kullanarak her işin önceliğini tanımlayabilir ve en kritik işlerin ilk önce yapılmasını sağlayabilirsiniz. S3 Toplu İşlemler ayrıca yeniden denemeleri yönetir, ilerlemeyi izler, tamamlanma bildirimleri gönderir, raporlar oluşturur ve yapılan tüm değişiklikler ve yürütülen tüm görevler için AWS CloudTrail'a etkinlik iletir.
S3 Batch Operations, bugün kullandığınız herhangi bir olay odaklı mimariyi tamamlayıcı niteliktedir. Yeni nesneler için S3 olaylarının ve Lambda işlevlerinin kullanılması, dosya türlerinin dönüştürülmesi, küçük resimlerin oluşturulması, veri taramalarının yapılması ve diğer işlemlerin gerçekleştirilmesi için harika bir yöntemdir. Örneğin, müşteriler fotoğraflarını S3’e ilk yüklediklerinde fotoğrafların küçük boyutlu, düşük çözünürlüklü versiyonlarını oluşturmak için S3 olaylarını ve Lambda işlevlerini kullanır. S3 Batch Operations, aynı eylemleri mevcut nesnelerinizde de gerçekleştirmek üzere basit bir mekanizma sunarak bu mevcut olay odaklı iş akışlarını tamamlar.
Nasıl çalışır? - S3 Toplu İşlemler
S3 Toplu İşlemler'de çalışmak için bir iş oluşturursunuz. Bu iş, nesnelerin listesini, gerçekleştirilecek eylemleri ve bu işlem türü için belirlediğiniz parametre setini içerir. S3 Batch Operations’da tek seferde birden fazla iş oluşturup çalıştırabilir ya da gerektiğinde iş önceliklerini kullanarak her işin önceliğini tanımlayabilir ve en kritik işlerin ilk önce yapılmasını sağlayabilirsiniz. S3 Toplu İşlemler ayrıca yeniden denemeleri yönetir, ilerlemeyi izler, tamamlanma bildirimleri gönderir, raporlar oluşturur ve yapılan tüm değişiklikler ve yürütülen tüm görevler için AWS CloudTrail'a etkinlik iletir.
S3 Toplu İşlemler öğreticisi
Müşteriler
2011 yılında kurulan Teespring, kullanıcıların internette istek üzerine özel ürünler oluşturmasına ve bunları satmasına olanak sağlar. Her özel ürün Teespring’de birden fazla varlık gerektirdiğinden dolayı Teespring Amazon S3’te petabaytlarca veri depolamaktadır.
"Amazon S3 Batch Operations, Amazon S3’ün Glacier depolama sınıfını kullanarak depolama işlemlerimizi optimize etmemize yardımcı oldu. Kendi depolama metaverilerimizi kullanarak Amazon S3 Glacier’a taşıyabileceğimiz nesne kümeleri oluşturduk. Amazon S3 Glacier ile depolama maliyetlerimizde %80’den fazla tasarruf sağladık. Daima depolama yönetimini otomatik hale getirme fırsatları arıyoruz ve S3 Batch Operations ile birkaç dakikada milyonlarca nesneyi yönetebiliyoruz."
James Brady, Mühendislik Departmanı Başkan Yardımcısı - Teespring
Capital One, finans ve teknolojinin kesişim noktasında kurulan ve Amerika’nın en tanınmış markalarından biri olan bir bankadır.
Capital One, iki AWS bölgesi arasında verileri kopyalayıp veri yedekliliğini artırmak ve bu iki konum arasındaki veri ayak izini standartlaştırmak için Amazon S3 Batch Operations’ı kullandı.
"Amazon S3 Batch Operations ile geleneksel yöntemlerle tamamlaması aylar sürecek bir iş olan milyonlarca nesneyi kopyalama işini birkaç saatte yaptık. Amazon S3’ün envanter raporunu kullandık. Bu rapor, klasörümüzdeki nesnelerin listesini Amazon S3 Batch Operations işimiz için girdi olarak sundu. Amazon S3, verileri kopyalama, ilerleme güncellemeleri sağlama ve iş tamamlandığında denetim raporu sunma konularında yardımcı oldu. Bu özelliğe sahip olmak, ekibimizi haftalarca sürecek manuel işlerden kurtardı ve bu büyük ölçekli veri aktarımını rutin bir iş haline getirdi."
Franz Zemen, Yazılım Mühendisliği Başkan Yardımcısı - Capital One
Bir AWS Gelişmiş Danışmanlık İş Ortağı olan ePlus, müşterilerin BT ortamlarını optimize etmek için onlarla birlikte çalışır ve zaman ve para tasarrufu sağlamak için S3 Batch Operations gibi çözümler kullanır.
"S3 Batch Operations tek kelimeyle harika. Bir müşterimizin, çok çeşitli S3 işlemlerini bir araya getirmek, işleri planlamak, ardından bilgileri kullanımı kolay bir panoda işlemek gibi zaman alıcı, karmaşık ve zahmetli işlerini azaltmaya yardımcı olmakla kalmadı, aynı zamanda bazı göz korkutan kullanım örneklerinin üstesinden gelmemize yardımcı oldu ve S3 Batch Operations olmadan bu kadar kısa sürede bunların üstesinden gelemezdik.
Örneğin, S3 Batch Operations, metaverileri olduğu gibi bırakarak aynı hesaptaki bölgeler arasında 2 milyondan fazla nesnenin kısa sürede kopyalanmasını sağladı. Çözüm, hesaplar arasında benzer görevlerin gerçekleştirilmesinde sorunsuz çalıştı ve daha da önemlisi, 400 milyon nesne arasında başarılı ve başarısız işlemleri otomatik olarak eleyip ayıran bir tamamlama raporu oluşturarak başarısız işlemlerin tek bir dosyada kolayca ele alınabilmesini sağladı."
David Lin, Kıdemli Çözüm Mimarı ve AWS Certified Professional - ePlus
S3 Batch Operations blog gönderileri
AWS Haber Bloğu
Amazon S3 Batch Operations
Amazon S3 Batch Operations, yüzlerce, milyonlarca ya da milyarlarca S3 nesnesini basit bir şekilde işlemek için kullanılabilir. Nesneleri başka bir klasöre kopyalayabilir, etiketler veya erişim denetimi listeleri (ACL) ayarlayabilir, S3 Glacier’den geri yükleme başlatabilir ya da her birinde bir AWS Lambda işlevi çağırabilirsiniz.
AWS Depolama Bloğu
S3 Batch Operations ile nesneleri şifreleme
Bu gönderi, nesne listesi oluşturma, yalnızca şifrelenmemiş nesneleri dahil edecek şekilde filtreleme, izinleri ayarlama ve nesnelerinizi şifrelemek için bir S3 Batch Operations işi gerçekleştirme işlemlerinin nasıl yapılacağını gösterir. Mevcut nesneleri şifrelemek, Amazon S3 nesnelerinizi yönetmek için S3 Batch Operations’ı kullanmanın pek çok yolundan biridir.
AWS Depolama Bloğu
S3 Batch Operations ile video dosyalarını dönüştürme
Bu gönderi, AWS Lambda’yı kullanarak, S3’te depolanan bir videodan ya da Amazon S3 Glacier’den geri yükleme gerektiren bir videodan bir video dönüştürme işi tetiklemek için S3 Batch Operations’ın nasıl kullanılacağını gösterir.
Nasıl başlayacağınızı ve en iyi uygulamaları öğrenin.
AWS Yönetim Konsolu'nda Amazon S3 ile oluşturmaya başlayın.