Buluta Veri Geçişi

Geçişler veya devam eden iş akışları için şirket içi verileri AWS'ye taşıyın

Veriler; başarılı uygulama dağıtımlarının, analiz iş akışlarının ve makine öğrenimi inovasyonlarının temelini oluşturur. Verileri buluta taşırken, diğer hususların yanı sıra farklı kullanım örnekleri için verileri nereye taşıdığınızı, taşıdığınız veri türlerini ve kullanılabilir ağ kaynaklarını anlamanız gerekir. Dosyalar, veritabanları, makine görüntüleri, blok birimleri ya da bant yedeklemeleri fark etmeksizin AWS, veri kümelerinizin geçişini gerçekleştirmenize yardımcı olan çok çeşitli hizmetler ve çözüm ortağı araçları sunar.

Best practices for migrating data to AWS (50:07)

AWS Buluta Veri Geçişi Hizmetleri

AWS tarafından oluşturulan veri aktarımı hizmetleri paketi, verilerinizin geçişini daha etkin bir şekilde gerçekleştirmenize yardımcı olan birçok yöntem içerir. Bu yöntemleri, çevrimiçi veri aktarımı ve hibrit bulut depolama alanı ile Amazon S3'e çevrimdışı veri geçişi şeklinde iki kategori olarak görebilirsiniz.

Çevrimiçi veri aktarımı ve hibrit bulut depolama alanı

Bu yöntemler; VPC'niz için bir ağ bağlantısı oluşturmanızı, verileri AWS'ye aktarmanızı veya mevcut şirket içi uygulamalarınızla hibrit bulut depolama alanı için S3'ü kullanmanızı basitleştirir. Bu hizmetler, hem büyük veri kümelerini tek seferde taşımanıza hem de yedekleme ve kurtarma veya sürekli veri akışları gibi mevcut işlem akışlarını doğrudan bulut depolama alanıyla entegre etmenize yardımcı olabilir.

AWS Direct Connect

Müşteriler, kendi veri merkezleriyle bizimkiler arasında ağ aktarımını hızlandırmak için Direct Connect'e tahsis edilmiş fiziksel bir bağlantı seçer.

AWS Direct Connect, ağınız ile AWS Direct Connect konumlarından biri arasında tahsis edilmiş bir ağ bağlantısı kurmanıza olanak sağlar. Bu tahsis edilmiş bağlantı, sektör standardı 802.1q VLAN'ları kullanarak birden fazla sanal arabirime bölünebilir. Bu, genel IP adres alanı kullanarak Amazon S3'te depolanan nesneler gibi genel kaynaklara ve özel IP alanı kullanarak bir Amazon Virtual Private Cloud (VPC) içinde çalıştırılan Amazon EC2 bulut sunucuları gibi özel kaynaklara erişmek için aynı bağlantıyı kullanmanıza ve aynı zamanda genel ile özel ortamlar arasındaki ağ ayrımını korumanıza olanak tanır. Sanal arabirimler, değişen gereksinimlerinizi karşılamak için istendiği zaman yeniden yapılandırılabilir.

Şirket içi teknolojilerin buluta genişletilmesine yardımcı olan AWS Direct Connect Çözüm Ortağı Paketlerimizi keşfedin. 

AWS DataSync

AWS DataSync, şirket içi depolama alanı ile Amazon S3 veya Amazon Elastic File System (Amazon EFS) arasında veri taşıma işlemini otomatikleştirmenizi kolaylaştıran bir veri aktarımı hizmetidir. DataSync; kendi bulut sunucularınızı çalıştırmak, şifrelemeyi işlemek, betikleri yönetmek, ağ optimizasyonu ve veri bütünlüğü doğrulaması dahil olmak üzere veri geçişlerinizi yavaşlatabilen veya BT operasyonları yükünüzü artırabilen veri aktarımlarıyla ilgili birçok görevi otomatik olarak yönetir. DataSync'i, açık kaynak araçlarından 10 kata kadar daha hızlı bir şekilde verileri aktarmak için kullanabilirsiniz. Tek seferlik veri geçişleri, tekrarlayan veri işleme iş akışları, verileri korumaya ve kurtarmaya yönelik otomatikleştirilmiş çoğaltma amacıyla AWS Direct Connect veya internet bağlantıları üzerinden AWS'ye veri kopyalamak için DataSync'i kullanabilirsiniz.

AWS Storage Gateway

AWS Storage Gateway hizmeti, AWS depolama alanının şirket içinde hayata geçirilmesini basitleştirir. Mevcut uygulamalarınız, verileri Amazon S3 ve Amazon Glacier üzerinde depolamak için sektör standardı blok ve bant depolama protokolleri aracılığıyla yerel bir ağ geçidine bağlanır. Veriler sıkıştırılır ve güvenli bir şekilde AWS'ye aktarılır.

  • Dosya Ağ Geçidi, şirket içi uygulamaların dosyaları S3 nesneleri olarak saklaması ve bunlara geleneksel dosya arabirimleriyle erişmesi için SMB veya NFS dosya paylaşımları sunar.
  • Bant Ağ Geçidi sanal bant kitaplığı (VTL) yapılandırması, Amazon S3'te uygun maliyetli bant alternatifi ile S3 Glacier ve S3 Glacier Deep Archive'da uzun süreli arşivleme için mevcut yedekleme yazılımınızla sorunsuz bir şekilde entegre olur.
  • Birim Ağ Geçidi, EBS anlık yedekleri olarak belirli bir noktaya ait yedekler ile blok birimlerini yerel olarak depolar veya önbelleğe alır. Bu anlık yedekler bulutta kurtarılabilir.

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration, Amazon S3'e yapılan genel internet aktarımlarını hızlandırır. Mesafeden veya değişken internet durumundan bağımsız olarak kullanabileceğiniz bant genişliğini maksimum düzeye çıkarabilirsiniz ve özel istemci ya da tescilli ağ protokolleri gerekmez. S3 klasörünüzle kullandığınız uç noktayı değiştirmeniz yeterlidir, hızlandırma otomatik olarak uygulanır.

Bu; medya yüklemeleri, yedeklemeler ve düzenli olarak merkezi bir konuma gönderilen yerel veri işleme görevleri gibi dünyanın dört bir yanını dolaşan ve yinelenen işler için idealdir.

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose, akış verilerini AWS'ye yüklemenin en kolay yoludur. Akış verilerini yakalayıp otomatik olarak Amazon S3 ve Amazon Redshift'e yükleyebildiğinden, mevcut iş zekası araçları ve kullanmakta olduğunuz panolarla neredeyse gerçek zamanlı analize olanak sağlar. Tam olarak yönetilen bu hizmet, verilerinizin aktarım hızıyla eşleşecek şekilde otomatik olarak ölçeklendirilir ve sürekli yönetim gerektirmez. Ayrıca, verileri yüklemeden önce toplayabilir, sıkıştırabilir ve şifreleyebilir. Bu sayede, hedefte kullanılan depolama miktarını en aza indirir ve güvenliği artırır. AWS Management Console'dan kolayca bir Firehose teslim akışı oluşturabilir, bunu birkaç tıklamayla yapılandırabilir ve yalnızca birkaç dakikada yüz binlerce veri kaynağından kesintisiz bir şekilde AWS'ye yüklenmek üzere akışa veri göndermeye başlayabilirsiniz.

APN Çözüm Ortağı Ürünleri

AWS, geleneksel yedekleme ile bulut arasındaki boşluğu dolduran fiziksel ağ geçidi gereçleri konusunda sektördeki çeşitli satıcılarla çözüm ortaklığı kurmuştur. Mevcut şirket içi verilerinizi Amazon'un bulut depolama alanına bağlayarak performansı etkilemeden ve mevcut yedekleme kataloglarını koruyarak geçiş yapın.

  • Mevcut altyapıyla sorunsuz bir şekilde entegre olur
  • Yinelenen verileri kaldırma, sıkıştırma, şifreleme veya WAN hızlandırması olanaklarını sunar
  • Son yedeklemeleri yerel olarak önbelleğe alın, her şeyi AWS Cloud'da depolayın

Amazon S3'e çevrimdışı veri geçişi

100 petabaytlık sabit sürücülerle dolu bir tırın veya 100 TB'lık, bavul boyutundaki bir cihazın bant genişliğinin hafife alınmaması gerekir. Gönderilebilir, sağlamlaştırılmış cihazlar kullanan bu çevrimdışı veri geçişi hizmetleri, büyük arşivler ile data lake'leri taşımak veya bant genişliği ve veri hacimlerinin, istenen süre zarfında ağlarınız üzerinden taşınmasının mümkün olmadığı durumlar için idealdir.

AWS Snowball

AWS Snowball, güvenli gereçler kullanarak AWS'nin içine ve dışına büyük miktarda veri aktaran petabayt ölçeğinde bir veri aktarma çözümüdür. Snowball; sınırlı ağ bant genişliği, uzun aktarım süreleri ve güvenlik endişeleri gibi büyük ölçekli veri aktarımlarıyla ilgili yaygın olarak karşılaşılan zorlukları giderir. Snowball ile veri aktarmak basit, hızlı ve güvenlidir.

AWS Snowball Edge

AWS Snowball Edge, yerleşik depolama ve işlem özelliklerine sahip, petabayt ölçeğinde bir veri aktarma cihazıdır. Snowball Edge'i büyük miktarda veriyi AWS'nin içine veya dışına taşımak amacıyla, büyük yerel veri kümeleri için geçici bir depolama katmanı olarak ya da uzak veya çevrimdışı konumlardaki yerel iş yüklerini desteklemek için kullanabilirsiniz.

AWS Snowmobile

AWS Snowmobile, AWS'nin içine ve dışına büyük miktarda veri aktarmak için yaklaşık 12 metre uzunluğunda güvenli bir yük konteyneri kullanan eksabayt ölçeğinde bir veri aktarma çözümüdür. Snowmobile; yüksek ağ maliyetleri, uzun aktarım süreleri ve güvenlik endişeleri gibi büyük ölçekli veri aktarımlarıyla ilgili yaygın olarak karşılaşılan zorlukları giderir. Snowmobile ile veri aktarımı özel bir çalışma aracılığıyla yürütülür, veriler hızlı ve güvenli bir şekilde aktarılır ve maliyeti, yüksek hızlı internet maliyetinin beşte birine kadar düşebilir.

Yönetilmeyen buluta veri geçişi araçları

AWS, verileri konumunuzdan Amazon bulut depolama alanına taşımak için kolay betik veya CLI araçları da sunar.

rsync

Müşteriler, verileri doğrudan S3 klasörlerine kopyalamak için 3. taraf dosya sistemi araçlarının yanı sıra açık kaynak kodlu bir araç olan rsync'i kullanmaktadır.

S3 komut satırı arabirimi

Müşteriler, verilerin doğrudan S3 klasörlerine taşınmasını sağlayan komutlar yazmak için Amazon S3 CLI'yı kullanmaktadır.

S3 Glacier komut satırı arabirimi

Müşteriler, verileri Glacier kasalarına taşımak için Amazon Glacier CLI'yı kullanmaktadır.

Buluta veri geçişinde yaygın olarak karşılaşılan zorluk

Veri aktarımının göz korkutucu gerçekleri çoğu proje için geçerlidir. Mevcut konumunuzdan yeni bulutunuza minimum kesinti, maliyet ve zamanla sorunsuz bir şekilde nasıl geçebilirsiniz? GB, TB veya PB boyutlarındaki verilerinizi gerçekten buluta taşımanın en akıllıca yolu nedir?

Bu temel bir sorundur: Ne kadar veri, ne kadar hızlı bir şekilde ne kadar uzağa taşınabilir? En iyi senaryo için şu formülü kullanın:

Gün sayısı = (Toplam Bayt)/(Saniye başına megabit * 125 * 1.000 * Ağ Kullanımı * 60 saniye * 60 dakika * 24 saat)

Örneğin, bir T1 bağlantınız (1,544 Mb/sn.) ve AWS'nin içine ya da dışına taşımanız gereken 1 TB (1024 * 1024 * 1024 * 1024 bayt) veriniz varsa, bu verinin ağ bağlantınız üzerinden %80 ağ kullanımıyla yüklenmesi için teorik olarak gerekli en kısa süre 82 gündür.

Rahat olun. Bu konuda deneyimliyiz. Müşterilerin buna iki şekilde yaklaştığını biliyoruz: Verilerini taşımak için çok temel, yönetilmeyen geçiş araçlarını kullanıyorlar veya Amazon'un yukarıda belirtilen hizmet paketinden bir seçim yapıyorlar.

Genel bir kural olarak, en iyi sonuçlar için şunları öneririz:

Bağlantı Veri Ölçeği Yöntem
10 Mb/sn.'den az 500 GB'tan az Yönetilmeyen
10 Mb/sn.'den fazla 500 GB'tan fazla Yönetilen hizmet