Datenmigration in die Cloud

Verlagern Sie standortbasierte Daten für Migrationen oder laufende Workflows nach AWS

Daten sind die Eckpfeiler für erfolgreiche Anwendungsbereitstellungen, Analyse-Workflows und Machine Learning-Innovationen. Wenn Sie Daten in die Cloud verlagern, müssen Sie unter anderem nachvollziehen können, wohin Sie die Daten bei verschiedenen Anwendungsfällen verlagern, Sie müssen sich bewusst machen, welche Daten Sie verlagern, und Sie müssen sich mit den verfügbaren Netzwerkressourcen vertraut machen. AWS bietet eine große Bandbreite an Services und Partnerwerkzeugen, um Sie bei der Migration Ihrer Datensätze zu unterstützen. Dabei kann es sich um Dateien, Datenbanken, Computer-Images, Block-Volumes oder sogar Sicherungen auf Bandlaufwerken handeln.

Bewährte Methoden für die Datenmigration auf AWS (50:07)

AWS-Services für die Migration von Cloud-Daten

Das von AWS erstellte Paket mit Services für die Datenübertragung enthält viele Methoden, mit denen Sie Ihre Daten wesentlich effektiver migrieren können. Sie lassen sich in zwei Kategorien unterteilen: Online-Datenübertragung und hybrider Cloud-Speicher sowie Offline-Datenmigration auf Amazon S3.

Online-Datenübertragung und Hybrid-Cloud-Speicher.

Diese Methoden vereinfachen die Erstellung einer Netzwerkverbindung zu Ihrem VPC, die Datenübertragung nach AWS oder die Verwendung von S3 für den Hybrid-Cloud-Speicher mit Ihren bestehenden, standortbasierten Anwendungen. Diese Services können Sie dabei unterstützen, große Datensätze in einem Zug zu verschieben und vorhandene Prozessabläufe, wie Sicherung und Wiederherstellung oder kontinuierliche Datenströme, direkt mit dem Cloud-Speicher zu integrieren.

AWS Direct Connect

Kunden wählen eine spezielle physische Direct Connect-Verbindung zur Beschleunigung von Netzwerkübertragungen zwischen ihren und unseren Rechenzentren.

AWS Direct Connect ermöglicht Ihnen, eine dedizierte Netzwerkverbindung zwischen Ihrem Netzwerk und einem der AWS Direct Connect-Standorte herzustellen. Mithilfe von VLANs nach Branchenstandard 802.1q kann diese dedizierte Verbindung in mehrere virtuelle Schnittstellen partitioniert werden. Damit erhalten Sie die Möglichkeit, über ein und dieselbe Verbindung auf öffentliche Ressourcen wie z. B. in Amazon S3 gespeicherte Objekte, die einen öffentlichen IP-Adressraum verwenden, und private Ressourcen wie z. B. Amazon EC2-Instances innerhalb einer Amazon Virtual Private Cloud (VPC), die private IP-Bereiche verwenden, zuzugreifen und gleichzeitig die Netzwerktrennung zwischen öffentlichen und privaten Umgebungen beizubehalten. Virtuelle Schnittstellen können jederzeit neu konfiguriert werden, um an veränderte Anforderungen angepasst zu werden.

Lernen Sie unsere AWS Direct Connect-Partnerpakete kennen, mit denen Sie lokale Technologien in die Cloud ausdehnen können. 

AWS DataSync

AWS DataSync ist ein Datenübertragungsservice, der es Ihnen vereinfacht, Datenbewegungen zwischen standortbasierten Speichersystemen und Amazon S3 oder dem Amazon Elastic File System (Amazon EFS) zu automatisieren. DataSync verarbeitet viele Aufgaben in Bezug auf Datenübertragungen, die Migrationen verlangsamen oder Ihre IT-Abläufe erschweren können, automatisch, darunter die Ausführung Ihrer eigenen Instanzen, Verschlüsselungsverwaltung, Skriptverwaltung, Netzwerkoptimierung und Datenintegritätsvalidierung. Sie können DataSync für die Übertragung von Daten bei Geschwindigkeiten verwenden, die die von Open-Source-Lösungen um das 10fache übertreffen. Sie können DataSync zum Kopieren von Daten über AWS Direct Connect oder Internetverbindungen nach AWS verwenden, wenn es sich um einmalige Datenmigrationen, um wiederkehrende Datenverarbeitungs-Workflows und die automatische Replikation für den Schutz und die Wiederherstellung von Daten handelt.

AWS Storage Gateway

Der AWS Storage Gateway-Service erleichtert die lokale Umstellung auf AWS-Speicherung. Für die Speicherung von Daten in Amazon S3 und Amazon Glacier werden Ihre vorhandenen Anwendungen mit einem lokalen Gateway verbunden. Dies erfolgt über Protokolle, die für Block- und Bandspeicher branchenüblich sind. Daten werden komprimiert und sicher nach AWS übertragen.

  • Das File Gateway ist eine SMB- oder NFS-Dateifreigabe für standortbasierte Anwendungen, um Dateien als S3-Objekte zu speichern und über herkömmliche Dateischnittstellen darauf zuzugreifen.
  • Die Konfiguration der virtuellen Tape Gateway-Bandbibliothek integriert sich nahtlos in Ihre vorhandene Sicherungssoftware und ermöglicht so einen kostengünstigen Bandaustausch in Amazon S3 und eine langfristige Archivierung in S3 Glacier und S3 Glacier Deep Archive.
  • Das Volume Gateway speichert oder cacht Block-Volumes lokal mit zeitpunktbezogenen Sicherungen als EBS-Snapshots. Diese Snapshots können in der Cloud wiederhergestellt werden.

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration beschleunigt Datenübertragungen über das Internet zu Amazon S3. Maximieren Sie die verfügbare Bandbreite unabhängig von der Entfernung oder dem Datenverkehrsaufkommen im Internet. Sie benötigen dafür weder spezielle Clients noch unternehmenseigene Netzwerkprotokolle. Ändern Sie einfach den für Ihren S3-Bucket verwendeten Endpunkt. Die Übertragung wird dadurch automatisch beschleunigt.

Diese Lösung eignet sich optimal für wiederkehrende, weltweit zu übertragende Aufträge, wie Medien-Uploads, Sicherungen und lokale Datenverarbeitungsaufgaben, die regelmäßig an einen zentralen Standort übermittelt werden.

Amazon Kinesis Data Firehose

Die einfachste Methode, um Streaming-Daten in AWS zu laden, bietet Amazon Kinesis Data Firehose. Kinesis Firehose kann Streaming-Daten aufzeichnen und automatisch in Amazon S3 und Amazon Redshift laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen. Sie können über die AWS-Managementkonsole sehr einfach einen Firehose-Lieferungsdatenstrom einrichten, ihn mit wenigen Klicks konfigurieren und gleich beginnen, Daten von Hunderttausenden Datenquellen zum Stream zu senden, die kontinuierlich in AWS geladen werden – und all dies in nur wenigen Minuten.

APN-Partnerprodukte

AWS ist mit zahlreichen Branchenanbietern von physischen Gateway-Appliances Partnerschaften eingegangen und schließt damit die Lücke zwischen herkömmlichen Sicherungen und der Cloud. Lokale Daten werden mit der Cloud von Amazon verknüpft und so ohne Beeinträchtigung der Leistung sowie unter Beibehaltung vorhandener Sicherungskataloge übertragen.

  • Nahtlose Integration in vorhandene Infrastruktur
  • Möglicherweise Deduplizierung, Komprimierung, Verschlüsselung oder WAN-Beschleunigung
  • Lokale Zwischenspeicherung aktueller Sicherungen, Speicherung aller Daten in der AWS-Cloud

Offline-Datenmigration nach Amazon S3.

Man sollte niemals unterschätzen, wie viel Bandbreite ein mit 100 PB auf Festplatten oder 100 TB auf Geräten in Koffergröße beladener Laster auf der Datenautobahn benötigt. Diese Offline-Datenmigrationsservices, die versendbare, robuste Geräte verwenden, eignen sich ideal für die Verlagerung großer Archive, Data Lakes oder in Situationen, in denen die erforderliche Bandbreite und das benötigte Datenvolumen aus Kapazitätsgründen Ihre Netzwerke nicht mit der gewünschten Geschwindigkeit durchlaufen können.

AWS Snowball

AWS Snowball ist eine Datenübertragungslösung im Petabyte-Bereich, die sichere Appliances zum Übertragen großer Datenmengen in und aus AWS einsetzt. Snowball dient zur Bewältigung häufig vorkommender Herausforderungen bei der Übertragung großer Datenmengen, wozu eine einschränkte Netzwerkbandbreite, lange Übertragungszeiten und Sicherheitsprobleme gehören. Die Übertragung von Daten mit Snowball ist einfach, schnell und sicher.

AWS Snowball Edge

AWS Snowball Edge ist ein Datenübertragungsgerät im Petabyte-Bereich mit integrierten Speicher- und Rechenkapazitäten. Mit Snowball Edge können Sie große Datenmengen in und aus AWS als temporäre Speicherstufe für große lokale Datensätze in und aus AWS verschieben oder lokale Workloads an Remote- oder Offline-Standorten unterstützen.

AWS Snowmobile

AWS Snowmobile ist eine Datentransport-Lösung im Exabyte-Bereich, unter der die Übertragung großer Datenmengen zu bzw. aus AWS mit einem sicheren Schifffahrts-Semicontainer (40 Fuß) erfolgt. Snowmobile dient zur Bewältigung häufig vorkommender Herausforderungen bei der Übertragung großer Datenmengen, wozu hohe Netzwerkkosten, lange Übertragungszeiten und Sicherheitsprobleme gehören. Die Datenübertragung unter Snowmobile wird kundenspezifisch vorbereitet und ausgeführt. Sie geschieht schnell und sicher und kann die Kosten im Vergleich zu Highspeed-Internet auf ein Fünftel reduzieren.

Nicht verwaltete Tools für die Datenmigration in die Cloud

AWS bietet außerdem einfache Skript- oder Befehlszeilenschnittstellen-Werkzeuge, um eine größere Anzahl an Daten von Ihrem Standort in den Amazon-Cloud-Speicher zu übertragen.

sync

Kunden setzen das Open-Source-Tool rsync gemeinsam mit Dateisystem-Tools von Drittanbietern ein, um Daten direkt in S3-Buckets zu kopieren.

S3-Befehlszeilenschnittstelle

Kunden verwenden die Amazon S3-Befehlszeilenschnittstelle, um mithilfe von Befehlen Daten direkt in S3-Buckets zu verschieben.

Glacier-Befehlszeilenschnittstelle

Kunden verwenden die Amazon Glacier-Befehlszeilenschnittstelle, um Daten in Glacier-Datenspeicher zu verschieben.

Die große Herausforderung der Datenmigration in die Cloud

Bei den meisten Projekten bereitet der Datentransport besonderes Kopfzerbrechen. Wie können Sie Ihre Daten mit einer möglichst geringen Unterbrechung des Betriebs und minimalem Kosten- und Zeitaufwand elegant vom aktuellen Standort in die neue Cloud verlagern? Wie lassen sich Ihre GB, TB oder PB von Daten möglichst intelligent verschieben?

All diesen Fragen liegt eine zentrale Frage zugrunde: Wie viele Daten können mit welcher Geschwindigkeit über welche Entfernung übertragen werden? Für ein Best-Case-Szenario gilt folgende Formel:

Anzahl der Tage = (Byte insgesamt)/(Megabit pro Sekunde * 125 * 1000 * Netzwerkauslastung * 60 Sekunden * 60 Minuten * 24 Stunden)

Beispiel: Sie haben eine T1-Verbindung (1 544 Mbit/s) und 1 TB (1024 x 1024 x 1024 x 1024 Byte) an Daten, die zu oder von AWS übertragen werden sollen. Theoretisch würde es mindestens 82 Tage dauern, um die Daten bei einer 80-prozentigen Auslastung des Netzwerks über Ihre Netzwerkverbindung zu übertragen.

Aber keine Sorge. Wir haben damit viel Erfahrung. Wir haben festgestellt, dass Kunden auf zwei verschiedene Arten vorgehen: Sie verschieben ihre Daten mit sehr einfachen, nicht verwalteten Migrationswerkzeugen, oder sie entscheiden sich für die oben genannten Services von Amazon.

Für optimale Ergebnisse empfehlen wir generell folgende Faustregel:

Verbindung Datenmenge Methode
Unter 10 Mbit/s Weniger als 500 GB Nicht verwaltet
Über 10 Mbit/s Mehr als 500 GB Verwalteter Service