Moderne Daten-Architektur auf AWS
Moderne Daten-Architektur – so funktioniert alles
Die moderne Datenarchitektur trägt der Tatsache Rechnung, dass ein einheitlicher Ansatz für die Analytik letztendlich zu Kompromissen führt. Dabei geht es nicht nur um die Integration eines Data Lakes mit einem Data Warehouse, sondern vielmehr um die Integration eines Data Lakes, eines Data Warehouses und zweckbestimmter Speicher, die eine einheitliche Governance und eine einfache Datenbewegung ermöglichen. Mit einer modernen Datenarchitektur auf AWS können Kunden schnell skalierbare Data Lakes aufbauen, eine breite und umfassende Sammlung von speziell entwickelten Datenservices nutzen, die Compliance über einen einheitlichen Datenzugriff, Sicherheit und Governance sicherstellen und ihre Systeme kostengünstig skalieren die Leistung zu beeinträchtigen und Daten einfach über Unternehmensgrenzen hinweg freizugeben, sodass sie Entscheidungen schnell und agil nach Maß treffen können.
Warum Sie eine moderne Daten-Architektur brauchen
Das Datenvolumen wächst in einem noch nie dagewesenen Ausmaß, das von Terabytes auf Petabytes und manchmal sogar Exabytes ansteigt. Herkömmliche On-Premises-Datenanalytik kann diese Datenmengen nicht bewältigen, da sie nicht ausreichend skalierbar und zu teuer ist. Viele Unternehmen fassen alle Daten aus verschiedenen Silos an einem Ort zusammen, den viele als Data Lake bezeichnen, um Analysen und ML direkt auf diesen Daten durchzuführen. Zu anderen Zeiten speichern dieselben Unternehmen andere Daten in eigens dafür eingerichteten Datenspeichern, um strukturierte und unstrukturierte Daten zu analysieren und schnelle Erkenntnisse daraus zu gewinnen. Diese Datenbewegung kann „von innen nach außen“, „von außen nach innen“, „um den Rand herum“ oder „übergreifend“ erfolgen, da Daten Schwerkraft haben.
-
Von innen nach außen
-
Von außen nach innen
-
Um den Rand herum
-
Überall teilen
-
Data Gravity
-
Von innen nach außen
-
Datenübermittlung von innen nach außen
Kunden, die Daten in einem Data Lake speichern und dann einen Teil dieser Daten in einen eigens dafür eingerichteten Datenspeicher verschieben, um zusätzliche Machine Learning- oder Analytikverfahren durchzuführen.
Beispiel: Clickstream-Daten aus Webanwendungen können direkt in einem Data Lake gesammelt werden, und ein Teil dieser Daten kann für die tägliche Berichterstattung in ein Data Warehouse ausgelagert werden. Wir bezeichnen dieses Konzept als Datenübermittlung von innen nach außen.
-
Von außen nach innen
-
Datenübermittlung von außen nach innen
Kunden speichern Daten in speziellen Datenspeichern wie einem Data Warehouse oder einer Datenbank und verschieben diese Daten in einen Data Lake, um Analysen mit diesen Daten durchzuführen.
Beispiel: Sie kopieren Abfrageergebnisse für Produktverkäufe in einer bestimmten Region aus ihrem Data Warehouse in ihren Data Lake, um Produktempfehlungsalgorithmen mit Hilfe von ML gegen einen größeren Datensatz laufen zu lassen.
-
Um den Rand herum
-
Datenübermittlung um den Rand herum
Nahtlose Integration von Data Lake, Data Warehouse und speziell entwickelten Datenspeichern.
Beispiel: Sie können die in ihrer Datenbank gespeicherten Produktkatalogdaten in ihren Suchdienst kopieren, um das Durchsuchen ihres Produktkatalogs zu erleichtern und die Suchanfragen von der Datenbank zu entlasten.
-
Überall teilen
-
Teilen über Datenverlagerung hinweg
Kunden verwenden eine moderne Datenarchitektur, um die Governance und den Datenaustausch über logische oder physische Governance-Grenzen hinweg zu erleichtern, um Datendomänen zu erstellen, die auf Geschäftsbereiche ausgerichtet sind
-
Data Gravity
-
Data Gravity
Da die Daten in diesen Data Lakes und zweckgebundenen Speichern immer weiter wachsen, wird es immer schwieriger, all diese Daten zu verschieben, denn Daten werden träge. Ebenso wichtig ist es, dafür zu sorgen, dass die Daten problemlos und mit den richtigen Kontrollen dorthin gelangen können, wo sie benötigt werden, um Analysen und Erkenntnisse zu ermöglichen.
Säulen der modernen Daten-Architektur
Unternehmen nehmen ihre Daten aus verschiedenen Silos und führen sie an einem Ort zusammen, um Analytik und Machine Learning auf diesen Daten durchzuführen. Um den größtmöglichen Nutzen daraus zu ziehen, müssen sie eine moderne Daten-Architektur nutzen, die es ihnen ermöglicht, Daten problemlos zwischen Data Lakes und zweckgebundenen Datenspeichern zu verschieben. Diese moderne Art der Architektur erfordert:
-
Skalierbare Data Lakes
Zehntausende von Kunden betreiben ihre Data Lakes auf AWS.
Die Einrichtung und Verwaltung von Data Lakes ist heute mit vielen manuellen und zeitaufwändigen Aufgaben verbunden. AWS Lake Formation automatisiert diese Aufgaben, sodass Sie Ihren Data Lake in Tagen statt in Monaten aufbauen und sichern können. Amazon S3 ist der beste Ort für den Aufbau eines Data Lakes, denn es bietet eine unübertroffene Haltbarkeit von 11 Neunern und eine Verfügbarkeit von 99,99 %; die besten Sicherheits-, Compliance- und Audit-Funktionen mit Audit-Protokollierung auf Objektebene und Zugriffskontrolle; die größte Flexibilität mit fünf Speicherebenen; und die niedrigsten Kosten mit Preisen, die bei weniger als 1 USD pro TB pro Monat beginnen.
-
Speziell entwickelte Analyse-Services
AWS bietet Ihnen das breiteste und tiefste Portfolio an zweckgebundenen Analyseservices, die für Ihre speziellen Analyseanwendungsfälle optimiert sind.
Diese Dienste sind alle so konzipiert, dass sie zu den besten ihrer Klasse gehören, was bedeutet, dass Sie bei ihrer Nutzung keine Kompromisse bei Leistung, Skalierung oder Kosten eingehen müssen. Amazon Redshift ist zum Beispiel 3x schneller und mindestens 50 Prozent günstiger als andere Cloud Data Warehouses. Spark auf Amazon EMR läuft 1,7-mal schneller als Standard-Apache Spark 3.0 und Sie können Analysen im Petabyte-Bereich zu weniger als der Hälfte der Kosten herkömmlicher Vor-Ort-Lösungen ausführen.
-
Einheitlicher Datenzugriff
Da die Daten in Ihren Data Lakes und zweckgebundenen Datenspeichern ständig wachsen, müssen Sie oft in der Lage sein, einen Teil dieser Daten einfach von einem Datenspeicher in einen anderen zu verschieben.
AWS macht es Ihnen leicht, Daten über mehrere Datenspeicher und Ihren Data Lake hinweg zu kombinieren, zu verschieben und zu replizieren. AWS Glue bietet beispielsweise umfassende Datenintegrationsfunktionen, die das Erkennen, Aufbereiten und Kombinieren von Daten für Analysen, Machine Learning und Anwendungsentwicklung erleichtern, während Amazon Redshift Daten in Ihrem S3 Data Lake einfach abfragen kann. Kein anderer Analytik-Anbieter macht es Ihnen so leicht, Ihre Daten in großem Umfang dorthin zu bringen, wo Sie sie am meisten brauchen.
-
Einheitliche Governance
Einer der wichtigsten Bestandteile einer modernen Analyse-Architektur ist die Möglichkeit für Kunden, den Zugriff auf Daten zu autorisieren, zu verwalten und zu überprüfen.
Das kann eine Herausforderung sein, denn die Verwaltung von Sicherheit, Zugriffskontrolle und Prüfpfaden für alle Datenspeicher in Ihrem Unternehmen ist komplex, zeitaufwändig und fehleranfällig. AWS bietet Ihnen die Governance-Fähigkeit, um den Zugriff auf alle Ihre Daten in Ihrem Data Lake und in speziell entwickelten Datenspeichern von einem einzigen Ort aus zu verwalten. Mit AWS Lake Formation können Sie Sicherheits-, Governance- und Überwachungsrichtlinien zentral definieren und verwalten, was zu einer einheitlichen Zugriffskontrolle für den unternehmensweiten Datenaustausch führt.
-
Leistungsstark und kosteneffektiv
AWS ist bestrebt, die beste Leistung zu den niedrigsten Kosten für alle Analyse-Services zu bieten, und wir arbeiten kontinuierlich an Innovationen, um das Preis-Leistungs-Verhältnis unserer Services zu verbessern.
Neben der branchenführenden Preisleistung für Analyseservices spart das intelligente S3-Tiering den Kunden bis zu 70 Prozent der Speicherkosten für die in Ihrem Data Lake gespeicherten Daten, und Amazon EC2 bietet Zugang zu einer branchenführenden Auswahl von über 200 Instance-Typen, bis zu 100 Gbps Netzwerkbandbreite und die Möglichkeit, zwischen On-Demand-, reservierten und Spot-Instances zu wählen.
Mehr Kunden entwickeln moderne Daten-Architekturen auf AWS als irgendwo sonst
-
BMW-Gruppe
-
Fallstudie lesenZur Beschleunigung von Innovationen und zur Demokratisierung der Datennutzung im großen Maßstab migrierte die BMW-Gruppe ihren On-Premises Data Lake zu einem von Amazon S3 betriebenen Data Lake. BMW verarbeitet nun täglich mehrere TB an Telemetriedaten von Millionen von Fahrzeugen und löst Probleme, bevor sie sich auf die Kunden auswirken.
-
Nielsen
-
Fallstudie lesenNielsen, ein weltweit tätiges Mess- und Datenanalytikunternehmen, konnte durch die Nutzung einer modernen Cloud-Technologie die Datenmenge, die es täglich erfassen, verarbeiten und an seine Kunden weitergeben kann, drastisch erhöhen. Die Zahl der täglich gemessenen Haushalte stieg von 40.000 auf mehr als 30 Millionen.
-
Engie
-
Fallstudie lesenENGIE ist eines der größten Versorgungsunternehmen Frankreichs mit 160.000 Mitarbeitern und 40 Geschäftsbereichen in 70 Ländern. Der fast 100 TB große Data Lake des Common Data Hub nutzt AWS-Services, um die Geschäftsanforderungen in den Bereichen Datenwissenschaft, Marketing und Betrieb zu erfüllen.
Partner
Erfahren Sie, wie unsere Partner Organisationen beim Aufbau einer modernen Datenarchitektur auf AWS unterstützen.
Cloudera
Mit dem Betrieb von Cloudera Enterprise auf AWS steht IT- und Fachanwendern eine Datenmanagement-Plattform zur Verfügung, die als Grundlage für moderne Datenverarbeitung und -analyse dienen kann.
/Informatica_icon_solutionspace.b413aef928d0d5cb73d65ffe147b99059a187b46.png "Informatica Cloud"){kind=icon}
Informatica Cloud
Informatica Cloud bietet eine optimierte Integration in die AWS-Datendienste mit nativer Konnektivität zu über 100 Anwendungen.
Dataguise
Dataguise ist führend im Bereich der sicheren Geschäftsabwicklung und liefert datenzentrische Sicherheitslösungen, die die sensiblen Daten eines Unternehmens erkennen und schützen – unabhängig davon, wo sich das Unternehmen befindet oder wer sie nutzen muss.
Alluxio Data Orchestration
Alluxio Data Orchestration ermöglicht Kunden eine bessere Nutzung wichtiger AWS-Services, wie EMR und S3 für Analyse und KI-Workloads.
Erste Schritte
AWS Data-Driven Everything
Im AWS-Data-Driven-EVERYTHING (D2E)-Programm bildet AWS eine Partnerschaft mit unseren Kunden, um schneller und präziser um mit einem viel ehrgeizigeren Umfang voranzuschreiten, damit Ihr eigenes Daten-Schwungrad in die Gänge kommt.
Weitere Informationen »
AWS Data Lab
Das AWS Data Lab bietet beschleunigte, gemeinsame Eingineering-Engagements zwischen Kunden und technischen Ressourcen von AWS, um greifbare Ergebnisse zu erzielen, die die Modernisierung von Daten- und Analyse-Initiativen vorantreiben.
AWS-Analytik- und Big Data-Referenzarchitektur
Erfahren Sie mehr über bewährte Methoden für Architektur für Cloud-Datenanalyse, Data Warehousing und Datenverwaltung auf AWS.