Die Amazon-Aurora-Null-ETL-Integration in Amazon Redshift ermöglicht Analysen und Machine Learning (ML) nahezu in Echtzeit mithilfe von Amazon Redshift für Petabyte an Transaktionsdaten. Innerhalb weniger Sekunden, nachdem die Transaktionsdaten in Amazon Aurora geschrieben wurden, stellt Null ETL die Daten nahtlos in Amazon Redshift zur Verfügung. Damit entfällt die Anforderung, komplexe Datenpipelines zu entwickeln und zu warten, die Extract-, Transform-, Load (ETL)-Vorgänge durchführen.
Vorteile
Datenzugriff nahezu in Echtzeit
Greifen Sie in Amazon Redshift innerhalb von Sekunden auf Transaktionsdaten von Aurora zu, um Analytics und ML für Petabyte an Daten nahezu in Echtzeit durchzuführen.
Benutzerfreundlichkeit
Analysieren Sie Ihre Transaktionsdaten schnell und nahezu in Echtzeit, ohne ETL-Pipelines erstellen und verwalten zu müssen, um Transaktionsdaten in Analytics-Systeme zu übertragen.
Nahtlose Datenintegration
Konsolidieren Sie mehrere Tabellen aus verschiedenen Aurora-Datenbankclustern und replizieren Sie Ihre Daten in ein Data Warehouse von Amazon Redshift, um einheitliche Analytiken für mehrere Anwendungen und Datenquellen durchzuführen.
Keine Infrastrukturverwaltung
Führen Sie Analytics von Transaktionsdaten nahezu in Echtzeit durch, ohne eine Infrastruktur verwalten zu müssen, wenn Sie sowohl Amazon Aurora Serverless v2 als auch Amazon Redshift Serverless verwenden.
Anwendungsfälle
Operative Analytics nahezu in Echtzeit
Nutzen Sie die Analytics- und ML-Funktionen von Amazon Redshift, um nahezu in Echtzeit Erkenntnisse aus Transaktions- und anderen Daten abzuleiten, um effektiv auf wichtige, zeitkritische Ereignisse zu reagieren. Mithilfe von Analytics nahezu in Echtzeit können Sie genauere und zeitnahe Erkenntnisse für Anwendungsfälle wie Content-Targeting, optimiertes Spielerlebnis, Überwachung der Datenqualität, Betrugserkennung und Analyse des Kundenverhaltens erhalten.
Analytics im großen Maßstab
Mit der Aurora-Null-ETL-Integration in Amazon Redshift können Sie Amazon-Redshift-Funktionen nutzen, um Petabyte Ihrer Transaktionsdaten zu analysieren, die aus mehreren Aurora-Datenbankclustern konsolidiert wurden. Sie können die umfassenden Analytics-Funktionen von Amazon Redshift nutzen, z. B. integriertes ML, materialisierte Ansichten, Datenaustausch und Verbundzugriff auf mehrere Datenspeicher und Data Lakes. Mit Amazon Redshift ML können Sie Milliarden von Prognosen mit einfachen SQL-Befehlen mit nativer Integration in Amazon SageMaker ausführen.
Operativen Aufwand senken
Das Verschieben von Daten aus einer Transaktionsdatenbank in ein zentrales Data Warehouse erfordert häufig die Erstellung, Wartung und den Betrieb einer komplexen ETL-Lösung für die Datenpipeline. Mit einer Null-ETL-Integration können Sie das Schema, vorhandene Daten und Datenänderungen aus Ihrer Aurora-Datenbank nahtlos in einen neuen oder bestehenden Amazon Redshift-Cluster replizieren. Die Null-ETL-Integration macht ein komplexes Datenpipeline-Management überflüssig.
Erste Schritte
Um Ihre Null-ETL-Integration zwischen Aurora und Amazon Redshift zu erstellen, geben Sie einen Aurora-DB-Cluster als Datenquelle und ein Amazon Redshift Data Warehouse als Ziel an. Die Integration repliziert Daten aus der Quelldatenbank in das Ziel-Data-Warehouse. Die Daten sind innerhalb von Sekunden in Amazon Redshift verfügbar, sodass Datenanalysten beginnen können, die Analytics- und ML-Funktionen von Amazon Redshift für die Daten zu verwenden. Weitere Informationen finden Sie in den Anleitungen für die ersten Schritte für Aurora und Amazon Redshift.
Ressourcen
Preise
- Zusätzliche E/A- und Speicherkapazität werden genutzt, um die Erfassung von Änderungsdaten zu aktivieren
- Snapshot-Exportkosten für den ersten Datenexport zum Seed Ihrer Amazon-Redshift-Datenbanken
- Zusätzlicher Amazon-Redshift-Speicher zum Speichern replizierter Daten
- Zusätzliche Amazon-Redshift-Rechenleistung für die Verarbeitung der Datenreplikation
- AZ-übergreifende Datenübertragungskosten für die Übertragung von Daten von der Quelle zum Ziel.
Die fortlaufende Verarbeitung von Datenänderungen durch die Null-ETL-Integration wird ohne zusätzliche Kosten angeboten. Weitere Informationen finden Sie auf der Preisseite zu Aurora.
Kunden
Die Frachtverifizierung ist für die Aufrechterhaltung der Integrität der Lieferkette für die Produktions-, Einzelhandels- und Logistikkunden von Infosys von entscheidender Bedeutung. Um dies zu erreichen, ist die Erfassung von Frachtverfolgungsdaten in Echtzeit für die Sendungsverfolgung und Frachtanalytik erforderlich.
„Infosys hat die Funktionen von Null-ETL genutzt, um Daten in Echtzeit zu erfassen und so die Nachverfolgung von Frachtsendungen zu ermöglichen und Einblick in Standort, Status und geschätzte Ankunftszeit zu bieten. Dies ermöglicht eine Optimierung des Frachtbetriebs und eine erhebliche Kostensenkung. Mit umfassender Null-ETL-Berichten und -Analytik sowie Branchenvorlagen von Infosys Cobalt und Topaz ist jetzt eine datengesteuerte Entscheidungsfindung möglich.“
Sunil Senan, SVP and Global Head of Data, Analytics and AI – Infosys
Intuit ist die globale Finanztechnologieplattform, die mit TurboTax, Credit Karma, QuickBooks und Mailchimp den Wohlstand von 100 Millionen Verbrauchern und Kleinunternehmenskunden fördert. Angesichts der Komplexität einer bevorstehenden Migration rechnete Intuit mit einer erstaunlichen Rate von mehr als 10 Millionen Profilmigrationen pro Tag. Intuit entschied sich für die Null-ETL-Integration von Amazon Aurora MySQL in Amazon Redshift, um den Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden.
„Das schiere Datenvolumen und die Notwendigkeit einer nahtlosen Migration stellten uns vor eine große Herausforderung. Darüber hinaus benötigten wir eine Lösung, mit der wir den Migrationsprozess schnell analysieren und schnelle, datengesteuerte Entscheidungen treffen konnten. Um diesen Herausforderungen zu begegnen, haben wir uns für die Null-ETL-Integration von Amazon Aurora in Amazon Redshift entschieden, um unseren Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden. Mit Null-ETL konnten wir riesige Datenmengen an Amazon Redshift senden, ohne dass Daten erfasst oder separat aufgenommen werden mussten. Dies ermöglichte schnelle Einblicke für wichtige technische und geschäftliche Entscheidungen und sparte monatelangen Aufwand ein, der sonst erforderlich gewesen wäre. Durch die Null-ETL-Integration von Aurora in Amazon Redshift konnten wir bei Intuit neue Muster für umfangreiche Datenmigrationen und Analytik nahezu in Echtzeit erkunden.“
Aruna Ghiware, Product Development Manager – Intuit
Die KINTO Technologies Corporation ist ein führender Anbieter der Mobilitätsplattformbranche und das Technologieunternehmen, das für die Entwicklung des KINTO-Service als Finanzdienstleistungsunternehmen von Toyota verantwortlich ist. Durch die Null-ETL-Integration von Amazon Aurora MySQL in Amazon Redshift konnte KINTO Technologies eine robustere Datenpipeline aufbauen und kann nun die fortschrittlichen Analytik-Features von Amazon Redshift nahezu in Echtzeit auf seine Betriebsdaten anwenden.
„Bevor die Null-ETL-Integration verfügbar war, haben wir eine maßgeschneiderte Lösung verwendet, die kontinuierlich Änderungen von unseren Kerndatenbanken an Downstream-Anwendungen streamt, aber wir sahen uns mit anhaltenden Leistungsproblemen und Auswirkungen auf unseren Produktionsworkload konfrontiert. Um die Auswirkungen auf die Leistung den Produktionsworkload zu bewältigen, mussten wir die Pipelines manuell anpassen, um Updates seltener zu senden und uns mit alten Daten in Amazon Redshift zufrieden zu geben. Durch die Null-ETL-Integration von Aurora MySQL in Amazon Redshift sind wir in der Lage, Daten fast in Echtzeit in Amazon Redshift verfügbar zu haben. Dadurch entfällt der Zeitaufwand für Entwickler, die Datenpipelines für ETL-Prozesse manuell verwalten oder sich mit Leistungseinbußen bei unseren Workloads befassen müssen. Das trägt dazu bei, unseren betrieblichen Aufwand zu reduzieren.“
Hitoshi Kageyama, Executive Vice President – KINTO Technologies Corporation
Money Forward i ist bestrebt, die Produktivität und das kreative Potenzial von IT-Teams in Unternehmen zu steigern, indem es sich wiederholende Aufgaben rationalisiert, Kosten senkt und die Sicherheit durch Admina, ihre intuitive SaaS-Managementplattform, erhöht.
„Vor der Veröffentlichung der Null-ETL-Integration von Amazon Aurora in Amazon Redshift war die Implementierung und Wartung unserer ETL-Prozesse zur Analyse von Produktdaten aus Amazon Aurora MySQL in Amazon Redshift eine Herausforderung. Die Null-ETL-Integration von Aurora MySQL in Amazon Redshift ermöglicht eine Datensynchronisierung zwischen unseren Aurora-MySQL-Datenbanken und Amazon Redshift nahezu in Echtzeit. Dadurch wird die Zeit für den Aufbau einer Analyseumgebung von einem Monat auf nur drei Stunden reduziert. Die Null-ETL-Integration reduziert nicht nur den anfänglichen Aufwand bei der Entwicklung. Es werden auch weniger Auswirkungen auf die Produktionsumgebungen verursacht, sodass die Analyseumgebung mit minimalen Kosten und maximaler Geschwindigkeit erstellt werden kann.“
Katsutoshi Murakami, Director and CPO – Money Forward i
Woolworths ist ein führender Einzelhändler in Afrika südlich der Sahara, der eine breite Palette an hochwertiger Kleidung, allgemeinen Waren und Lebensmitteln anbietet, wobei der Schwerpunkt auf Innovation, Wert und Nachhaltigkeit liegt.
„Es ist von entscheidender Bedeutung, aus unseren Daten zeitnahe Erkenntnisse abzuleiten, da wir so schnell datengesteuerte Entscheidungen in unserem gesamten Unternehmen fördern und effektiv auf kritische, zeitgebundene Ereignisse reagieren können. Die Erfassung von Änderungsdaten und die Koagulation von Aufzeichnungen waren zeitaufwändig und die Verarbeitung kostspieliger als erwartet. Durch die Nutzung der Null-ETL-Integration von Amazon Aurora MySQL in Amazon Redshift konnten wir innerhalb eines Tages dieselben Ergebnisse erzielen, deren Entwicklung aufgrund des technischen Aufwands für ETL-Prozesse sonst 2 Monate gedauert hätte. Unsere Datenlatenz wurde mithilfe der Integration erheblich reduziert, da sich die Daten in einem abfragebereiten Zustand befanden. Dies führte dazu, dass wir Entscheidungen schneller treffen konnten, als Ereignisse eintraten. Mit der Null-ETL-Integration von Aurora in Amazon Redshift haben wir unseren technischen Aufwand gesenkt, die Anzahl der Fehlerquellen bei der Pipeline-Verwaltung reduziert und Kosten gespart.“
Raamy Schroeder, Business Intelligence Lead – Woolworths
Weitere Informationen zu den Features von Aurora