Datenfreigabe in Amazon Redshift

„Viele FactSet-Kunden führen Cloud-Veränderungs- und Technologie-Modernisierungsprogramme durch, um Kosten zu senken, ihre Infrastrukturen und Anbieter zu konsolidieren und verdoppelte Daten zu eliminieren. Um den sich ändernden Anforderungen unserer Kunden gerecht zu werden, bietet FactSet flexible Lösungen, die sich nahtlos in eine Reihe bevorzugter Workflow-Umgebungen, einschließlich AWS Redshift, integrieren lassen. Dadurch ist die Übernahme und Implementierung unserer Inhalte und Lösungen schlüsselfertig. Durch die Nutzung der Datenfreigabe-Funktionen von Redshift sind FactSet Standard DataFeeds sofort im Redshift-Cluster unserer Kunden verfügbar. Dies ermöglicht es ihnen, alle ETL-Prozesse an FactSet auszulagern, was zu optimierten Daten, schnellerer Markteinführungszeit, effizienterer Datenintegrität und einem vereinfachten Prozess für die Datenermittlung und -verknüpfung führt und das Testen erleichtert.”

Namita Jain, Product Owner – Cloud & Managed Services

„Vor der Datenfreigabe war unser Prozess zum Datenaustausch mit unseren Kunden über Amazon Redshift nicht so effizient, wie er hätte sein können. Im Normalfall haben wir zweimal pro Woche zwei zusätzliche Cluster erstellt, entladen, kopiert, Schemas deaktiviert und Berechtigungen erteilt. Durch die Datenfreigabe können wir Daten mit unseren Kunden mit geringen oder sogar ganz ohne Ausfallzeiten teilen. Mit weniger als 10 SQL-Statements erreichen wir auf sichere Weise das, was früher einen viel längeren Prozess mit sich brachte. Diese Funktion gibt uns mehr Flexibilität, spart Zeit und Kosten und erhöht die Kundenzufriedenheit.”

Samantha Corkery, Principal Database Administrator – Epsilon

„Bei Warner Bros. Games erstellen und pflegen wir komplexe Datenmobilitätsinfrastrukturen, um Datenbewegungen zwischen einzelnen Game-Clustern und konsolidierten Geschäftsfunktions-Clustern zu verwalten. Die Entwicklung und Pflege dieses Systems monopolisiert jedoch wertvolle Teamressourcen und führt zu Verzögerungen, die unsere Fähigkeit behindern, agil und schnell auf die Daten zu reagieren. Mit der Redshift-Datenfreigabefunktion können wir das gesamte Subsystem entfernen, das wir für das Kopieren, Verschieben und Laden von Daten zwischen Redshift-Clustern aufgebaut haben. Dies versetzt alle unsere Geschäftsteams in die Lage, Entscheidungen auf Basis der richtigen Datasets schneller und effizienter zu treffen. Darüber hinaus ermöglicht uns die Freigabe von Redshift-Daten, die Bereitstellung von Datenverarbeitungsleistung neu zu gestalten, um sie besser auf die Ressourcen abzustimmen, die für die Ausführung der SQL-Workloads dieser Funktionen benötigt werden, was letztendlich einen einfacheren Infrastrukturbetrieb ermöglicht.“

Kurt Larson, Technical Director - Warner Bros. Analysen

„Die Datenfreigabefunktion ermöglicht es mehreren Redshift-Clustern, nahtlos Daten abzufragen, die sich in unseren RA3-Clustern und deren verwaltetem Speicher befinden. Dies beseitigt unsere Bedenken bezüglich Verzögerungen bei der Bereitstellung von Daten für unsere Teams und reduziert die Menge an Datenduplikaten und die damit verbundenen Backfill-Kopfschmerzen. Wir können uns jetzt noch mehr auf die Nutzung unserer Daten in Redshift konzentrieren und eine bessere Zusammenarbeit anstelle der Datenorchestrierung ermöglichen.“

Steven Moy, Softwareingenieur bei Yelp

„Bei Fannie Mae haben wir einen dezentralisierten Ansatz für die Data-Warehouse-Verwaltung mit Dutzenden von Amazon-Redshift-Clustern für viele Anwendungen gewählt. Während jedes Team sein eigenes Dataset verwaltet, haben wir oft Anwendungsfälle, bei denen eine Anwendung die Datasets anderer Anwendungen abfragen und mit den lokal verfügbaren Daten verbinden muss. Derzeit entladen und verschieben wir Daten von einem Cluster zu einem anderen Cluster, und dies führt zu Verzögerungen bei der rechtzeitigen Bereitstellung von Daten für unsere Teams. Wir hatten Probleme mit Entladevorgängen, die den Ressourcenverbrauch auf den Producer-Clustern in die Höhe trieben, und die Datenfreigabe ermöglicht es uns, diesen zwischengeschalteten Entladevorgang in Amazon S3 zu überspringen, was Zeit spart und den Verbrauch senkt. Viele Anwendungen führen derzeit Entladungen durch, um Datasets freizugeben, und wir planen, alle diese Prozesse auf die Nutzung der neuen Datenfreigabefunktion umzustellen. Mit der gemeinsamen Nutzung von Daten können wir die nahtlose Datenfreigabe durch Anwendungsteams ermöglichen und ihnen gemeinsame Ansichten von Daten geben, ohne ETL durchführen zu müssen. Wir sind auch in der Lage, die Datenkopien zwischen Pre-Prod-, Forschungs- und Produktionsumgebung für jede Anwendung zu vermeiden. Die Datenfreigabe machte uns agiler und gab uns die Flexibilität, Analysen in stark verteilten Umgebungen wie bei Fannie Mae zu skalieren.“

Amy Tseng, Enterprise Databases Manager – Fannie Mae

„Die Speicherfreigabe erlaubte uns, uns auf das Wesentliche zu konzentrieren: die Bereitstellung von Daten für Endbenutzer. Die Daten stecken nicht mehr in einer Vielzahl von Speichermedien oder Formaten oder sind nur über ausgewählte APIs zugänglich, sondern in einer einzigen Variante von SQL vorhanden.“

Marco Couperus, Engineering Manager – home24