Veröffentlicht am: Nov 19, 2020
AWS Glue Schema Registry, eine serverlose Funktion von AWS Glue, ermöglicht Ihnen die Entwicklung von Streaming-Daten mit registrierten Apache Avros-Schemas ohne Aufpreis zu validieren und zu steuern. Durch Apache-lizensierte Serializer und Deserializer, ist Schema Registry in Java-Anwendungen integriert, die für Apache Kafka/Amazon Managed Streaming for Apache Kafka (MSK), Amazon Kinesis Data Streams, Apache Flink/Amazon Kinesis Data Analytics for Apache Flink, and AWS Lambda entwickelt wurden.
Schemas definieren die Struktur und das Format von Datensätzen (auch bekannt als Ereignisse) produziert von Anwendungen. Ein Schema kann beispielsweise von einer Feldergruppe, wie einem Ereignis-Zeitstempel, einer Kunden-ID, einer E-Mail-Adresse und einem eindeutigen Identifikator für eine auf einer Webseite gewünschten Aktion definiert werden. Wenn Datenproduktionsanwendungen Felder von einem Schema (z. B. E-Mail-Adresse wird entfernt) hinzufügen oder entfernen, kann die Datenqualität kompromittiert werden und nachgelagerte Anwendungen können fehlgeschlagen. Um diese Probleme zu verhindern, schreiben Entwickler oft einen defensiven Code innerhalb ihrer Anwendungen, koordinieren Schema-Änderungen zwischen vorgelagerten und nachgelagerten Teams mit Wartungsfenstern, oder verwenden Schema Registries Dritter, die nur mit einer einzelnen Technologie verwendet werden können.
Mit dem Schema Registry können Sie die defensive Kodierungs- und teamübergreifende Koordination eliminieren, die Datenqualität verbessern, die nachgelagerten Anwendungsausfälle reduzieren und ein Registry verwenden, das über mehrere AWS-Services integriert ist. Wenn Daten-Streaming-Anwendungen in das Schema Registry integriert sind, werden die Schemas, die für die Datenproduktion verwendet werden, für Schemas innerhalb eines zentralen Registry validiert, was Ihnen ermöglicht, die Datenqualität zentral zu kontrollieren. In jedem Schema kann es innerhalb der Leitplanken eines Kompatibilitätsmodus verschiedene Versionen geben, die Entwicklern die Flexibilität zur Kontrolle der Schema-Entwicklung bieten. Heute können Sie das Schema Registry mit Anwendungen verwenden, die für Apache Kafka/Amazon MSK und Amazon Kinesis Data Streams entwickelt wurden oder Sie können die APIs verwenden, um Ihre eigene Integration zu entwickeln. Im Laufe der Zeit planen wir Schema Registry in andere AWS-Services und Open-Source-Rahmenbedingungen zu integrieren und Support für nicht auf Avro basierte Datenformate und nicht auf Java basierte Clients zu erweitern.
Besuchen Sie die Benutzerdokumentation von Schema Registry für die ersten Schritte und weitere Informationen.
Das Schema Registry ist in folgenden AWS-Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Kanada (Zentral), Südamerika (São Paulo), Asien-Pazifik (Mumbai), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Europa (Frankfurt), Europa (Irland), Europa (London), Europa (Paris) und Europa (Stockholm).