Publié le: Nov 19, 2020
AWS Glue Schema Registry, une fonctionnalité sans serveur d’AWS Glue, vous permet de valider et de contrôler l’évolution des streamings de données à l’aide de schémas Apache Avro enregistrés, et ce sans frais supplémentaires. Grâce à des sérialiseurs et des désérialiseurs sous licence Apache, Schema Registry s’intègre avec les applications Java développées pour Apache Kafka/Amazon Managed Streaming for Apache Kafka (MSK), Amazon Kinesis Data Streams, Apache Flink/Amazon Kinesis Data Analytics for Apache Flink et AWS Lambda.
Les schémas correspondent à une structure et un format d’enregistrements de données (également appelés événements) produits par des applications. Par exemple, un schéma peut être défini pas un groupe de champs, par exemple un horodatage d’événement, un ID client, une adresse e-mail et un identifiant unique pour une action effectuée sur une page Web. Lorsque les applications générant des données ajoutent ou suppriment des champs dans un schéma, par un exemple une adresse e-mail, cela peut compromettre la qualité des données ou faire échouer les applications en aval. Pour éviter ces problèmes, les développeurs écrivent souvent un code défensif dans leurs applications, coordonnent les modifications de schémas entre les équipes en amont et celles en aval à l’aide de fenêtres de maintenance, ou utilisent des registres de schémas tiers qui ne sont compatibles qu’avec une seule technologie.
Avec Schema Registry, vous pouvez éliminer le codage défensif et la coordination entre les équipes, améliorer la qualité des données, réduire les pannes d’applications en aval et utiliser un registre qui est intégré à plusieurs services AWS. Lorsque les applications de streaming de données sont intégrées à Schema Registry, les schémas utilisés pour la production des données sont validés par rapport aux schémas à l’intérieur d’un registre central. De cette manière, vous pouvez contrôler la qualité des données de façon centralisée. Chaque schéma peut être mis en versions suivant les protections d’un mode de compatibilité, ce qui fournit aux développeurs la possibilité de contrôler l’évolution des schémas. Aujourd’hui, vous pouvez utiliser Schema Registry avec des applications créées pour Apache Kafka/Amazon MSK et Amazon Kinesis Data Streams, ou utiliser ses API pour créer vos propres intégrations. Avec le temps, nous envisageons d’intégrer Schema Registry à d’autres services et d’autres frameworks open source AWS, ainsi que d’étendre la prise en charge aux formats de données et aux clients non Avro et non Java, respectivement.
Consultez la documentation utilisateur de Schema Registry pour démarrer et pour en savoir plus.
Schema Registry est disponible dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Californie du Nord), USA Ouest (Oregon), Canada (Centre), Amérique du Sud (Sao Paulo), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris) et Europe (Stockholm).