Publicado en: Nov 19, 2020
AWS Glue Schema Registry es una característica de AWS Glue sin servidor que le permite validar y controlar la evolución de los datos en transmisión mediante esquemas registrados de Apache Avro sin costo adicional. Mediante los serializadores y deserializadores con licencia de Apache, este registro de esquemas se integra con aplicaciones Java desarrolladas para Apache Kafka/Amazon Managed Streaming for Apache Kafka (MSK), Amazon Kinesis Data Streams, Apache Flink/Amazon Kinesis Data Analytics for Apache Flink y AWS Lambda.
Los esquemas definen la estructura y el formato de los registros de datos (también llamados eventos) producidos por las aplicaciones. Por ejemplo, un esquema puede definirse mediante un grupo de campos, como una marca temporal de evento, un ID de cliente, una dirección de email y un identificador único para una acción realizada en un sitio web. Cuando las aplicaciones que producen datos agregan o eliminan campos de un esquema (por ejemplo, se elimina la dirección de email), la calidad de los datos puede quedar en riesgo y pueden fallar las aplicaciones posteriores. Para evitar estos problemas, a menudo los desarrolladores escriben código defensivo dentro de sus aplicaciones, coordinan cambios de esquema entre equipos anteriores y posteriores con ventanas de mantenimiento, o utilizan registros de esquemas de terceros que solo pueden usarse con una única tecnología.
Con el registro de esquemas, se puede eliminar el código defensivo y la coordinación entre equipos, mejorar la calidad de los datos, reducir las fallas en aplicaciones posteriores y usar un registro que esté integrado en diversos servicios de AWS. Cuando las aplicaciones de transmisión de datos están integradas con el registro de esquemas, los esquemas usados para producir datos se validan con respecto a esquemas dentro de un registro central, lo que le permite controlar la calidad de los datos de forma centralizada. Cada esquema puede tener varias versiones dentro de las protecciones de un modo de compatibilidad; de esta forma, los desarrolladores cuentan con la flexibilidad para controlar la evolución del esquema. Actualmente puede usar el registro de esquemas con aplicaciones creadas para Apache Kafka/Amazon MSK y Amazon Kinesis Data Streams, o usar sus API para crear su propia integración. Con el tiempo, planeamos integrar el registro de esquemas con otros servicios de AWS y marcos de código abierto, y expandirlo para que admita formatos de datos que no sean Avro y clientes que no sean de Java.
Consulte la documentación para el usuario de Schema Registry para comenzar a usarlo y obtener más información.
Schema Registry se encuentra disponible en las siguientes regiones de AWS: EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), EE. UU. Oeste (Norte de California), EE. UU. Oeste (Oregón), Canadá (Central), América del Sur (São Paulo), Asia-Pacífico (Mumbai), Asia-Pacífico (Seúl), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Europa (Fráncfort), Europa (Irlanda), Europa (Londres), Europa (París) y Europa (Estocolmo).