게시된 날짜: Oct 13, 2020
이제 AWS Glue에서 스트리밍 ETL(추출, 변환, 로드) 작업을 통해 고객이 자체적으로 관리하는 Apache Kafka 클러스터의 데이터를 수집할 수 있습니다. 이전에는 AWS Glue가 Amazon Managed Streaming for Apache Kafka(Amazon MSK)에서 데이터를 읽는 기능만 지원했습니다. 이번 업데이트로 AWS Glue에서 온프레미스 또는 클라우드 중 어디에 배포되어 있는지 관계없이 Apache Kafka 데이터에 대해 스트리밍 ETL을 수행할 수 있습니다.
AWS Glue 스트리밍 ETL 작업은 스트리밍 소스의 데이터를 지속적으로 사용하고 데이터를 정리 및 변환하여 몇 초 만에 분석에 사용할 수 있도록 합니다. 자체 관리형 Apache Kafka가 소스로 추가됨에 따라 이제 원하는 경우 Apache Kafka에 연결할 때 SSL을 사용하고 Amazon Virtual Private Cloud 내부 또는 외부의 클러스터에 연결할 수도 있습니다.
AWS Glue의 자체 관리형 Apache Kafka 지원 기능은 AWS Glue와 동일한 AWS 리전에서 사용할 수 있습니다.
자세한 내용은 설명서에서 스트리밍 ETL 작업을 추가하는 방법을 참조하십시오.