게시된 날짜: Apr 27, 2020
AWS Glue가 이제 서버리스 스트리밍 ETL 작업을 지원합니다. 이 기능을 사용하면 IoT 이벤트 스트림, 클릭스트림, 네트워크 로그와 같은 데이터를 준비하여 몇 초 내에 분석할 수 있도록 하는 연속 수집 파이프라인을 쉽게 설정할 수 있습니다. AWS Glue는 이제 Amazon Kinesis 및 Apache Kafka와 같은 스트리밍 소스의 데이터를 소비하고, 전송 중에 해당 데이터를 정리 및 변환한 다음, Amazon S3 데이터 레이크, 데이터 웨어하우스 및 기타 데이터 스토어에 결과를 지속적으로 로드할 수 있습니다. AWS Glue의 스트리밍 ETL 작업은 Apache Spark Structured Streaming 엔진에서 실행되므로 고객은 이를 사용하여 데이터를 강화, 집계 및 결합할 수 있을 뿐 아니라 다양하고 복잡한 분석 및 기계 학습 작업을 실행할 수 있습니다.
이전에는 스트리밍 데이터 수집 파이프라인을 구축하려면 스트림 처리 및 모니터링 시스템을 직접 구성하고 연결해야 했습니다. AWS Glue의 스트리밍 ETL 작업은 AWS Glue의 서버리스 인프라를 활용하여 리소스 관리를 단순화하고, 비용을 최적화하며, 코드를 작성하지 않고도 지속적 수집 파이프 라인을 설정할 수 있게 해주므로 구현 시간을 몇 개월에서 며칠로 줄일 수 있습니다.
이 기능은 이제 AWS Glue와 같은 AWS 리전에서 이용 가능합니다.
이 기능에 대해 자세히 알아보려면 설명서를 참조하십시오.