게시된 날짜: Feb 6, 2023
AWS Glue 크롤러는 MongoDB가 데이터 스키마를 추출하고 자동으로 AWS Glue 데이터 카탈로그를 채워 메타데이터를 최신 상태로 유지하도록 지원합니다. 현재 MongoDB Atlas를 포함하도록 지원을 확대하고 있습니다. 이 기능을 사용하면 관리형 MongoDB Atlas 메타데이터를 AWS Glue 데이터 카탈로그로 훨씬 간단하게 가져올 수 있으므로 데이터 엔지니어는 MongoDB Atlas 데이터를 S3 기반 데이터 레이크와 통합하고 의미 있는 통찰력을 추출할 수 있습니다.
이번 출시를 통해 MongoDB Atlas를 크롤링하기 위한 Glue 크롤러를 생성하고 예약할 수 있습니다. Glue 크롤러 콘솔에서 MongoDB를 데이터 소스로 선택할 수 있습니다. 그런 다음 연결 유형이 “DocumentDB/MongoDB”인 Glue 연결을 생성하고 MongoDB Atlas 클러스터 정보 및 보안 인증 정보를 제공할 수 있습니다. 구성이 생성되면 크롤링할 MongoDB Atlas 데이터베이스 및 컬렉션을 지정할 수 있습니다. 크롤러를 실행할 때마다 크롤러는 지정된 컬렉션 및 카탈로그 정보를 검사합니다. 여기에는 AWS Glue 데이터 카탈로그의 MongoDB Atlas 컬렉션, 뷰 및 구체화된 뷰에 대한 업데이트 또는 삭제가 포함됩니다. AWS Glue를 사용하면 이제 AWS Glue 데이터 카탈로그를 소스로 사용하여 MongoDB Atlas에서 데이터를 가져와서 Amazon S3 대상을 채울 수 있습니다.