Amazon EMR과 AWS Glue, 이제 Lake Formation을 통한 감사 컨텍스트 지원 제공
Amazon EMR과 AWS Glue는 이제 AWS Lake Formation 자격 증명 공급 API와 AWS Glue Data Catalog의 GetTable 및 GetTables API 직접 호출에 대한 포괄적인 감사 컨텍스트 지원을 제공합니다. 이 감사 기능을 사용하면 디지털 시장법(DMA) 및 데이터 보호 규정을 포함한 규제 프레임워크를 지속적으로 준수할 수 있습니다. 이 기능은 기본적으로 활성화되기 때문에, 기존 워크플로에 원활하게 통합되면서도 데이터 레이크 인프라 전반의 보안 및 규정 준수 모니터링을 강화합니다.
AWS CloudTrail 로그에서 이 감사 컨텍스트 정보를 볼 수 있으므로, Apache Spark용 EMR에서 기본으로 제공하는 세분화된 액세스 제어(FGAC) 및 전체 테이블 액세스 작업에 대한 보안 감사와 규정 준수 및 문제 해결을 개선할 수 있습니다. 감사 로깅 기능은 플랫폼 유형(EMR-EC2, EKS의 EMR, EMR Serverless 또는 AWS Glue)과 해당 식별자(Cluster ID, Step ID, Job Run ID, Virtual Cluster ID 등)를 자동으로 기록합니다. 따라서 보안팀은 개별 Spark 작업의 API 직접 호출을 추적하고 상관관계를 분석하며, 규정 준수 보고를 간소화하고, 과거 데이터 액세스 패턴을 분석할 수 있습니다. 또한 데이터 엔지니어는 액세스 관련 문제를 특정 작업 실행과 연결하여 신속하게 해결하고, FGAC 권한 문제를 처리하고, 다양한 컴퓨팅 플랫폼에서의 액세스 패턴을 모니터링할 수 있습니다.
이 기능은 Amazon EMR, AWS Glue 및 AWS Lake Formation을 지원하는 모든 AWS 리전에서 사용할 수 있으며, EMR 버전 7.12 이상 또는 AWS Glue 버전 5.1 이상이 필요합니다.