Amazon CloudWatch, 운영, 보안, 규정 준수를 위한 통합 데이터 관리 및 분석 기능 도입

오늘 부터 Amazon CloudWatch 기능을 확장하여 한 곳에서 유연하고 강력한 분석을 수행하고 데이터 중복 및 비용을 줄임으로써 운영, 보안 및 규정 준수 사용 사례 전반에서 로그 데이터를 통합 및 관리하고 있습니다.

이러한 향상된 기능으로 CloudWatch는 Open Cybersecurity Schema Framework(OCSF) 및 Open Telemetry(OTel) 형식에 대한 기본 지원을 통해 소스 간에 일관성을 제공하도록 데이터를 자동으로 정규화하고 처리할 수 있으므로 분석과 인사이트에 집중할 수 있습니다. 또한 CloudWatch는 Amazon Simple Storage Service(Amazon S3) 테이블을 통해 Apache Iceberg 호환 데이터 액세스를 제공하여 로컬에서뿐만 아니라 Amazon Athena, Amazon SageMaker Unified Studio 또는 기타 Iceberg 호환 도구를 사용하여 분석을 실행할 수 있습니다.

또한 CloudWatch의 운영 데이터와 선호하는 도구의 다른 비즈니스 데이터를 상관시켜 다른 데이터와 상관시킬 수 있습니다. 이러한 통합 접근 방식은 관리를 간소화하고 보안, 운영 및 비즈니스 사용 사례 전반에 걸쳐 포괄적인 상관 관계를 제공합니다.

자세한 개선 사항은 다음과 같습니다.

• 데이터 수집 및 정규화 간소화 – CloudWatch는 ServiceNow CMBD를 통해 IT 서비스 매니저와 함께 AWS CloudTrail, Amazon Virtual Private Cloud(Amazon VPC) Flow Logs, AWS WAF 액세스 로그, Amazon Route 53 Resolver 로그, 엔드포인트(CrowdStrike, SentinelOne), ID(Okta, Entra ID), 클라우드 보안(Wiz), 네트워크 보안(Zscaler, Palo Alto Networks), 생산성 및 협업(Microsoft Office 365, Windows Event Logs, GitHub)과 같은 타사 소스를 위해 사전 구축된 커넥터를 비롯한 AWS 서비스의 AWS Organizations와 통합하여 계정 및 AWS 리전에 걸쳐 AWS가 제공하는 로그를 자동으로 수집합니다. CloudWatch는 수집 중인 데이터를 정규화하고 처리하기 위해 다양한 AWS 및 타사 데이터 소스, 그리고 사용자 지정 구문 분석, 필드 수준 작업 및 문자열 조작을 위한 Grok과 같은 기타 프로세서에 대한 관리형 OCSF 변환을 제공합니다.
• 비용이 많이 드는 로그 데이터 관리 부담 감소 – CloudWatch는 여러 도구와 데이터 저장소에 동일한 데이터의 여러 사본을 저장하고 유지 관리할 필요 없이, 내장된 거버넌스 기능을 통해 로그 관리를 단일 서비스로 통합합니다. CloudWatch의 통합 데이터 스토어를 사용하면 복잡한 ETL 파이프라인이 필요하지 않으며 여러 개의 개별 데이터 저장소와 도구를 유지 관리하는 데 필요한 운영 비용과 관리 오버헤드가 줄어듭니다.
• 로그 데이터에서 비즈니스 인사이트 확보 – CloudWatch에서 단일 인터페이스를 통해 자연어 쿼리와 LogsQL, PPL, SQL과 같은 널리 사용되는 쿼리 언어를 사용하여 쿼리를 실행하거나, Apache Iceberg 호환 테이블을 통해 선호하는 분석 도구를 사용하여 데이터를 쿼리할 수 있습니다. 새로운 Facets 인터페이스는 소스, 애플리케이션, 계정, 리전 및 로그 유형별로 직관적인 필터링 기능을 제공하며, 이를 사용하여 지능형 파라미터 추론을 통해 여러 AWS 계정 및 리전의 로그 그룹에서 쿼리를 실행할 수 있습니다.

다음 섹션에서는 CloudWatch Logs의 새로운 로그 관리 및 분석 기능을 살펴보겠습니다!

1. 데이터 소스 및 유형별 데이터 검색 및 관리

CloudWatch 콘솔의 새로운 로그 관리 보기를 통해 로그와 모든 데이터 소스에 대한 간략한 개요를 볼 수 있습니다. 시작하려면 CloudWatch 콘솔로 이동하여 왼쪽 탐색 창의 로그 메뉴에서 로그 관리를 선택하세요. 요약 탭에서는 로그 데이터 소스 및 유형, 수집 과정 전반의 로그 그룹 성과에 대한 인사이트, 그리고 이상 징후를 확인할 수 있습니다.

데이터 소스 탭을 선택하여 데이터 소스, 유형 및 필드별로 로그 데이터를 찾고 관리할 수 있습니다. CloudWatch는 AWS 서비스, 타사 또는 애플리케이션 로그와 같은 사용자 지정 소스별로 데이터 소스를 수집하고 자동으로 분류합니다.

선택한 데이터 소스에 대한 향후 로그를 생성하기 위해 S3 테이블을 통합할 데이터 소스 작업을 선택합니다. Iceberg 호환 액세스 패턴을 사용하면 Athena, Amazon Redshift 및 Spark와 같은 다른 쿼리 엔진을 통해 로그를 유연하게 분석할 수 있습니다. 이 통합을 통해 CloudWatch의 로그를 읽기 전용 aws-cloudwatch S3 Tables 버킷에서 사용할 수 있습니다.

CloudTrail 데이터와 같은 특정 데이터 소스를 선택하면 데이터 형식, 파이프라인, 패싯/필드 인덱스, S3 Tables 연결, 해당 데이터 소스와 관련된 로그 수에 대한 정보를 포함한 데이터 소스의 세부 정보를 볼 수 있습니다. 이 데이터 소스에 포함된 모든 로그 그룹을 확인하고 새로운 스키마 지원을 사용하여 소스/유형 필드 인덱스 정책을 입력 및 편집할 수 있습니다.

데이터 소스 및 인덱스 정책을 관리하는 방법에 대해 자세히 알아보려면 Amazon CloudWatch Logs 사용 설명서의 데이터 소스를 참조하세요.

2. CloudWatch 파이프라인을 사용한 수집 및 변환

파이프라인을 생성하여 원격 측정 및 보안 데이터의 수집, 변환 및 라우팅을 간소화하는 동시에 데이터 형식을 표준화하여 관찰성과 보안 데이터 관리를 최적화할 수 있습니다. CloudWatch의 새로운 파이프라인 기능은 데이터 소스 카탈로그의 데이터를 연결하므로 라이브러리에서 파이프라인 프로세서를 추가 및 구성하여 데이터를 구문 분석, 강화 및 표준화할 수 있습니다.

파이프라인 탭에서 파이프라인 추가를 선택하면 파이프라인 구성 마법사가 표시됩니다. 이 마법사는 데이터 소스 및 기타 소스 세부 정보(예: 로그 소스 유형)를 선택하고, 대상을 구성하고, 최대 19개의 프로세서를 구성하여 데이터에 대한 작업(예: 필터링, 변환 또는 보강)을 수행하고, 마지막으로 파이프라인을 검토하고 배포하는 5단계를 안내합니다.

CloudWatch의 새로운 수집 환경을 통해 파이프라인을 생성할 수도 있습니다. 파이프라인을 설정하고 관리하는 방법에 대해 자세히 알아보려면 Amazon CloudWatch Logs 사용 설명서의 파이프라인을 참조하세요.

3. 데이터 소스 기반의 향상된 분석 및 쿼리

패싯 지원 및 데이터 소스 기반 쿼리를 통해 분석을 강화할 수 있습니다. 패싯을 사용하면 대화형 탐색 및 로그 드릴다운이 가능하며, 해당 값은 선택한 기간에 따라 자동으로 추출됩니다.

왼쪽 탐색 창의 로그 메뉴 아래에 있는 로그 인사이트에서 패싯 탭을 선택합니다. 패널에 표시되는 사용 가능한 패싯과 값을 볼 수 있습니다. 하나 이상의 패싯과 값을 선택하여 데이터를 대화형으로 탐색합니다. VPC 흐름 로그 그룹 및 작업과 관련하여 Facets를 선택하고, AI 쿼리 생성기를 통해 VPC 흐름 로그에서 가장 빈번한 패턴 5개를 나열하고 결과 패턴을 얻습니다.

선택한 패싯과 지정한 값을 사용하여 쿼리를 저장할 수 있습니다. 다음에 저장된 쿼리를 선택하면 쿼리할 로그에 미리 지정된 패싯과 값이 있습니다. 패싯 관리에 대해 자세히 알아보려면 CloudWatch Logs 사용 설명서의 패싯을 참조하세요.

앞서 설명했듯이 데이터 소스를 S3 Tables에 통합하고 함께 쿼리할 수 있습니다. 예를 들어 Athena의 쿼리 편집기를 사용하여 일치하는 소스 IP 주소를 기반으로 VPC 흐름 로그를 CloudTrail 로그와 결합하여 특정 IP 범위(174.163.137.*)의 AWS API 활동과 네트워크 트래픽을 성관시키는 쿼리를 실행할 수 있습니다.

이러한 유형의 통합 검색은 보안 모니터링, 사고 조사 및 의심스러운 동작 탐지에 특히 유용합니다. 네트워크 연결을 생성하는 IP가 사용자 생성, 보안 그룹 수정 또는 데이터 액세스와 같은 민감한 AWS 작업도 수행하는지 확인할 수 있습니다.

자세한 내용은 CloudWatch 로그 사용 설명서에서 S3 Tables와 CloudWatch의 통합을 참조하세요.

정식 출시
Amazon CloudWatch의 새로운 로그 관리 기능은 오늘부터 AWS GovCloud(미국) 리전과 중국 리전을 제외한 모든 AWS 리전에서 사용할 수 있습니다. 리전별 이용 가능 여부 및 향후 로드맵은 리전별 AWS 기능을 참조하세요. 사전 약정이나 최소 요금은 없으며, 데이터 수집, 저장 및 쿼리를 위해 기존 CloudWatch Logs를 사용하는 경우에 대한 요금을 지불합니다. 자세히 알아보려면 CloudWatch 요금 페이지를 참조하세요.

CloudWatch 콘솔에서 사용해 보세요. 자세한 내용은 CloudWatch 제품 페이지를 참조하고, 피드백을 전달하려면 CloudWatch Logs용 AWS re:Post를 이용하거나 평소 연락하는 AWS Support 담당자를 통해 보내주세요.

– Channy