보안 분석 간소화를 위한 Amazon Security Lake와 Amazon OpenSearch Service 통합 기능 출시

오늘 Amazon Security Lake와 Amazon OpenSearch Service 제로 ETL 통합을 정식 출시합니다. 본 통합을 통해 조직은 보안 데이터를 효율적으로 검색 및 분석하고 실행 가능한 인사이트를 확보함으로써 복잡한 데이터 엔지니어링 요구 사항을 간소화하고 보안 데이터의 잠재력을 최대한 활용할 수 있습니다. 이 통합은 Security Lake에서 로그를 즉시 쿼리하고 분석하는 새로운 방법으로, 데이터 복제 필요성을 최소화하고 맞춤형 데이터 파이프라인 관리에 따른 운영 오버헤드를 줄입니다. Security Lake 데이터를 직접 쿼리하여 데이터 이동 비용을 절감할 수 있습니다.

Security Lake와의 OpenSearch Service 제로 ETL 통합을 통해 OpenSearch 대시보드의 풍부한 분석 기능을 사용하여 Security Lake에서 데이터를 쿼리하고 시각화할 수 있습니다. 또한 단일 도구 및 단일 스키마인 Open Cybersecurity Schema Framework(OCSF) 스키마 내에서 여러 데이터 소스를 분석하여 위협 추적 및 조사 시나리오를 지원할 수 있습니다.

시간에 민감한 조사 및 모니터링의 경우, 데이터의 하위 집합에 빠르게, 자주 액세스해야 할 때 Amazon OpenSearch Service에서 인덱싱된 뷰 및 대시보드와 같은 추가 가속화를 활성화하여 선택적으로 쿼리 성능을 높일 수 있습니다. 이러한 기능은 로그 볼륨에 관계없이 Security Lake에 저장된 모든 데이터에 대한 완전한 가시성을 제공하므로 보안 조사를 쉽게 진행하고 보안 상태를 더 효과적으로 파악하며 보안 관련 인사이트를 확보할 수 있습니다.

Amazon Security Lake를 사용하여 직접 쿼리 시작하기
다음 몇 단계로 시작할 수 있습니다. 먼저 Security Lake 구독자를 생성하여 Security Lake를 활성화해야 합니다. 그런 다음, Amazon OpenSearch Service에서 데이터 연결을 활성화합니다. 그러면 직접 쿼리 결과 및 인덱스를 저장하는 OpenSearch 서버리스 컬렉션이 자동으로 생성됩니다.

1. Security Lake 활성화 및 데이터 레이크에 대한 권한 설정

AWS Management Console에서 Security Lake를 활성화하려면 수집하려는 데이터 소스(예: Amazon Route 53 DNS 쿼리, AWS CloudTrail 로그, Amazon VPC Flow Logs, AWS Security Hub 조사 결과 및 AWS 리전)를 지정합니다. 저는 여러 리전을 선택하고 Amazon Simple Storage Service(Amazon S3) 스토리지 클래스와 롤업 리전을 설정하여 데이터를 통합했습니다.

Security Lake는 15일 평가판을 무료로 제공하므로 원하는 데이터 소스를 사용하여 조직 전체에 배포하고 조직의 비용을 추정할 수 있습니다.

활성화가 완료되면 수집한 모든 데이터가 계정의 Amazon Simple Storage Service(Amazon S3) 버킷으로 수집됩니다.

Security Lake에서 위임한 관리자 계정이 아닌 다른 계정에서 Security Lake 데이터에 액세스하려면 AWS Lake Formation 구독자를 생성하여 Security Lake와 연결된 AWS Glue 테이블에서 데이터에 액세스하고 쿼리해야 합니다. Security Lake에 액세스할 권한이 있는 AWS 계정과 외부 ID를 입력하고 액세스할 데이터 소스를 선택합니다. Lake Formation은 보안 분석가가 레이크의 데이터에 액세스할 수 있는 교차 계정 권한을 제공합니다.

쿼리 구독자를 생성한 후에는 OpenSearch 리소스를 배포하려는 계정으로 이동하여 Security Lake 위임 관리자 계정에서 공유하는 AWS Resource Access Manager(AWS RAM) 공유를 수락할 수 있습니다. 구독자 계정은 수동으로 수락될 때까지 공유 상태가 보류 중으로 표시됩니다.

자세히 알아보려면 Amazon Security Lake 사용 설명서의 콘솔을 사용하여 Security Lake 활성화 및 쿼리 구독자 생성 절차를 참조하세요.

2. OpenSearch Service를 사용하여 데이터 연결 생성

몇 단계를 거쳐 제로 ETL 통합을 생성할 수 있습니다. 구독자 계정의 OpenSearch Service 콘솔에서, 왼쪽 탐색 창의 데이터 연결 섹션에서 연결된 데이터 소스를 선택합니다. 그런 다음 Security Lake를 데이터 소스 유형으로 선택할 수 있습니다.

다음 단계에서는 제로 ETL 통합을 사용하여 Security Lake 데이터 소스에 액세스하기 위한 IAM 권한을 설정할 수 있습니다. 또한 OpenSearch 서버리스 컬렉션과 OpenSearch 애플리케이션을 자동으로 생성합니다.

연결이 생성되면 미리 빌드된 OpenSearch 대시보드 중 하나를 선택하여 Security Lake에서 데이터를 정기적으로 쿼리함으로써 시각화를 생성할 수 있습니다. Security Lake의 VPC Flow Logs, WAF 로그 및 CloudTrail 데이터 소스용 템플릿을 사용하여 대시보드를 생성할 수 있습니다.

다음은 VPC Flow Logs용으로 사전 빌드된 대시보드의 예입니다.

데이터 연결에 대해 자세히 알아보려면 Amazon OpenSearch Service 개발자 안내서의 데이터 연결 및 권한을 참조하세요.

3. OpenSearch 대시보드에서 Security Lake 데이터 쿼리

OpenSearch 대시보드에서 Security Lake 데이터를 직접 쿼리하려면 검색 페이지로 이동하세요.

검색 페이지에서 데이터 선택 워크플로를 사용하여 쿼리할 특정 Security Lake 테이블을 찾을 수 있습니다. 각 Security Lake 로그 소스에 대해 하나의 테이블이 있습니다.

선택한 후 사용할 쿼리 언어인 파이프 처리 언어(PPL) 또는 구조화된 쿼리 언어(SQL)를 선택한 후, 쿼리를 작성하고 실행할 수 있습니다. 다음은 PPL 샘플 결과입니다.

미리 빌드된 쿼리 템플릿을 검색하고 실행하여 쿼리를 시작할 수도 있습니다. Security Lake에서 사용할 수 있는 모든 AWS 로그 소스를 다루는 SQL 및 PPL 쿼리가 200개 넘게 있습니다. 검색란을 사용하여 관심 있는 쿼리를 찾을 수 있습니다. 예를 들어 “VPC Flow”를 검색하면 VPC Flow Logs와 관련된 모든 쿼리를 볼 수 있습니다. 각 쿼리에 대한 설명과 사용 시기가 나와 있습니다.

예를 들어 보안 조사를 지원하기 위해 동일한 데이터 집합에 대해 여러 쿼리를 수행하려는 경우 직접 쿼리 결과에 대한 온디맨드 인덱싱된 뷰를 생성할 수 있습니다. 결과를 OpenSearch 인덱스에 수집한 후 OpenSearch의 분석 기능을 사용하여 지연 시간이 짧은 후속 쿼리 및 분석을 수행할 수 있습니다.

인덱싱된 뷰를 생성하려면 인덱싱된 뷰 생성을 선택한 후 지정된 쿼리, 인덱스 이름 및 시간 범위를 선택합니다. 뷰가 생성되면 쿼리 결과가 수집되며 사용 가능한 인덱싱된 뷰에서 새로 생성한 인덱스의 일부로 쿼리할 수 있습니다.

자세히 알아보려면 Amazon OpenSearch Service 개발자 안내서의 데이터 검색을 참조하세요.

정식 출시
Amazon Security Lake와의 Amazon OpenSearch Service 제로 ETL 통합은 이제 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(뭄바이), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 남아메리카(상파울루) 및 캐나다(중부) AWS 리전에서 사용할 수 있습니다.

OpenSearch Service는 외부 데이터를 쿼리하고 OpenSearch Service에서 인덱스를 유지 관리하는 데 필요한 컴퓨팅 유닛(OpenSearch 컴퓨팅 유닛)에 대해서만 요금을 별도로 청구합니다. 자세한 내용은 Amazon OpenSearch Service 요금 페이지를 참조하세요.

시도해보시고 일반 AWS Support 문의처 또는 Amazon OpenSearch Service용 AWS re:Post로 피드백을 보내주세요.

— Channy