게시된 날짜: Oct 13, 2021
Amazon Virtual Public Cloud(VPC)는 더 빠르고, 더 쉽고, 더 비용 효율적으로 Amazon VPC Flow Logs에서 분석을 저장하고 실행할 수 있도록 3가지 새로운 기능을 도입했습니다. 첫 번째로 VPC Flow Logs는 이제 Apache Parquet 파일 형식으로 Amazon S3에 전달될 수 있습니다. 두 번째로 VPC Flow Logs는 S3에 Hive 호환되는 접두사로 저장될 수 있습니다. 그리고 세 번째로 VPC Flow Logs는 시간별 파티션된 파일로 전달될 수 있습니다. VPC Flow Logs의 대상으로 S3를 선택하면 이러한 모든 기능을 사용할 수 있습니다.
Apache Parquet 형식으로 저장된 VPC Flow Logs의 쿼리는 압축된 컬럼 형식의 Parquet 파일이므로 더 효율적입니다. 그리고 Amazon Athena 및 Amazon Elastic Map Reduce(EMR)과 같은 도구를 이용하여 쿼리 비용을 절감할 수 있습니다. 이는 쿼리가 더 빨리 실행되고 Parquet 파일을 사용하여 더 적은 양의 데이터를 스캔해야 하기 때문입니다. Parquet 형식 파일의 압축 기능이 더 우수하므로 S3 스토리지 비용을 최대 25% 절감할 수 있고, Apache Parquet 변환 애플리케이션을 구축하고 관리할 필요가 없습니다. Hive 호환되는 접두사는 Hive 도구에 새로운 데이터를 더 쉽게 검색하고 로드할 수 있게 하고, 시간별 파티션된 로그 파일은 특정 시간 간격에 걸쳐 더 효율적으로 로그를 쿼리할 수 있게 합니다.
시작하려면 S3를 대상으로 새로운 VPC Flow Log 구독을 생성하고 전달 옵션을 Parquet 형식, Hive 호환되는 접두사 및/또는 시간별 파티션된 파일로 지정합니다. 이 기능은 Amazon Web Services Management Console, Amazon Command Line Interface(Amazon CLI) 및 Amazon Software Development Kit(Amazon SDK)를 통해 사용할 수 있습니다. 자세한 내용은 설명서를 참조하고 블로그 게시물을 읽어보세요. VPC Flow Logs에 대한 Apache Parquet 형식의 로그 전달 요금에 대해서는 CloudWatch Logs 요금 페이지를 참조하세요.