Amazon Web Services 한국 블로그

Category: Amazon Athena

Amazon DynamoDB 테이블 S3 내보내기 기능 출시 – 코드 없는 데이터 레이크 분석 제공

2012년 출시 이래 수십만의 AWS 고객이 미션 크리티컬 워크로드를 지원할 솔루션으로 Amazon DynamoDB를 선택했습니다. DynamoDB는 비관계형 관리형 데이터베이스로, 사실상 무한한 양의 데이터를 저장하며 규모에 관계없이 1밀리초 단위로 데이터를 검색할 수 있습니다. 이 데이터를 최대한 활용하려면 고객은 AWS Data Pipeline, Amazon EMR 또는 DynamoDB 스트림 기반의 기타 솔루션을 사용해야 했습니다. 이러한 솔루션은 일반적으로 읽기 처리량이 높은 […]

Read More

Amazon Athena 및 Amazon QuickSight를 활용한 2백년간 글로벌 기후 데이터 시각화

전 세계 기후 변화는 우리의 삶의 질에 심각한 영향을 미치고 있습니다. 이 때문에 향후 지속 가능성에 대한 조사도 증가하고 있습니다. 공공 및 민간 부문의 연구원은 기록된 기후의 역사를 연구하고 기후 예측 모델을 사용하여 미래를 계획하고 있습니다. 이 글은 기후 변화와 그 개념에 대한 설명을 돕기 위해 Global Historical Climatology Network Daily(GHCN-D)를 소개합니다. 그리고, Amazon Web […]

Read More

Amazon RDS 스냅샷, Parquet 포맷 기반 Amazon S3 내보내기 기능 출시

오늘날 AWS 고객은 복잡한 애플리케이션을 더 작은 조각으로 나누어 다양한 목적으로 구축 된 데이터베이스를 사용하여 고도로 분산 된 애플리케이션을 구축하여 올바른 작업에 적합한 툴을 선택할 수 있습니다. 데이터 저장소 및 애플리케이션의 수가 증가함에 따라 여러 데이터 소스에서 분석을 실행하는 것은 어려울 수 있습니다. 최근 AWS는 데이터 분석가, 엔지니어 및 데이터 과학자가 관계형, 비 관계형, 객체 및 맞춤형 […]

Read More

Amazon Athena와 AWS Lambda 기반 데이터 소스간 통합 질의 기능 살펴보기

최근 기업들은 다양한 애플리케이션을 개발할 때, 요구 사항에 적합한 데이터 저장소를 사용합니다. 예를 들어, 소셜 네트워크 서비스를 만들 때는 전통적인 관계형 DB 보다는 Amazon Neptune과 같은 그래프 데이터베이스 가 가장 적합합니다. 유연한 스키마가 필요한 워크로드의 경우, Amazon DocumentDB (MongoDB 호환)이 더 적합합니다. Amazon.com의 CTO이자 부사장 인 Werner Vogels는 “하나의 데이터베이스가 여러 가지 개별 사용 사례의 요구를 모두 […]

Read More

클라우드 기술의 5가지 주요 흐름 – 2019년 회고

이제 2019년도 하루 밖에 남지 않았네요! 매년 해왔던 블로그 회고 (2015년, 2016년, 2017년, 2018년)의 일환으로 이번에는 한해 동안 클라우드 기술의 흐름이 어떻게 변화했는지 살펴보고자 합니다. 제가 지난 5년간 AWS에서 일하면서, 올해 개인적으로 중요하다고 생각된 것들을 뽑아 보았는데, 혹시 내년에 여러분의 기술 자산을 채우기 위한 목표를 세운다면 어느 분야에 집중하면 좋을지 실마리가 되길 바랍니다. 1. 클라우드 […]

Read More

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가?

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Read More

Amazon Athena 및 Amazon QuickSight 기반 JSON 데이터 분석 및 시각화하기

구조화된 데이터는 여전히 많은 데이터 플랫폼의 근간을 이루고 있지만, 갈수록 더 많은 비구조화 또는 반구조화 데이터가 기존 정보를 강화하거나 새로운 통찰력을 창출하는 데 사용되고 있습니다. Amazon Athena는 매우 다양한 데이터에 대한 분석을 지원합니다. 이러한 데이터에는 쉼표로 분리된 값(CSV) 또는 Apache Parquet 파일을 포함된 테이블형 데이터, 정규표현식을 사용하여 로그 파일에서 추출된 데이터 및 JSON 형식의 데이터가 포함됩니다. […]

Read More

Amazon Kinesis와 Amazon Athena를 활용한 VPC 네트워크 트래픽의 분석과 시각화

네트워크 로그 분석은 많은 조직에서 일반적으로 수행하는 작업 중 하나입니다.  네트워크 로그를 캡처 및 분석하면 네트워크상의 디바이스가 어떻게 서로간에 그리고 인터넷과 통신하는지를 알 수 있습니다.  조직은 감사 및 규정 준수, 시스템 문제 해결 또는 보안 포렌직 등 다양한 이유로 인해 로그 분석을 수행합니다. Amazon Virtual Private Cloud(VPC)에서는 VPC Flow Logs를 통해 네트워크 플로우를 캡처할 수 […]

Read More

AWS 멀티 어카운트 환경을 위한 통합 로깅 방법

중앙 집중 로깅 기능은 규정 준수와 보안 및 분석, 애플리케이션 별 필요성과 같은 다양한 이유로 일정 규모 이상의 기업에서는 반드시 고려되는 기능입니다. 단일 부서에서 관리되거나 여러 부서에서 관리되는 멀티 어카운트 환경에서는, 중앙에서 로그정보를 수집하는 로깅 전담 어카운트가 있는 것이 모범사례입니다. 이를 통해 보안팀 입장에서는 실시간으로 위험한 행위를 탐지하고 침해에 대처하는데 도움을 받을 수 있게 됩니다. […]

Read More

Amazon Athena, 서울 리전 출시

오늘 Amazon Athena 서비스가 서울 리전에 출시되었습니다. Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스로서, 서버리스 기반 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하는 데이터 분석 서비스입니다. Amazon Athena 서비스에 대한 자료 모음입니다. [블로그] Amazon Athena – 초단위 페타바이트급 동적 데이터 질의 서비스 [블로그] Amazon […]

Read More