Category: Analytics

최근 국내의 많은 고객 분들이 Amazon Redshift 도입을 고려하고 계시거나, 또는 이미 도입하여 사용하고 계십니다. OLTP 뿐만 아니라 데이터 웨어하우스 시스템에서도 쿼리 캐싱은 전체적인 사용자 체감 속도를 개선할 수 있는 아주 좋은 방법입니다. 쿼리 캐싱을 위한 다양한 방법이 있겠지만, pgpool 및 Amazon ElastiCache  사용에 대한 좋은 블로그 글이 있어 소개하도록 하겠습니다. 원문은 Using pgpool and […]

최근 국내의 많은 고객 분들이 Amazon Redshift 도입을 고려하고 계시거나, 또는 이미 도입하여 사용하고 계십니다. 도입 전, PoC(Proof of Concept) 등의 과정을 통해서 기존 업무와의 호환성 또는 원하는 성능에 대한 평가 등을 하신 후에 사용하고 계시겠지만, 제목과 같이 Redshift 의 성능 튜닝에 도움이 될 수 있는 내용을 다시 한번 살펴보시라는 의미에서, 좋은 블로그 포스트를 번역하여 […]

(과거 1.44MB 플로피 디스크를 썼던 경험이 무색하게) 매일 우리는 매우 빠른 데이터량 성장에 놀라게 됩니다. 일상적으로 대량의 로그를 쌓고 질의하는 작업과 정형 혹은 반정형 데이터의 크기는 이미 페타바이트 규모입니다. 우리는 데이터의 위치를 찾아 로딩한 후 인덱싱을 통해 검색하는 일련의 과정을 빠르게 작업할 수 있는 방법을 찾고 있습니다. 이를 위해 높은 수준의 클라우드 솔루션을 가지고 있으며 […]

Amazon EMR 팀은 최근 신규 버전을 계속 출시하면서, 이번 분기에만 다양한 기능을 추가하였습니다. 9월 – Apache Spark, Tez, Hadoop MapReduce 데이터 암호화. 9월 – Apache Hive를 위한 오픈 소스 EMR-DynamoDB Connector 지원. 11월 – Apache Flink에서 실시간 스트리밍 처리. 11월 – 클러스터 태그를 활용한 세부 관리 기능. 오늘부터 Amazon EMR 클러스터에 대한 자동 확장 기능을 […]

스타트업부터 엔터프라이즈 기업까지 1,500여 AWS고객이 베타 테스트를 진행해 왔던 Amazon QuickSight를 오늘 정식 출시하였습니다. 작년 미리 보기 출시를 하면서 아래와 같이 소개하였습니다. “과거에는 비지니스 인텔리전스(Business Intelligence)를 구성하려면 매우 복잡하고 다양한 이슈를 가지고 있었을 뿐 아니라 인프라 및 소프트웨어를 구성하고 설정하고 확장성을 고려하고, 여러분의 모델을 만들어줄 컨설턴트를 고용하는데 많은 비용이 들었습니다. 또한, 사용자들은 데이터를 탐색하는데 복잡한 […]

AWS 고객 중에는 Amazon EMR(Apache Hadoop 및 Apache Spark 관련 도구 포함)를 사용하여 다양한 유형의 중요한 업무에 대한 빅 데이터 분석 사례를 가지고 있습니다. 아래 업체들은 바로 대표적인 예입니다. Yelp 매일 테라 바이트 이상의 로그 파일과 사진 데이터 처리 Expedia 사용자 클릭 스트림 및 행동 관련 데이터 처리 FINRA 매일 수십억 건의 증권 거래 기록 […]

Amazon Kinesis 클라우드 내 실시간 데이터 처리를 위한 강력한 도구로서 Kinesis Stream 및 Kinesis Firehose를 통해 손쉽게 대량 실시간 데이터를 처리 및 저장하고 이를 분석할 수 있습니다. 이들 서비스로 상대적으로 쉽게 스트리밍 데이터에 대한 처리가 간편해졌지만, 개발자 및 데이터 과학자 또는 SQL을 잘아는 분석가들이 웹 애플리케이션의 클릭 데이터나 인터넷 연결 기기에서 오는 센서 데이터, 서버 […]

Amazon EMR 팀은 올해 새로운 버전을 무서운 기세로 출시하고 있습니다. 올해 출시를 되돌아 봅시다. EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6월) EMR 4.6.0 – 대량 데이터에 대한 실시간 접근를 위해 HBase 추가 (4월) EMR 4.5.0 – Hadoop, Presto, Spark와 EMRFS 추가 (4월) EMR 4.4.0 – Sqoop, HCatalog, Java 8 등 (3월) […]

Amazon Kinesis는 대용량 스트리밍 데이터를 클라우드에서 손쉽게 처리할 수 있도록 도와 줍니다. Amazon Kinesis 플랫폼은 3개의 서비스로 구성되어 있습니다: Kinesis Streams은 개발자가 자신의 스트리밍 데이터 처리 애플리케이션을 구현할 수 있습니다; Kinesis Firehose를 통해 스트리밍 데이터를 저장하고 분석하기 위해 AWS에 저장하는 기능에 초점을 맞추었습니다; Kinesis Analytics 를 통해 스트리밍 데이터를 표준 SQL을 통해 분석 할 수 […]

Amazon Elasticsearch Service (Amazon ES) 및 Amazon CloudSearch 서비스가 AWS Asia Pacific (Seoul) 리전에 출시 되었습니다. Amazon ES는 Elasticsearch 서비스를 좀 더 쉽게 개발, 배포 운영할 수 있는 매니지드 서비스이며, Amazon CloudSearch 역시 웹 애플리케이션에 대한 간편한 검색 서비스를 가능하게 해주는 클라우드 서비스입니다. 서울 리전에 대한 서비스 가격은 Amazon ES 요금표 및 Amazon CloudSearch 요금표를 […]