Amazon Web Services 한국 블로그

Category: Analytics*

Amazon Kinesis Analytics – SQL 기반 실시간 데이터 분석 서비스 정식 공개

Amazon Kinesis 클라우드 내 실시간 데이터 처리를 위한 강력한 도구로서 Kinesis Stream 및 Kinesis Firehose를 통해 손쉽게 대량 실시간 데이터를 처리 및 저장하고 이를 분석할 수 있습니다. 이들 서비스로 상대적으로 쉽게 스트리밍 데이터에 대한 처리가 간편해졌지만, 개발자 및 데이터 과학자 또는 SQL을 잘아는 분석가들이 웹 애플리케이션의 클릭 데이터나 인터넷 연결 기기에서 오는 센서 데이터, 서버 […]

Read More

Amazon EMR 5.0.0 – 주요 버전 업데이트, 사용자 UI 개선, 디버깅 향상 등

Amazon EMR 팀은 올해 새로운 버전을 무서운 기세로 출시하고 있습니다. 올해 출시를 되돌아 봅시다. EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6월) EMR 4.6.0 – 대량 데이터에 대한 실시간 접근를 위해 HBase 추가 (4월) EMR 4.5.0 – Hadoop, Presto, Spark와 EMRFS 추가 (4월) EMR 4.4.0 – Sqoop, HCatalog, Java 8 등 (3월) […]

Read More

Amazon Kinesis 업데이트 – Amazon Elasticsearch Service 통합, 샤드 통계 및 시간 기반 반복 기능

Amazon Kinesis는 대용량 스트리밍 데이터를 클라우드에서 손쉽게 처리할 수 있도록 도와 줍니다. Amazon Kinesis 플랫폼은 3개의 서비스로 구성되어 있습니다: Kinesis Streams은 개발자가 자신의 스트리밍 데이터 처리 애플리케이션을 구현할 수 있습니다; Kinesis Firehose를 통해 스트리밍 데이터를 저장하고 분석하기 위해 AWS에 저장하는 기능에 초점을 맞추었습니다; Kinesis Analytics 를 통해 스트리밍 데이터를 표준 SQL을 통해 분석 할 수 […]

Read More

Amazon Elasticsearch 및 CloudSearch 서비스 서울 리전 출시

Amazon Elasticsearch Service (Amazon ES) 및 Amazon CloudSearch 서비스가 AWS Asia Pacific (Seoul) 리전에 출시 되었습니다. Amazon ES는 Elasticsearch 서비스를 좀 더 쉽게 개발, 배포 운영할 수 있는 매니지드 서비스이며, Amazon CloudSearch 역시 웹 애플리케이션에 대한 간편한 검색 서비스를 가능하게 해주는 클라우드 서비스입니다. 서울 리전에 대한 서비스 가격은 Amazon ES 요금표 및 Amazon CloudSearch 요금표를 […]

Read More

Amazon QuickSight – 빅데이터를 위한 비지니스 인텔리전스 솔루션 (기존 상용 솔루션의 1/10 가격)

Amazon QuickSight – 빅데이터를 위한 비지니스 인텔리전스 솔루션 수년 전 부터 AWS에서 데이터 수집, 업로드 및 저장 및 처리는 더 빠르고 간편하도록 진화해 왔습니다. 저희는 고객들의 다양한 요구 사항에 맞출 수 있는 매우 폭넓은 데이터 중심 서비스를 공개해 왔습니다. DB 운영의 애로점 해결 Amazon RDS를 통해 RDB 운영의 불편한 점을 해소 SQL DB의 확장성 문제 […]

Read More

Amazon Kinesis Firehose – 확장성 높은 데이터 처리 서비스

2년 전 Amazon Kinesis을 소개하였고 이제 Amazon Kinesis Streams이라 부르며 고대역폭의 스트리밍 데이터를 수집, 처리 및 분석할 수 있는 애플리케이션을 만들 수 있습니다. 더 이상 데이터 수집 서버를 만들 필요가 없고 모니터링 및 확장성 및 신뢰성 있는 배포를 걱정할 필요가 없습니다. Amazon Kinesis Firehose는 AWS에서 스트리밍 데이터를 좀 더 쉽게 처리하기 위해 만들어졌습니다. 간단히 Amazon […]

Read More

Amazon Elasticsearch Service 공개

Elasticsearch은 실시간 분산 검색 및 분석 엔진으로서 클라우드 환경에 잘 맞는 검색 도구입니다. 문서 지향 엔진으로 스키마(Schema)를 미리 정의할 필요가 없습니다. 정형 및 비정형 데이터 구조도 지원하고 시간 기반 쿼리 및 Kibana 같은 시각화 도구를 활용할 수도 있습니다. 오늘 Amazon Elasticsearch Service (약자로 Amazon ES) 신규 서비스를 공개합니다. 이제 여러분은 AWS 관리 콘솔에서 몇 분 […]

Read More

CloudWatch Logs Subscription Consumer + Elasticsearch + Kibana를 통한 데이터 시각화

최근 여러개의 AWS 서비스를 결합하여 만드는 흥미로운 사례를 자주 소개하고 있습니다. 이 글도 그 중에 하나로 오늘은 모니터링을 위한 서비스 조합을 소개해 드리고자 합니다. 먼저 사용하는 서비스에 대해 간단하게 소개하겠습니다. (아직 AWS에 익숙하지 않는 분들을 위해서입니다.) Amazon Kinesis는 실시간 데이터 스트림을 처리하기 위한 관리형 서비스입니다. 자세한 사항은 Amazon Kinesis – Real-Time Processing of Streaming Big […]

Read More

Elastic Map Reduce 4.0.0 버전 출시 – 최신 업데이트 추가

Amazon EMR은 Apache Hadoop과 Apache Spark 등 빅데이터 프레임 워크를 쉽게 AWS 내에서 실행하여 대량 데이터 분석을 할 수 있도록 지원하는 클러스터 관리 플랫폼입니다. 이러한 프레임 워크와 Apache Hive와 Apache Pig 등 관련 오픈 소스 프로젝트를 함께 사용하여 데이터 분석 목적과 지능형 비즈니스(BI) 분석 등을 할 수 있습니다. 2009년에 처음 출시한 이후 (Announcing Amazon Elastic […]

Read More

Amazon EMR, Apache Spark 지원 시작

Amazon EMR에서 새로 출시한 막강 기능을 소개하기 위해 제 동료 존 프리츠(Jon Fritz)의 글을 게재합니다. – Jeff; Amazon EMR(Elastic MapReduce) 서비스가 Apache Spark를 지원하게 된 점을 알려드리게 되어 기쁩니다. Amazon EMR은 Hive, Pig, HBase, Presto, Impala, 및 그 외 여러가지 하둡 생태계 애플리케이션을 이용하여 방대한 데이타를 처리하기 쉽게 해 드리는 서비스입니다. 스파크(Spark) 또한 이 목록에 […]

Read More