Amazon Web Services 한국 블로그

Category: Analytics

Amazon Redshift 동시성 확장(Concurrent Scaling) 기능 출시

Amazon Redshift는 엑사바이트 규모까지 확장이 가능한 데이터 웨어하우스입니다. 현재 NTT DOCOMO, Finra 및 Johnson & Johnson을 비롯한 수많은 AWS 고객이 Redshift를 사용하여 미션 크리티컬 BI 대시보드를 실행하고 실시간 스트리밍 데이터를 분석하고 예측 분석 작업을 실행합니다. 그런데, 문제는 사용자 피크 시간에 동시 쿼리의 수가 증가할 때 발생합니다. 다수의 비즈니스 분석가가 모두 BI 대시보드로 이동하거나 오래 실행되는 […]

Read More

Amazon Athena 및 Amazon QuickSight 기반 JSON 데이터 분석 및 시각화하기

구조화된 데이터는 여전히 많은 데이터 플랫폼의 근간을 이루고 있지만, 갈수록 더 많은 비구조화 또는 반구조화 데이터가 기존 정보를 강화하거나 새로운 통찰력을 창출하는 데 사용되고 있습니다. Amazon Athena는 매우 다양한 데이터에 대한 분석을 지원합니다. 이러한 데이터에는 쉼표로 분리된 값(CSV) 또는 Apache Parquet 파일을 포함된 테이블형 데이터, 정규표현식을 사용하여 로그 파일에서 추출된 데이터 및 JSON 형식의 데이터가 포함됩니다. […]

Read More

AWS IoT Analytics 기반 시계열 데이터 QuickSight 시각화 방법

짧은 시간 안에 (예시: 수 초 이내) 크게 달라질 수 있는 사물인터넷(IoT) 데이터를 시각화하는 것은 패턴 탐색, 추세 및 주기성 분석, 잠재적 상관 관계 및 이상 징후 관찰 등을 위해 중요합니다. 시계열 시각화 기능은 이상 징후를 식별하고, 이를 기반으로 알림을 발생시키고, 여러 이해 당사자 간의(특히 데이터 소비자와 엔지니어링) 커뮤니케이션을 개선하는 데 유용합니다. 이 글에서는 시계열 […]

Read More

Open Distro for Elasticsearch 오픈 소스 프로젝트 출시

Elasticsearch는 분산형 문서 지향 검색 및 분석 엔진으로서, 정형 및 비정형 쿼리를 지원하고 사전에 스키마를 정의할 필요가 없습니다. Elasticsearch는 검색 엔진으로 사용될 수 있으며, 종종 웹 규모의 로그 분석, 실시간 애플리케이션 모니터링 및 클릭스트림 분석에 사용됩니다. Elasticsearch는 처음에는 순수한 오픈 소스 프로젝트로 시작되었으나 최근에 추가된 일부 내용에는 독점 기술이 적용되었습니다. 제 동료인 Adrian이 작성한 Keeping […]

Read More

Amazon EMR의 Amazon S3기반 Apache HBase로의 이관: 가이드라인과 모범 사례

Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 HDFS에 3벌 복제 저장하는 형태로 비용을 지불하지 않아도 됩니다. 많은 고객들이 데이터 스토리지를 위한 Amazon […]

Read More

Amazon EMR 클러스터 스토리지의 동적 스케일링

Amazon EMR과 같은 관리형 Apache 하둡 환경에서는 클러스터의 스토리지 용량이 가득 찬 경우 손쉽게 대응할 수 있는 솔루션이 없습니다. 이 상황은 고객이 클러스터를 시작할 때 Amazon Elastic Block Store(Amazon EBS) 볼륨을 설정하고 마운트 지점을 구성했기 때문에 발생합니다. 따라서 클러스터가 실행된 후에는 스토리지 용량을 수정하기 어렵습니다. 이를 위한 솔루션은 일반적으로 클러스터에 노드를 추가하고 데이터를 데이터 레이크로 […]

Read More

Amazon Kinesis와 Amazon Athena를 활용한 VPC 네트워크 트래픽의 분석과 시각화

네트워크 로그 분석은 많은 조직에서 일반적으로 수행하는 작업 중 하나입니다.  네트워크 로그를 캡처 및 분석하면 네트워크상의 디바이스가 어떻게 서로간에 그리고 인터넷과 통신하는지를 알 수 있습니다.  조직은 감사 및 규정 준수, 시스템 문제 해결 또는 보안 포렌직 등 다양한 이유로 인해 로그 분석을 수행합니다. Amazon Virtual Private Cloud(VPC)에서는 VPC Flow Logs를 통해 네트워크 플로우를 캡처할 수 […]

Read More

Amazon Kinesis 비디오 스트림 및 Amazon SageMaker를 사용한 실시간 대규모 영상 분석

오늘은 Amazon Kinesis Video Streams Inference Template(KIT) for Amazon SageMaker의 기능에 대해 소개합니다. 이 기능은 고객이 Kinesis 비디오 스트림을 Amazon SageMaker 엔드포인트에 몇 분 만에 연결할 수 있습니다. 따라서 서비스를 통합하기 위해 다른 라이브러리를 사용하거나 맞춤형 소프트웨어를 작성하지 않고도 실시간 추론이 가능합니다. KIT는 Docker 컨테이너로 패키징된 Kinesis Video Client Library 소프트웨어와 필요한 모든 AWS 리소스의 […]

Read More

Amazon Kinesis Data Analytics를 위한 Java 언어 지원 출시 및 활용 예제

AWS 고객은 Amazon Kinesis를 사용하여 실시간 스트리밍 데이터를 수집하고 처리하고 분석하여, 비즈니스나 인프라 또는 고객으로부터 얻은 새로운 정보에 빠르게 대처할 수 있습니다. 예를 들어, Epic Games는 인기 있는 온라인 게임, Fornite에서 초당 150만 이상의 게임 이벤트를 소화합니다. Amazon Kinesis Data Analytics를 사용하면 표준 SQL을 사용하여 실시간으로 데이터를 처리할 수 있습니다. SQL에서는 새로운 프레임워크나 언어를 배우지 않고도 […]

Read More

데이터 기반 의사 결정을 위한 AWS 온라인 세미나

AWS 데이터 기반 의사 결정 온라인 세미나는 최신 데이터 아키텍처를 사용하여 빅 데이터 및 분석 프로젝트를 시작하고 비즈니스 성과를 달성하는 방법을 소개합니다. 본대용량의 정보를 보호하고, 수집하고, 저장하고, 분석하고, 활용하는 방법과 관련 고객 사례를 통해 시스템을 실시간 및 예측 분석으로 통합하는 방법을 확인할 수 있습니다. 온라인 세미나 일정 데이터 기반 의사결정을 통한 비지니스 혁신 일시 : […]

Read More