Amazon Web Services 한국 블로그

Category: Analytics

Open Distro for Elasticsearch 오픈 소스 프로젝트 출시

Elasticsearch는 분산형 문서 지향 검색 및 분석 엔진으로서, 정형 및 비정형 쿼리를 지원하고 사전에 스키마를 정의할 필요가 없습니다. Elasticsearch는 검색 엔진으로 사용될 수 있으며, 종종 웹 규모의 로그 분석, 실시간 애플리케이션 모니터링 및 클릭스트림 분석에 사용됩니다. Elasticsearch는 처음에는 순수한 오픈 소스 프로젝트로 시작되었으나 최근에 추가된 일부 내용에는 독점 기술이 적용되었습니다. 제 동료인 Adrian이 작성한 Keeping […]

Read More

Amazon EMR의 Amazon S3기반 Apache HBase로의 이관: 가이드라인과 모범 사례

Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 HDFS에 3벌 복제 저장하는 형태로 비용을 지불하지 않아도 됩니다. 많은 고객들이 데이터 스토리지를 위한 Amazon […]

Read More

Amazon EMR 클러스터 스토리지의 동적 스케일링

Amazon EMR과 같은 관리형 Apache 하둡 환경에서는 클러스터의 스토리지 용량이 가득 찬 경우 손쉽게 대응할 수 있는 솔루션이 없습니다. 이 상황은 고객이 클러스터를 시작할 때 Amazon Elastic Block Store(Amazon EBS) 볼륨을 설정하고 마운트 지점을 구성했기 때문에 발생합니다. 따라서 클러스터가 실행된 후에는 스토리지 용량을 수정하기 어렵습니다. 이를 위한 솔루션은 일반적으로 클러스터에 노드를 추가하고 데이터를 데이터 레이크로 […]

Read More

Amazon Kinesis와 Amazon Athena를 활용한 VPC 네트워크 트래픽의 분석과 시각화

네트워크 로그 분석은 많은 조직에서 일반적으로 수행하는 작업 중 하나입니다.  네트워크 로그를 캡처 및 분석하면 네트워크상의 디바이스가 어떻게 서로간에 그리고 인터넷과 통신하는지를 알 수 있습니다.  조직은 감사 및 규정 준수, 시스템 문제 해결 또는 보안 포렌직 등 다양한 이유로 인해 로그 분석을 수행합니다. Amazon Virtual Private Cloud(VPC)에서는 VPC Flow Logs를 통해 네트워크 플로우를 캡처할 수 […]

Read More

Amazon Kinesis 비디오 스트림 및 Amazon SageMaker를 사용한 실시간 대규모 영상 분석

오늘은 Amazon Kinesis Video Streams Inference Template(KIT) for Amazon SageMaker의 기능에 대해 소개합니다. 이 기능은 고객이 Kinesis 비디오 스트림을 Amazon SageMaker 엔드포인트에 몇 분 만에 연결할 수 있습니다. 따라서 서비스를 통합하기 위해 다른 라이브러리를 사용하거나 맞춤형 소프트웨어를 작성하지 않고도 실시간 추론이 가능합니다. KIT는 Docker 컨테이너로 패키징된 Kinesis Video Client Library 소프트웨어와 필요한 모든 AWS 리소스의 […]

Read More

Amazon Kinesis Data Analytics를 위한 Java 언어 지원 출시 및 활용 예제

AWS 고객은 Amazon Kinesis를 사용하여 실시간 스트리밍 데이터를 수집하고 처리하고 분석하여, 비즈니스나 인프라 또는 고객으로부터 얻은 새로운 정보에 빠르게 대처할 수 있습니다. 예를 들어, Epic Games는 인기 있는 온라인 게임, Fornite에서 초당 150만 이상의 게임 이벤트를 소화합니다. Amazon Kinesis Data Analytics를 사용하면 표준 SQL을 사용하여 실시간으로 데이터를 처리할 수 있습니다. SQL에서는 새로운 프레임워크나 언어를 배우지 않고도 […]

Read More

데이터 기반 의사 결정을 위한 AWS 온라인 세미나

AWS 데이터 기반 의사 결정 온라인 세미나는 최신 데이터 아키텍처를 사용하여 빅 데이터 및 분석 프로젝트를 시작하고 비즈니스 성과를 달성하는 방법을 소개합니다. 본대용량의 정보를 보호하고, 수집하고, 저장하고, 분석하고, 활용하는 방법과 관련 고객 사례를 통해 시스템을 실시간 및 예측 분석으로 통합하는 방법을 확인할 수 있습니다. 온라인 세미나 일정 데이터 기반 의사결정을 통한 비지니스 혁신 일시 : […]

Read More

Amazon Kinesis Data Streams, 고속 스트리밍을 위해 향상된 팬아웃 및 HTTP/2 지원 추가

몇 주 전 Amazon Kinesis Data Streams(KDS)를 위한 두 가지의 중요한 성능 개선 기능, 즉 향상된 팬 아웃 및 HTTP/2 데이터 검색 API를 출시했습니다. 향상된 팬아웃을 사용하면 개발자가 각 스트림 소비자(실시간으로 스트림에서 데이터를 읽는 애플리케이션)에게 개별 읽기 처리량을 제공함으로써 스트림 소비자 수를 확대할 수 있습니다. 한편, HTTP/2 데이터 검색 API를 사용하면 전형저인 시나리오에서 제작자가 소비자에게 […]

Read More

AWS Glue를 이용한 파티션 데이터 처리

AWS Glue는 Hive 스타일 파티션으로 구성된 데이터 세트 처리에 향상된 기능을 제공합니다. AWS Glue 크롤러는 Amazon S3에 저장된 데이터의 파티션을 자동으로 구별합니다. AWS Glue ETL(추출, 변환, 로드) 라이브러리는 DynamicFrames로 작업할 때 기본적으로 파티션을 지원하며, DynamicFrames는 스키마를 지정하지 않더라도 분산된 데이터 콜렉션을 나타냅니다. DynamicFrames를 생성할 때 S3를 호출하지 않더라도 서술자를 통해 파티션을 필터링할 수 있습니다. 또한 […]

Read More

Amazon Kinesis Video Streams, HLS 출력 스트림 지원 추가

오늘은 Amazon Kinesis Video Streams(KVS)를 위한 새로운 HTTP Live Streams(HLS) 출력 기능을 알려드리고, 간단히 시연해 보여 드리겠습니다. KVS에 대해 잘 모르시는 경우 Jeff가 2017년 AWS re:Invent에서 다룬 출시 내용을 참조하십시오. 간략히 말씀드리면, Amazon Kinesis Video Streams는 단일 기기에서 수백만 기기에 이르기까지 분석 및 기계 학습을 위해 비디오를 캡처, 처리 및 보관하는 서비스입니다. 고객은 Kinesis Video를 […]

Read More