Amazon Web Services 한국 블로그

Category: Amazon Kinesis

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가?

이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 […]

Read More

Amazon Kinesis와 Amazon Athena를 활용한 VPC 네트워크 트래픽의 분석과 시각화

네트워크 로그 분석은 많은 조직에서 일반적으로 수행하는 작업 중 하나입니다.  네트워크 로그를 캡처 및 분석하면 네트워크상의 디바이스가 어떻게 서로간에 그리고 인터넷과 통신하는지를 알 수 있습니다.  조직은 감사 및 규정 준수, 시스템 문제 해결 또는 보안 포렌직 등 다양한 이유로 인해 로그 분석을 수행합니다. Amazon Virtual Private Cloud(VPC)에서는 VPC Flow Logs를 통해 네트워크 플로우를 캡처할 수 […]

Read More

Amazon Kinesis Data Analytics를 위한 Java 언어 지원 출시 및 활용 예제

AWS 고객은 Amazon Kinesis를 사용하여 실시간 스트리밍 데이터를 수집하고 처리하고 분석하여, 비즈니스나 인프라 또는 고객으로부터 얻은 새로운 정보에 빠르게 대처할 수 있습니다. 예를 들어, Epic Games는 인기 있는 온라인 게임, Fornite에서 초당 150만 이상의 게임 이벤트를 소화합니다. Amazon Kinesis Data Analytics를 사용하면 표준 SQL을 사용하여 실시간으로 데이터를 처리할 수 있습니다. SQL에서는 새로운 프레임워크나 언어를 배우지 않고도 […]

Read More

Amazon Kinesis Data Streams, 고속 스트리밍을 위해 향상된 팬아웃 및 HTTP/2 지원 추가

몇 주 전 Amazon Kinesis Data Streams(KDS)를 위한 두 가지의 중요한 성능 개선 기능, 즉 향상된 팬 아웃 및 HTTP/2 데이터 검색 API를 출시했습니다. 향상된 팬아웃을 사용하면 개발자가 각 스트림 소비자(실시간으로 스트림에서 데이터를 읽는 애플리케이션)에게 개별 읽기 처리량을 제공함으로써 스트림 소비자 수를 확대할 수 있습니다. 한편, HTTP/2 데이터 검색 API를 사용하면 전형저인 시나리오에서 제작자가 소비자에게 […]

Read More

Amazon Kinesis Data Firehose 서울 리전 출시!

Amazon Kinesis Data Firehose는 실시간 데이터를 저장소에 저장하거나 분석 도구를 바로 활용할 수 있는 서비스로서 오늘 서울 리전에 출시하였습니다. Kinesis Data Firehose를 사용하면, 실시간 데이터 소스를 지속적으로 데이터를 변환 및 다양한 위치로 보내서 기존에 사용하고 있는 기존 비즈니스 인텔리전스 도구 및 대시보드를 통해 준 실시간으로 분석할 수 있습니다. Kinesis Data Firehose는 데이터 처리량에 맞춰 자동으로 […]

Read More

AWS 멀티 어카운트 환경을 위한 통합 로깅 방법

중앙 집중 로깅 기능은 규정 준수와 보안 및 분석, 애플리케이션 별 필요성과 같은 다양한 이유로 일정 규모 이상의 기업에서는 반드시 고려되는 기능입니다. 단일 부서에서 관리되거나 여러 부서에서 관리되는 멀티 어카운트 환경에서는, 중앙에서 로그정보를 수집하는 로깅 전담 어카운트가 있는 것이 모범사례입니다. 이를 통해 보안팀 입장에서는 실시간으로 위험한 행위를 탐지하고 침해에 대처하는데 도움을 받을 수 있게 됩니다. […]

Read More

Amazon Kinesis Analytics을 이용한 실시간 핫스팟 기능

오늘 Amazon은 스트리밍 데이터에서 “핫스팟”을 감지하는 Amazon Kinesis Data Analytics의 새로운 Machine Learning 기능을 발표합니다. Kinesis Data Analytics는 2016년 8월에 출시된 이래 꾸준히 기능이 추가되었습니다. 알다시피 Kinesis Data Analytics는 완벽하게 관리되는 스트리밍 데이터용 실시간 처리 엔진으로, SQL 쿼리를 작성하여 데이터에서 의미를 도출하고 결과를 Kinesis Data Firehose, Kinesis Data Streams 또는 AWS Lambda 함수에 출력합니다. 새로운 […]

Read More

Amazon Kinesis Video Streams – 시각 지원 앱을 위한 서버리스 비디오 수집 및 저장

휴대폰, 보안 카메라, 아기용 모니터, 드론, 웹캠, 대시보드 카메라, 심지어 위성까지 모든 것들이 고강도의 고품질 비디오 스트림을 생성할 수 있습니다. 이제 가정, 사무실, 공장, 도시, 거리 및 고속도로 곳곳에 수많은 카메라가 있습니다. 홍수와 기타 자연 재해의 속성을 측정하고, 공공 안전을 높이고, 여러분의 자녀가 안전한지 알려줄 수 있습니다. 개인별 재미 있는 영상 속에서 멋진 순간을 저장하거나 […]

Read More

AWS PrivateLink 출시 – VPC내 AWS 서비스 엔드 포인트 서비스

이 글은 Amazon Virtual Private Cloud의 선임 엔지니어인 Colm MacCárthaigh가 작성한 것입니다. VPC 엔드포인트가 2015년에 출시된 이후, 인터넷 게이트웨이, NAT 게이트웨이 또는 방화벽 프록시 없이 Amazon Virtual Private Cloud(VPC)에서 S3 및 DynamoDB에 안전하게 액세스하는 방법으로 엔드포인트가 인기를 끌고 있습니다. VPC 엔드포인트를 사용하면 VPC와 AWS 서비스 사이의 라우팅이 AWS 네트워크에서 처리되고 IAM 정책을 사용하여 서비스 리소스에 […]

Read More

Apache Flink를 이용한 AWS기반 실시간 스트림 처리 파이프라인 구성하기

오늘날 비즈니스 환경에서, 다양한 데이터 소스의 꾸준한 증가에 맞추어 데이터는 계속적으로 생성되고 있습니다. 따라서, 원시 데이터의 대규모 스트림을 통해 실행 가능한 통찰력을 얻기 위한 데이터를 지속적으로 수집하고, 저장하고, 처리하는 능력을 갖춘다는 것은 조직의 경쟁력 측면에서 장점이라 하겠습니다. Apache Flink는 스트림 프로세싱 파이프라인의 기반을 갖추는 데 매우 적합한 오픈소스 프로젝트 입니다. 스트리밍 데이터의 지속적인 분석에 적합한 […]

Read More