주요 re:Invent 2017 세션
Analyzing streaming data in real time with Amazon Kinesis(ABD301)
Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 인사이트를 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. 이 세션에서는 데이터 모으기에 Kinesis Streams, 실시간 처리에 Kinesis Analytics, 지속성에 Amazon Data Firehose를 사용하는 엔드 투 엔드 스트리밍 데이터 솔루션을 소개합니다. 스트리밍 데이터를 사용하는 SQL 쿼리를 작성하는 방법을 상세히 검토하고 Kinesis Analytics 애플리케이션을 최적화하고 모니터링하는 모범 사례를 살펴봅니다. 마지막으로 전체 시스템 비용을 추정하는 방법을 살펴봅니다.
워크숍: Building your first big data application on AWS(ABD317)
AWS 빅 데이터 웹 서비스에 대한 지식을 강화하고 클라우드에서 첫 번째 빅 데이터 애플리케이션을 시작하려고 하십니까? 빅 데이터 처리를 수집, 저장, 처리 및 시각화로 구성된 데이터 버스로 간소화하는 방법을 설명합니다. Amazon Athena, Amazon Kinesis, Amazon DynamoDB 및 Amazon S3와 같은 AWS 관리형 서비스를 사용해 빅 데이터 애플리케이션을 구축합니다. 그 과정에서 빅 데이터 애플리케이션을 위한 아키텍처 설계 패턴을 검토하고 애플리케이션을 직접 다시 구축하고 사용자 지정할 수 있도록 재택 실습에 대한 액세스를 제공합니다. 이 세션을 충분히 활용하려면 노트북을 가져와야 하고 AWS 서비스에 대한 지식이 어느 정도 있어야 합니다.
워크숍: Don’t wait until tomorrow; how to use streaming data to gain real-time insights into your business(ABD321)
최근 몇 년간 커넥티드 디바이스와 실시간 데이터 소스의 수가 폭발적으로 증가했습니다. 따라서 데이터가 끊임없이 생산되고 프로덕션 속도가 가속화되고 있습니다. 기업에서는 이러한 데이터를 사용하기 위해 몇 시간 또는 며칠을 기다릴 여유가 없습니다. 가장 가치 있는 통찰력을 확보하기 위해서는 새로운 정보에 신속하게 대응할 수 있도록 이러한 데이터를 즉시 사용할 수 있어야 합니다. 이 워크숍에서는 스트리밍 데이터 소스를 활용하여 거의 실시간으로 분석 및 대응하는 방법을 배웁니다. 실제 스트리밍 데이터 시나리오에 맞춰 몇 가지 요구 사항이 제시되고 Amazon Kinesis, AWS Lambda 및 Amazon SNS와 같은 서비스를 사용해 이러한 요구 사항을 성공적으로 충족하는 솔루션을 생성하는 과제가 부여됩니다.
How Amazon Flex uses real-time analytics to deliver packages on time(ABD217)
데이터에서 실행 가능한 통찰력을 확보하는 시간을 단축하는 것은 배치 데이터 분석 도구를 사용하며 스트리밍 분석의 이점을 살펴보고 있는 모든 비즈니스와 고객에게 중요합니다. 데이터 웨어하우스 및 데이터베이스에서 실시간 솔루션으로 아키텍처를 확장하는 모범 사례를 배웁니다. Amazon Kinesis를 사용하여 실시간 데이터 통찰력을 확보하고 Amazon Aurora, Amazon RDS, Amazon Redshift 및 Amazon S3와 통합하는 방법을 배웁니다. Amazon Flex 팀이 Amazon 배송 기사가 매달 수백만 개의 택배를 적시에 배달하기 위해 사용하는 Amazon Flex 모바일 앱에서 스트리밍 분석을 어떻게 사용했는지 설명합니다. 기존 배치 데이터를 스트리밍 데이터로 마이그레이션하는 문제를 해결하고 배치 처리 시스템에서 실시간 시스템으로 이전할 수 있게 해준 아키텍처를 설명하고 실시간 분석의 이점을 활용하는 방법을 설명합니다.
Real-time streaming applications on AWS: Use cases and patterns(ABD203)
기업이 경쟁 우위를 확보하고 고객에게 차별화된 경험을 제공하려면 실시간으로 라이브 데이터를 사용하여 빠른 의사 결정을 지원할 수 있어야 합니다. 이 세션에서는 일반적인 스트리밍 데이터 처리 사용 사례와 아키텍처를 배웁니다. 먼저, 스트리밍 데이터와 AWS 스트리밍 데이터 기능에 대한 개요를 제공합니다. 그리고 몇 가지 고객 예제와 고객의 실시간 스트리밍 애플리케이션을 살펴봅니다. 마지막으로 주요 스트리밍 데이터 사용 사례의 일반 아키텍처와 설계 패턴을 살펴봅니다.
Cox Automotive empowered to scale with Splunk Cloud & AWS(ABD208)
이 세션에서는 Splunk Cloud를 사용해 AWS 및 하이브리드 환경에 대한 실시간 가시성을 확보함으로써 거의 즉각적인 MTTI를 실현하고, 경매 인시던트를 90% 줄이고, 가동 중단을 사전에 예측하는 Cox Automotive의 사례를 알아봅니다. 또한 Splunk 및 Amazon Data Firehose를 사용하여 데이터를 실시간으로 모으고, 변환하고 분석하여 클라우드 리소스에서 귀중한 인사이트를 확보할 수 있게 해주는 전도 유망한 기능을 소개합니다. 이제 Splunk Enterprise 및 Splunk Cloud를 사용하여 그 어느 때보다 더 빠르고 더 쉽게 분석 중심의 인프라 모니터링에 액세스할 수 있습니다.
웨비나 녹화본
Real-time log analytics using Amazon Data Firehose(Amazon Data Firehose를 사용한 실시간 로그 분석)(2017년 6월)
로그 분석은 디지털 마케팅, 애플리케이션 모니터링, 사기 탐지, 광고 기술, 게임 및 IoT와 같은 다양한 애플리케이션을 위해 웹 사이트, 모바일 디바이스, 서버, 센서 등의 로그 데이터를 분석할 수 있도록 지원하는 일반적인 빅 데이터 사용 사례입니다. 로그 분석을 실시간으로 수행하면 정보를 더 빠르게 확보할 수 있으므로, 몇 시간 또는 며칠이 아니라 몇 초 또는 몇 분 만에 인사이트를 확보할 수 있습니다. 이 세션에서는 Amazon Data Firehose를 사용하여 인프라 없이 로그를 모으고 전달하는 방법을 알아봅니다. Amazon Managed Service for Apache Flink로 실시간으로 로그 데이터를 처리하여 반응형 분석을 구축하는 방법을 보여드립니다. 마지막으로 Amazon Elasticsearch Service를 사용하여 로그 데이터를 대화식으로 쿼리하고 시각화하는 방법을 설명합니다.
학습 목표:
- 엔드 투 엔드 실시간 로그 분석 솔루션을 손쉽게 구축하는 방법 이해.
- Amazon Kinesis를 사용하여 실시간으로 데이터를 수집 및 처리하는 데 대한 개요 파악.
- Amazon Elasticsearch Service를 사용하여 로그 데이터를 대화식으로 쿼리하고 시각화하는 방법 학습.
Streaming ETL for data lakes using Amazon Data Firehose(Amazon Data Firehose를 사용한 데이터 레이크용 스트리밍 ETL)(2017년 5월)
데이터 레이크를 사용하면 대부분의 데이터가 지속적으로 빠르게 생성되는 개별 데이터 소스에서 대규모의 구조화된 데이터 및 구조화되지 않은 데이터에 액세스하고 이를 분석할 수 있습니다. 이러한 데이터를 적시에 분석용으로 제공하려면 안정적이며 비용 효율적으로 이러한 데이터를 데이터 레이크로 모을 수 있는 스트리밍 솔루션이 필요합니다. Amazon Data Firehose는 손쉽게 스트리밍 데이터를 준비하고 AWS로 로드할 수 있게 해주는 완전관리형 서비스입니다. 이 테크 톡에서는 Firehose에 대한 개요를 제공하며 이 서비스를 사용해 실시간 스트리밍 데이터를 수집, 변환, 배치 처리 및 압축하여 Amazon S3 데이터 레이크로 로드하는 방법을 자세히 알아봅니다.
학습 목표:
- 스트리밍 데이터를 수집하고 준비하여 데이터 레이크로 로드하는 것과 관련된 주요 요구 사항을 이해합니다.
- Firehose를 사용한 데이터 전송에 대한 개요를 확인합니다.
- Firehose로 데이터 변환을 수행하는 방법을 알아봅니다.
How TrueCar gains actionable Insights with Splunk Cloud
데이터 센터 전체를 클라우드로 이전하는 것은 절대 쉬운 일이 아닙니다! TrueCar의 기술 플랫폼 팀이 바로 이런 어려운 과제를 맡았고, 인프라와 애플리케이션 성능을 높이고, 보안 상태를 개선하며 제품 개선을 주도할 수 있는 확장 가능한 모니터링 및 문제 해결 솔루션을 찾고 있었습니다. 이 회사는 AWS를 기반으로 한 Splunk Cloud를 찾았고 하루 만에 배포했습니다. 이 웨비나에서는 AWS 및 Splunk 기능을 모두 이용하여 실시간으로 데이터에 대한 인사이트를 얻는 TrueCar의 사례에 대해 알아봅니다.
웨비나를 시청하여 Amazon Data Firehose를 사용하여 AWS에서 Splunk Cloud를 실행한 TrueCar의 사례가 어떤 도움이 되는지 확인해 보세요.
- 추가적인 데이터 보존으로 기록 데이터에 대한 인사이트 얻기
- AWS 결제에 대해 더 향상된 가시성 제공
- 보안 통찰력과 위협 탐지 확보
블로그 게시물
Amazon Data Firehose now supports dynamic partitioning to Amazon S3(Amazon Data Firehose, Amazon S3로의 동적 분할 지원)
작성자: Jeremy Ber와 Michael Greenshtein, 2021년 9월 2일
CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time
작성자: Jeff Barr, 2021년 3월 31일
Stream, transform, and analyze XML data in real time with Amazon Kinesis, AWS Lambda, and Amazon Redshift
작성자: Sakti Mishra, 2020년 8월 18일
Amazon Data Firehose Data Transformation with AWS Lambda(AWS Lambda를 활용한 Amazon Data Firehose의 데이터 변환)
작성자: Bryan Liston, 2017년 2월 13일
Watch Stream CDC into an Amazon S3 data lake in Parquet format with AWS DMS
작성자: Viral Shah, 2020년 9월 8일
Amazon Data Firehose custom prefixes for Amazon S3 objects(Amazon S3 객체에 대한 Amazon Data Firehose의 사용자 지정 접두사)
작성자: Rajeev Chakrabarti, 2019년 4월 22일
Stream data to an HTTP endpoint with Amazon Data Firehose(Amazon Data Firehose를 사용하여 HTTP 엔드포인트로 데이터 스트리밍)
작성자 Imtiaz Sayed와 Masudur Rahaman Sayem, 2020년 6월 29일
Capturing Data Changes in Amazon Aurora Using AWS Lambda
작성자: Re Alvarez-Parmar, 2017년 9월 5일
How to Stream Data from Amazon DynamoDB to Amazon Aurora using AWS Lambda and Amazon Data Firehose(AWS Lambda 및 Amazon Data Firehose를 사용하여 Amazon DynamoDB의 데이터를 Amazon Aurora로 스트리밍하는 방법)
작성자: Aravind Kodandaramaiah, 2017년 5월 4일
Analyzing VPC Flow Logs using Amazon Athena, and Amazon QuickSight
작성자 Ian Robinson, Chaitanya Shah, Ben Snively, 2017년 3월 9일
Amazon Data Firehose 시작