Category: Amazon Kinesis

10년 전, 제가 AWS에 입사한 지 불과 몇 달 만에 Amazon Redshift가 출시되었습니다. 수년에 걸쳐 성능을 개선하고 더 쉽게 사용할 수 있게 많은 기능을 추가했습니다. Amazon Redshift를 사용하면 이제 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에 걸쳐 구조화된 데이터와 반정형 데이터를 분석할 수 있습니다. 최근에는 데이터 웨어하우스 인프라를 관리하지 않고도 분석을 쉽게 실행하고 확장할 수 […]

설비의 가동률을 높이려고 하는 많은 제조 기업들이 제조 설비에 부착된 센서를 통해서 설비 이상 예측을 하기 위해서 대용량 센서 데이터를 모니터링하고 있습니다. 하지만, 많은 수의 센서를 사람이 직접 보고 설비의 이상 유무를 판단하는 것은 한계가 있습니다. 설비 이상 예측을 성공적으로 구현하려면 많은 기계 센서에서 수집된 특정 데이터를 기계학습(ML)에 적용하여 매우 정확한 예측을 수행해야 합니다. 그러나 […]

오늘 새로운 용량 모드인 Amazon Kinesis Data Streams 온디맨드를 출시합니다. 이 용량 모드는 스트리밍 워크로드에 대한 용량 프로비저닝 및 관리를 사라지게 합니다. Kinesis Data Streams는 대규모의 스트리밍 데이터를 실시간으로 처리하기 위한 완전 관리형 서버리스 서비스입니다. Kinesis Data Streams는 어떤 수량의 소스에서도 원하는 양의 데이터를 가져와 필요에 따라 확장 및 축소할 수 있습니다. 2013년 11월에 Kinesis […]

Amazon FSx for Windows File Server는 업계 표준 SMB(Server Message Block) 프로토콜을 통해 액세스할 수 있는 완전관리형 파일 스토리지를 제공합니다. 또한 Windows Server를 기반으로 하며, AWS에서 기대할 수 있는 확장성, 안정성, 낮은 비용으로 다양한 엔터프라이즈 스토리지 기능 세트를 제공합니다. 이제 AWS 팀은 사용자 할당량, 최종 사용자 파일 복원, Microsoft Active Directory 통합과 같은 주요 기능 […]

시기적절한 인사이트를 확보하고 비즈니스와 애플리케이션에서 들어오는 새로운 정보에 신속하게 대응하는 가장 좋은 방법은 스트리밍 데이터를 분석하는 것입니다. 스트리밍 데이터는 일반적으로 레코드 단위로 또는 슬라이딩 시간대에 걸쳐 순차적으로 증분 처리되어야 하며 상관 관계, 집계, 필터링 및 샘플링과 같은 다양한 분석에 사용될 수 있습니다. 오늘은 스트리밍 데이터를 더 쉽게 분석할 수 있는 Amazon Kinesis Data Analytics Studio를 […]

Amazon CloudFront 는 글로벌 엣지 로케이션 네트워크를 사용하여 짧은 지연 시간과 빠른 전송 속도로 정적 및 동적 웹 콘텐츠를 안전하게 전송하는 콘텐츠 전송 네트워크 (CDN) 서비스입니다. 오늘 부터 CloudFront에서 실시간 로그를 제공하는 새로운 기능을 발표했습니다. CloudFront 실시간 로그에는 수신하는 모든 요청에 ​​대한 자세한 정보를 포함할 수 있기 때문에 운영 시 생기는 문제에 대해 신속하게 대응할 […]

데이터를 분석할 때, 가장 먼저 취하는 방법은 일괄(Batch) 처리 모델입니다. 일정 기간 동안 데이터를 수집한 다음, 분석 도구에 넣는 것입니다. 신속히 대응하려면 스트리밍(Streaming) 모델을 사용할 수 있습니다. 이 모델에서는 데이터가 도착하는 대로 처리하거나, 한 번에 레코드 하나씩 처리하거나, 10개, 100개, 1,000개 단위의 마이크로 배치로 레코드를 처리합니다. 연속적인 입력 파이프라인을 관리하고 즉석에서 데이터를 처리하는 작업은 상당히 […]

서울 리전을 주로 활용하시는 AWS 고객 여러분께 최근 몇 가지 주요 서비스 출시 소식을 알려드립니다. (AWS re:Invent 소식을 먼저 전해 드리는 동안 조금 늦은 점 양해 부탁드립니다.) Amazon Quantum Ledger Database (QLDB) 서울 리전 출시 (11/19) Amazon QLDB는 완전관리형 서버리스 원장 데이터베이스로, 중앙의 신뢰할 수 있는 기관이 소유하는 투명하고, 변경 불가능하며, 암호화 방식으로 검증 가능한 […]

최신 분산 애플리케이션들은 매일 기가바이트 수준의 로그 데이터를 생산해 낼 수 있는데, Amazon S3에서 Elasticsearch에 이르는 수많은 솔루션을 활용하면 이에 대한 분석과 스토리지 처리는 비교적 어렵지 않게 구현할 수 있지만 로그를 안정적으로 집계하고 최종 대상까지 전송하는 것은 여전히 어려운 영역에 속합니다. 이 게시물에서는 AWS Fargate, Amazon Kinesis Data Firehose 및 Fluentd를 사용하여 로그 집계기를 구축하는 […]

오늘 MongoDB 호환 문서 데이터베이스인 Amazon DocumentDB 및 실시간 스트리밍 데이터 분석 서비스인 Kinesis Analytics가 동시에 서울 리전에 출시되었습니다. Amazon DocumentDB는 MongoDB 호환 워크로드를 지원하는 빠르고, 확장 가능하며, 가용성이 높은 완전관리형 문서 데이터베이스 서비스입니다. Apache 2.0 오픈 소스 MongoDB 3.6 API를 구현하여 MongoDB 클라이언트가 MongoDB 서버로부터 기대하는 응답을 에뮬레이션 해주기 때문에 DocumentDB에 기존 MongoDB 드라이버 […]