Category: Amazon Kinesis

오늘 Amazon Managed Streaming for Apache Kafka(Amazon MSK)의 새로운 기능인 Apache Kafka 클러스터에서 Amazon Simple Storage Service(S3)으로 데이터를 지속적으로 로드할 수 있는 기능을 발표합니다.   이제 추출, 전환, 적재(ETL) 서비스인 Amazon Kinesis Data Firehose를 사용하여 Kafka 주제에서 데이터를 읽고 레코드를 변환하며 Amazon S3 대상에 씁니다. Kinesis Data Firehose는 완전 관리형으로 콘솔에서 몇 번의 클릭만으로 구성할 수 […]

이 글은 2023년 5월 17일부터 7월 27일 까지 진행된 Amazon OpenSearch Bootcamp for Partners 참가자들이 가상의 시나리오를 바탕으로 개발한 솔루션을 AWS 고객의 비즈니스 문제 해결에 도움을 드리기 위해 작성되었습니다. OpenSearch는 검색, 분석, 보안 모니터링 및 관측용 애플리케이션을 위한 확장성있고 유연한 오픈 소스 소프트웨어 제품군으로 아파치 2.0 라이센스 정책을 따릅니다. 대기 시간이 짧은 검색 및 집계 […]

오늘부터 AWS 계정에 엔드투엔드 솔루션을 배포하여 웹 및 모바일 애플리케이션(Android 및 iOS용) 내에서 고객의 클릭스트림을 캡처, 수집, 저장, 분석 및 시각화할 수 있습니다. 이 솔루션은 표준 AWS 서비스를 기반으로 구축되었습니다. Clickstream Analytics on AWS라는 이 새로운 솔루션을 사용하면 데이터를 AWS 계정의 보안 및 규정 준수 경계 내에 유지하고 필요에 따라 처리 및 분석을 사용자 지정할 […]

10년 전, 제가 AWS에 입사한 지 불과 몇 달 만에 Amazon Redshift가 출시되었습니다. 수년에 걸쳐 성능을 개선하고 더 쉽게 사용할 수 있게 많은 기능을 추가했습니다. Amazon Redshift를 사용하면 이제 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에 걸쳐 구조화된 데이터와 반정형 데이터를 분석할 수 있습니다. 최근에는 데이터 웨어하우스 인프라를 관리하지 않고도 분석을 쉽게 실행하고 확장할 수 […]

설비의 가동률을 높이려고 하는 많은 제조 기업들이 제조 설비에 부착된 센서를 통해서 설비 이상 예측을 하기 위해서 대용량 센서 데이터를 모니터링하고 있습니다. 하지만, 많은 수의 센서를 사람이 직접 보고 설비의 이상 유무를 판단하는 것은 한계가 있습니다. 설비 이상 예측을 성공적으로 구현하려면 많은 기계 센서에서 수집된 특정 데이터를 기계학습(ML)에 적용하여 매우 정확한 예측을 수행해야 합니다. 그러나 […]

오늘 새로운 용량 모드인 Amazon Kinesis Data Streams 온디맨드를 출시합니다. 이 용량 모드는 스트리밍 워크로드에 대한 용량 프로비저닝 및 관리를 사라지게 합니다. Kinesis Data Streams는 대규모의 스트리밍 데이터를 실시간으로 처리하기 위한 완전 관리형 서버리스 서비스입니다. Kinesis Data Streams는 어떤 수량의 소스에서도 원하는 양의 데이터를 가져와 필요에 따라 확장 및 축소할 수 있습니다. 2013년 11월에 Kinesis […]

Amazon FSx for Windows File Server는 업계 표준 SMB(Server Message Block) 프로토콜을 통해 액세스할 수 있는 완전관리형 파일 스토리지를 제공합니다. 또한 Windows Server를 기반으로 하며, AWS에서 기대할 수 있는 확장성, 안정성, 낮은 비용으로 다양한 엔터프라이즈 스토리지 기능 세트를 제공합니다. 이제 AWS 팀은 사용자 할당량, 최종 사용자 파일 복원, Microsoft Active Directory 통합과 같은 주요 기능 […]

시기적절한 인사이트를 확보하고 비즈니스와 애플리케이션에서 들어오는 새로운 정보에 신속하게 대응하는 가장 좋은 방법은 스트리밍 데이터를 분석하는 것입니다. 스트리밍 데이터는 일반적으로 레코드 단위로 또는 슬라이딩 시간대에 걸쳐 순차적으로 증분 처리되어야 하며 상관 관계, 집계, 필터링 및 샘플링과 같은 다양한 분석에 사용될 수 있습니다. 오늘은 스트리밍 데이터를 더 쉽게 분석할 수 있는 Amazon Kinesis Data Analytics Studio를 […]

Amazon CloudFront 는 글로벌 엣지 로케이션 네트워크를 사용하여 짧은 지연 시간과 빠른 전송 속도로 정적 및 동적 웹 콘텐츠를 안전하게 전송하는 콘텐츠 전송 네트워크 (CDN) 서비스입니다. 오늘 부터 CloudFront에서 실시간 로그를 제공하는 새로운 기능을 발표했습니다. CloudFront 실시간 로그에는 수신하는 모든 요청에 ​​대한 자세한 정보를 포함할 수 있기 때문에 운영 시 생기는 문제에 대해 신속하게 대응할 […]

데이터를 분석할 때, 가장 먼저 취하는 방법은 일괄(Batch) 처리 모델입니다. 일정 기간 동안 데이터를 수집한 다음, 분석 도구에 넣는 것입니다. 신속히 대응하려면 스트리밍(Streaming) 모델을 사용할 수 있습니다. 이 모델에서는 데이터가 도착하는 대로 처리하거나, 한 번에 레코드 하나씩 처리하거나, 10개, 100개, 1,000개 단위의 마이크로 배치로 레코드를 처리합니다. 연속적인 입력 파이프라인을 관리하고 즉석에서 데이터를 처리하는 작업은 상당히 […]