Category: Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Amazon Managed Streaming for Apache Kafka(Amazon MSK)은 스트리밍 데이터를 처리하는 방식을 단순화하는 완전관리형 고가용성 Apache Kafka 서비스를 제공합니다. Apache Kafka 사용 시 일반적인 아키텍처 패턴은 한 클러스터에서 다른 클러스터로 데이터를 복제하는 것입니다. 클러스터 간 복제는 종종 AWS 리전 전역에서 비즈니스 연속성 및 재해 복구 계획을 구현하고 애플리케이션 복원력을 높이는 데 사용됩니다. 다중 리전 애플리케이션 구축 […]

오늘 Amazon Managed Streaming for Apache Kafka(Amazon MSK)의 새로운 기능인 Apache Kafka 클러스터에서 Amazon Simple Storage Service(S3)으로 데이터를 지속적으로 로드할 수 있는 기능을 발표합니다.   이제 추출, 전환, 적재(ETL) 서비스인 Amazon Kinesis Data Firehose를 사용하여 Kafka 주제에서 데이터를 읽고 레코드를 변환하며 Amazon S3 대상에 씁니다. Kinesis Data Firehose는 완전 관리형으로 콘솔에서 몇 번의 클릭만으로 구성할 수 […]

10년 전, 제가 AWS에 입사한 지 불과 몇 달 만에 Amazon Redshift가 출시되었습니다. 수년에 걸쳐 성능을 개선하고 더 쉽게 사용할 수 있게 많은 기능을 추가했습니다. Amazon Redshift를 사용하면 이제 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에 걸쳐 구조화된 데이터와 반정형 데이터를 분석할 수 있습니다. 최근에는 데이터 웨어하우스 인프라를 관리하지 않고도 분석을 쉽게 실행하고 확장할 수 […]

오늘 AWS는 Amazon MSK 서버리스를 정식 출시합니다. 서버 용량 계획 및 확장을 AWS에게 맡기고 Apache Kafka 클러스터 관리에서 발생하는 운영 오버헤드를 더 많이 줄일 수 있도록 지원합니다. 2019년 5월에는 고객이 Apache Kafka를 사용하여 데이터를 스트리밍할 수 있도록 지원하기 위해 Apache Kafka용 Amazon 관리형 스트리밍을 출시했습니다. Apache Kafka는 고객이 클릭스트림 이벤트, 트랜잭션 및 IoT 이벤트와 같은 […]

Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 애플리케이션 구축을 위한 오픈 소스 플랫폼입니다. re:Invent 2018에서 AWS는 스트리밍 데이터의 프로세싱을 위해 Apache Kafka를 사용하는 애플리케이션을 쉽게 구축 및 실행할 수 있게 해 주는 완전관리형 서비스인 Amazon Managed Streaming for Apache Kafka를 발표했습니다. Apache Kafka를 사용하면 IoT 디바이스, 데이터베이스 변경 이벤트 및 웹 사이트 클릭스트림과 같은 소스로부터 […]

데이터를 분석할 때, 가장 먼저 취하는 방법은 일괄(Batch) 처리 모델입니다. 일정 기간 동안 데이터를 수집한 다음, 분석 도구에 넣는 것입니다. 신속히 대응하려면 스트리밍(Streaming) 모델을 사용할 수 있습니다. 이 모델에서는 데이터가 도착하는 대로 처리하거나, 한 번에 레코드 하나씩 처리하거나, 10개, 100개, 1,000개 단위의 마이크로 배치로 레코드를 처리합니다. 연속적인 입력 파이프라인을 관리하고 즉석에서 데이터를 처리하는 작업은 상당히 […]