Amazon MSK Express 브로커, 이제 Apache Kafka 데이터를 Amazon S3로 전송
Amazon MSK Express 브로커는 이제 Amazon S3 범용 버킷으로 데이터를 전송하며, Apache Kafka 데이터를 Amazon S3에 전달하여 하위 프로세스를 가장 쉽고 안정적으로 처리할 수 있는 완전관리형 기능입니다. 이 기능은 미션 크리티컬 워크로드에 필요한 엔드 투 엔드 신뢰성을 바탕으로 높은 처리량의 Kafka 데이터를 S3에 전송하기 위해 자동으로 규모를 조정하며, 셀프 매니지드 방식에 비해 수집 및 전송 비용을 최대 60% 절감합니다.
고객은 로그 아카이빙, 규정 준수 보존, Kafka 재생, AI/ML 모델 학습 등의 사용 사례를 위해 Apache Kafka 데이터를 Amazon S3에 전송합니다. 일반적으로 이러한 파이프라인은 셀프 매니지드 커넥터를 사용하여 구축하지만, 워크로드 규모 조정에 따라 비용과 운영 복잡성이 증가합니다. 따라서 팀은 S3 커넥터 플러그인을 구축하거나 소싱하고, 배포 승인을 확보하고, 지속적으로 용량 규모를 조정하고, 커넥터 플릿에 보안 업데이트를 적용해야 합니다. 이 기능을 통해 MSK Express가 규모 조정, 재시도, 배압을 자동으로 처리하므로 고객은 더 이상 커넥터 플릿을 관리하거나 팀 간 조율을 할 필요가 없습니다. MSK Express는 Amazon S3로 데이터를 전송할 때 최대 10GB/s의 처리량을 지원하고, 전송 격차 없이 용량 조정과 버전 업그레이드 같은 일상적인 작업을 관리합니다. 또한 고객은 추가 브로커 송신 처리량을 프로비저닝하지 않고도 이 전송 기능을 추가할 수 있으므로 커넥터 기반 파이프라인 확장에 일반적으로 발생하는 추가 인프라 비용이 발생하지 않습니다. 따라서 고객은 피크 시간대에 대비하여 프로비저닝하는 대신, 실제 워크로드 수요에 맞춰 전송 규모를 조정하여 운영 오버헤드를 제거하고 비용을 절감하면서 안정적으로 Amazon S3로 높은 처리량을 전송할 수 있습니다.
현재 Amazon MSK Express 브로커가 제공되는 모든 AWS 리전에서 Amazon S3로 Amazon MSK 데이터를 전송할 수 있습니다. 요금 정보는 요금 페이지를 참조하세요. 자세히 알아보려면 Amazon MSK 개발자 안내서 및 Amazon MSK AI 스킬을 참조하세요.