게시된 날짜: Mar 23, 2020
오늘부터 Amazon Kinesis Data Streams에서 UpdateShardCount API를 사용하여 단일 데이터 스트림에 대해 최대 10,000개 샤드까지 확장할 수 있습니다. Amazon Kinesis Data Streams를 사용하여 클릭스트림, 금융 거래, 소셜 미디어 피드 등으로부터 시간당 TB 단위의 데이터를 캡처하고 저장하며 분석할 수 있습니다. UpdateShardCount API를 사용하면 데이터 스트림의 용량을 빠르게 축소하거나 확장하여 생성 애플리케이션 또는 사용 애플리케이션을 중단하지 않고도 데이터 볼륨의 변화를 처리할 수 있습니다.
Kinesis의 1개 샤드는 1MB/s의 수신 및 2MB/s의 발신 처리량을 제공합니다. 샤드를 더 추가하면 스트림 처리량을 늘릴 수 있습니다. 전에는 UpdateShardCount API가 최대 500개 샤드까지 확장할 수 있었습니다. 오늘 발표를 통해 스트림 용량을 20배 늘어난 최대 10,000개 샤드까지 빠르게 확장할 수 있습니다. 예를 들어, 10MB/s의 처리량을 제공하는 10개 샤드가 있는 경우 전에는 최대 500개 샤드까지 확장하여 500MB/s를 수집할 수 있었습니다. 지금은 콘솔에서 단일 API 호출 또는 한 번의 클릭으로 트래픽 증가에 대한 응답으로 최대 10,000개 샤드 또는 10,000MB/s까지 확장할 수 있습니다. 그런 다음, 트래픽이 줄어들면 용량을 축소할 수 있습니다.
샤드 수 업데이트는 비동기식 작업입니다. Kinesis Data Streams는 개별 샤드에서 분할 또는 병합을 통해 샤드 수를 업데이트합니다. 확장/축소 작업을 진행하는 동안에 스트림에서의 데이터 읽기 및 쓰기 작업을 계속 수행할 수 있습니다. KPL 버전은 0.14.0 이상을 사용하고, 이 용량을 사용할 경우 KCL을 버전 1.9 이상으로 업그레이드하는 것이 좋습니다. 자세한 내용은 API 참조 설명서를 참조하십시오.
UpdateShardCount API에 대한 10,000개 샤드 증가는 모든 AWS 리전에서 사용 가능합니다.