게시된 날짜: Jan 19, 2024
이제 Amazon Kinesis Data Firehose(Firehose)는 Snowflake Snowpipe Streaming과의 직접 통합 기능을 평가판으로 제공합니다. Firehose를 사용하면 고객이 데이터 스트림을 안정적으로 캡처하고 변환하여 Amazon S3, Amazon Redshift, Splunk 및 기타 분석을 위한 대상으로 전송할 수 있습니다. 고객은 이 새로운 기능을 통해 Kinesis Data Streams를 비롯한 여러 소스의 클릭스트림, 애플리케이션 및 AWS 서비스 로그를 Snowflake로 스트리밍할 수 있습니다. 몇 번의 클릭만으로 데이터를 Snowflake로 전송하도록 Firehose 스트림을 설정할 수 있습니다. Firehose는 기가바이트 규모의 데이터를 스트리밍할 수 있도록 자동으로 확장되며, 몇 초 내에 Snowflake에서 레코드를 사용할 수 있습니다.
Snowflake는 데이터를 Snowflake 테이블로 로드하는 두 가지 옵션인 Snowpipe와 Snowpipe Streaming을 제공합니다. Snowpipe의 경우, 고객은 파일의 데이터를 마이크로 배치로 로드할 수 있습니다. 이를 위해서는 스트림을 배치로 집계하고, 임시 스토리지에 쓴 다음, Snowflake에 로드해야 합니다. 이 다단계 프로세스는 몇 분의 지연 시간과 높은 비용을 발생시킵니다. Snowpipe Streaming을 사용하면 테이블에 데이터 행을 쓸 수 있습니다. Firehose는 Snowpipe Streaming과의 통합을 통해 사용 가능한 즉시 스트림을 레코드 단위로 전송하므로 몇 초 내에 Snowflake에서 데이터를 쿼리할 수 있습니다. 따라서 고객은 Snowflake로 스트림을 전송하는 데 드는 비용, 지연 시간 및 복잡성을 줄일 수 있습니다.
Firehose와 Snowflake의 통합 기능은 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 유럽(아일랜드) AWS 리전에서 평가판으로 제공됩니다. 자세히 알아보고 시작하려면 Amazon Kinesis Data Firehose 설명서, 요금 및 콘솔로 이동하세요. 평가판 기능은 평가 및 테스트를 위해 제공되며, 프로덕션 시스템에서 사용해서는 안 됩니다. 이용 약관은 AWS 서비스 약관의 베타 서비스 참여 섹션을 참조하세요.