게시된 날짜: Apr 17, 2024
이제 Amazon Data Firehose(Firehose)는 Snowflake Snowpipe Streaming과의 직접 통합 기능을 제공합니다. Firehose를 사용하면 고객이 데이터 스트림을 안정적으로 캡처하고 변환하여 Amazon S3, Amazon Redshift, Splunk 및 기타 분석을 위한 대상으로 전송할 수 있습니다. 고객은 이 새로운 기능을 통해 Kinesis Data Streams를 비롯한 여러 소스의 클릭스트림, 애플리케이션 및 AWS 서비스 로그를 Snowflake로 스트리밍할 수 있습니다. 몇 번의 클릭만으로 데이터를 Snowflake로 전송하도록 Firehose 스트림을 설정할 수 있습니다. Firehose는 기가바이트 규모의 데이터를 스트리밍할 수 있도록 자동으로 확장되며, 몇 초 내에 Snowflake에서 레코드를 사용할 수 있습니다.
Snowflake는 데이터를 Snowflake 테이블로 로드하는 두 가지 옵션인 Snowpipe와 Snowpipe Streaming을 제공합니다. Snowpipe의 경우, 고객은 파일의 데이터를 마이크로 배치로 로드할 수 있습니다. 이를 위해서는 스트림을 배치로 집계하고, 임시 스토리지에 쓴 다음, Snowflake에 로드해야 합니다. 이 다단계 프로세스는 몇 분의 지연 시간과 높은 비용을 발생시킵니다. Snowpipe Streaming을 사용하면 테이블에 데이터 행을 쓸 수 있습니다. Firehose는 Snowpipe Streaming과의 통합을 통해 사용 가능한 즉시 스트림을 레코드 단위로 전송하므로 몇 초 내에 Snowflake에서 데이터를 쿼리할 수 있습니다. 따라서 고객은 Snowflake로 스트림을 전송하는 데 드는 비용, 지연 시간 및 복잡성을 줄일 수 있습니다.