Amazon Web Services 한국 블로그

Category: Amazon Data Firehose

Amazon Data Firehose, Apache Iceberg 테이블로 DB 변경 사항 복제 기능 제공 (미리보기)

오늘은 PostgreSQL, MySQL과 같은 데이터베이스의 변경 사항을 캡처하고 Amazon Simple Storage Service(Amazon S3) 기반 Apache Iceberg 테이블에 업데이트를 복제하는 Amazon Data Firehose의 새로운 기능이 미리보기로 출시되었습니다. Apache Iceberg는 빅 데이터 분석을 수행하기 위한 고성능 오픈 소스 테이블 형식입니다. Apache Iceberg는 SQL 테이블의 신뢰성 및 단순성을 S3 데이터 레이크에 제공하고 Apache Spark, Apache Flink, Trino, Apache […]

Amazon MSK, Kinesis Data Firehose를 통해 Kafka 토픽 S3 전송 기능 출시

오늘 Amazon Managed Streaming for Apache Kafka(Amazon MSK)의 새로운 기능인 Apache Kafka 클러스터에서 Amazon Simple Storage Service(S3)으로 데이터를 지속적으로 로드할 수 있는 기능을 발표합니다.   이제 추출, 전환, 적재(ETL) 서비스인 Amazon Kinesis Data Firehose를 사용하여 Kafka 주제에서 데이터를 읽고 레코드를 변환하며 Amazon S3 대상에 씁니다. Kinesis Data Firehose는 완전 관리형으로 콘솔에서 몇 번의 클릭만으로 구성할 수 […]

Amazon OpenSearch Service를 활용한 4가지 관측성 및 분석 가상 시나리오 솔루션 알아보기

이 글은 2023년 5월 17일부터 7월 27일 까지 진행된 Amazon OpenSearch Bootcamp for Partners 참가자들이 가상의 시나리오를 바탕으로 개발한 솔루션을 AWS 고객의 비즈니스 문제 해결에 도움을 드리기 위해 작성되었습니다. OpenSearch는 검색, 분석, 보안 모니터링 및 관측용 애플리케이션을 위한 확장성있고 유연한 오픈 소스 소프트웨어 제품군으로 아파치 2.0 라이센스 정책을 따릅니다. 대기 시간이 짧은 검색 및 집계 […]

Amazon Lookout for Equipment로 설비 데이터 실시간 전송하기

설비의 가동률을 높이려고 하는 많은 제조 기업들이 제조 설비에 부착된 센서를 통해서 설비 이상 예측을 하기 위해서 대용량 센서 데이터를 모니터링하고 있습니다. 하지만, 많은 수의 센서를 사람이 직접 보고 설비의 이상 유무를 판단하는 것은 한계가 있습니다. 설비 이상 예측을 성공적으로 구현하려면 많은 기계 센서에서 수집된 특정 데이터를 기계학습(ML)에 적용하여 매우 정확한 예측을 수행해야 합니다. 그러나 […]

Amazon FSx for Windows File Server – 파일 액세스 감사 기능 출시 (서울 리전 포함)

Amazon FSx for Windows File Server는 업계 표준 SMB(Server Message Block) 프로토콜을 통해 액세스할 수 있는 완전관리형 파일 스토리지를 제공합니다. 또한 Windows Server를 기반으로 하며, AWS에서 기대할 수 있는 확장성, 안정성, 낮은 비용으로 다양한 엔터프라이즈 스토리지 기능 세트를 제공합니다. 이제 AWS 팀은 사용자 할당량, 최종 사용자 파일 복원, Microsoft Active Directory 통합과 같은 주요 기능 […]

Amazon CloudFront 실시간 로그 기능을 통한 대시 보드 생성하기

Amazon CloudFront 는 글로벌 엣지 로케이션 네트워크를 사용하여 짧은 지연 시간과 빠른 전송 속도로 정적 및 동적 웹 콘텐츠를 안전하게 전송하는 콘텐츠 전송 네트워크 (CDN) 서비스입니다. 오늘 부터 CloudFront에서 실시간 로그를 제공하는 새로운 기능을 발표했습니다. CloudFront 실시간 로그에는 수신하는 모든 요청에 ​​대한 자세한 정보를 포함할 수 있기 때문에 운영 시 생기는 문제에 대해 신속하게 대응할 […]