AWS 기술 블로그
Category: Storage
동작 방식과 함께 알아보는 최적의 Amazon OpenSearch Service 사이징
서론 OpenSearch 는 Apache Lucene 검색 라이브러리로 구동되며, K-NN 검색, SQL, 이상 탐지, 전체 텍스트 검색 등 다양한 검색 및 분석 기능을 제공하는 Elasticsearch 에서 파생된 오픈 소스 입니다. 그리고 Amazon OpenSearch Service 는 OpenSearch 및 레거시 Elasticsearch OSS (7.10까지) 를 지원하는 관리형 오픈 소스 검색 엔진입니다. 이러한 OpenSearch Service 를 활용하기 위해서는 도메인이라고 불리는 […]
AWS에서 SQL Server를 위한 재해 복구 아키텍처 설계: 4부
이 글은 AWS Database Blog에 게시된 Architect a disaster recovery for SQL Server on AWS: Part 4 by Ganapathi Varma Chekuri and Baris Furtinalar을 한국어 번역 및 편집하였습니다. 이 블로그 시리즈 (1부, 2부, 3부, 4부)에서는 Amazon EC2(Amazon Elastic Compute Cloud)에서 SQL Server에 사용할 수 있는 각각의 재해 복구(DR) 솔루션을 비교하여 장단점을 알아보고 AWS에서 SQL Server […]
AWS DMS를 이용한 CDC 데이터 실시간 수집 및 분석 데이터 파이프라인 구축하기
관계형 데이터베이스(RDBMS)는 데이터를 저장하고, 분석하고자 할 때 가장 많이 사용되는 솔루션 입니다. 하지만, RDBMS로 처리하기 어려울 만큼 많은 양의 데이터를 저장하고 관리해야 하는 상황이 자주 발생합니다. 또한, MSA (마이크로 서비스아키텍처)를 도입해서 비즈니스 도메인 단위로 RDBMS를 물리적으로 격리하는 경우에 데이터 분석을 위해서 여러 RDBMS의 데이터를 한 곳에 모아서 저장하고, 관리해야할 필요가 있습니다. 즉, 데이터 레이크를 구축해서 […]
AWS 분석 서비스에서 Apache Iceberg 활용하기
What is Iceberg? Apache Iceberg는 페타바이트 기반의 데이터를 위한 오픈소스 데이터 테이블 형식으로, Netflix에서 개발하여 2020년부터 아파치 재단의 오픈소스로서 활용되었습니다. Apache Iceberg의 가장 큰 특징은 데이터 레이크에 저장된 대규모 데이터 세트를 테이블로 관리하며 Upsert, 스키마 진화, Time Travel query 등의 데이터 처리를 지원한다는 것입니다. 이러한 기능은 Apache Iceberg가 ACID를 보장하기 때문에 가능합니다. 기존의 Apache Hive […]
LucidLink와 Leostream으로 PCoIP 원격 영상 편집 시스템 구성하기
NLE(Non-linear editing)는 Post Production에서 방송 영상 편집을 위한 고성능의 NLE Workstation을 사용하여 Adobe Premiere Pro, Grass Valley Eidus 와 같은 방송사에서 사용 되는 다양한 영상 편집 솔루션을 통해 짧은 레이턴시 기반으로 전문적으로 영상을 편집할 수있습니다. 방송사의 경우, 전문적이고 큰 규모의 방송 영상 편집이 동시에 수백 개의 NLE Workstation에서 작업이 이루어질 수 있으며, 다양한 환경에서의 높아져만 […]
AWS DataSync를 활용하여 Wasabi Object Storage를 Amazon S3로 마이그레이션하기
본 게시글은 AWS Storage Blog에 게시된 ‘Migrating Wasabi Object Storage to Amazon S3 using AWS DataSync’ by Emil Richardsen Nedregård and Darryl Diosomito을 한국어 번역 및 편집하였습니다. 많은 조직이 클라우드 서비스 제공자 간에 상당한 양의 객체 데이터를 전송하는 작업에 직면하고 있으며, 이러한 데이터 전송의 배경에는 다양한 시나리오가 있습니다. 이러한 시나리오에는 데이터 통합, 워크로드 마이그레이션, 데이터 획득, […]
Amazon Macie를 활용한 민감 데이터 탐지 및 보호조치 자동화
많은 고객들이 AWS에서 각종 데이터 및 로그를 보관하고 활용하기 위해서 Amazon Simple Storage Service (S3)를 기본 스토리지로 선택합니다. S3는 안정적이면서 저렴하고 또한 간편하게 생성이 가능하여 다양한 버킷들이 활발하게 생성되고 여러 서비스와 계정에 공유되어 사용됩니다. 비지니스가 성장하면서 S3와 같은 공유 리소스에 저장되는 데이터의 양이 방대하게 늘어나고 있으며, 이로 인해 수많은 버킷에 있는 엄청난 양의 데이터들이 의도한 […]
다중 라이브 스트리밍 채널을 Amazon IVS의 썸네일기반 멀티뷰로 모니터링하기
저지연 라이브 스트리밍 방송은 쇼핑, 게임, 스포츠 등 다양한 분야에서 활용이 가능합니다. Amazon IVS (Amazon Interactive Video Service)는 저지연 대화형 라이브 스트리밍을 지원하는 서비스로 브로드캐스팅을 위한 쉬운 설정과 인제스트부터 플레이어까지 End-to-End 서비스를 제공하고 있기때문에 미디어 비즈니스를 필요로 하는 고객에게 다양한 형태로 활용되고 있습니다. 또한 Amazon IVS는 Amzon CloudWatch에서 미디어에 대한 다양한 모니터링 지표를 제공하고 있어서 […]
FSx for Netapp ONTAP을 활용한 클라우드 스토리지 비용 최적화 방안
개요 서버의 데이터가 늘어나면서 데이터를 저장하기 위한 비용이 늘어나고 워크로드의 요구사항에 맞는 스토리지를 구성할 필요가 있습니다. 기업이 이런 변화에 비용 효율적으로 대응하기 위해서 AWS의 다양한 스토리지 서비스를 검토하고 있습니다. 하지만 스토리지에서 지원하는 기능을 모르거나 구성을 제대로 하지 않아 워크로드에 맞는 스토리지 구성을 하지 못하는 경우가 있습니다. FSx for Netapp ONTAP은 AWS에서 비용 효율적으로 스토리지를 구성할 […]
Amazon EBS의 FSR을 이용해 설치형 DB 를 빠르게 스케일업 하기
부제: EBS 볼륨 초기화로 인한 성능 저하 극복 목차 신성통상의 온라인 쇼핑몰, 굿웨어몰 설치형 데이터베이스 스케일-업 성능 저하 EBS 볼륨 초기화로 인한 성능 저하 빠른 스냅샷 복원 (Fast Snapshot Restore, FSR)의 활용 빠른 스냅샷 복원 과정 빠른 스냅샷 복원 사용시 고려사항 빠른 스냅샷 복원 모니터링 방법 빠른 스냅샷 복원 사용 후 성능 변화 나가면서 신성통상의 […]