AWS 기술 블로그

Category: Storage

리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기

리멤버앤컴퍼니 소개 리멤버앤컴퍼니는 대한민국 직장인 500만 명 이상이 사용하는 국내 대표 비즈니스 플랫폼입니다. ‘일하는 사람과 기회를 연결한다’는 미션 아래 개인에게는 명함 관리, 커리어 관리, 비즈니스 인물 검색 플랫폼 ‘리멤버 커넥트’, 커뮤니티 서비스 등을 통한 성장의 기회를 제공하고, 기업 대상으로는 인재 채용과 고객 발굴의 생산성을 높이는 B2B 솔루션을 제공하며 독보적인 비즈니스 생태계를 구축해 나가고 있습니다. 수준 […]

리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 2부: S3 Tables를 프로덕션 환경에서 운영하기

1부에서는 CDC를 활용해 Amazon S3 Tables 기반 데이터 레이크 구축 과정을 다뤘습니다. 이번 2부에서는 실제 운영 시 주의해야 할 사항과 함께, Compaction 전략, Snapshot 관리, 모니터링 전략, 그리고 분석 엔진 선택에 대해 정리해 보겠습니다. Amazon S3 Tables Maintenance 개요 Amazon S3 Tables는 관리형 Iceberg 테이블로, 일반적인 Iceberg 테이블과 동일하게 성능과 스토리지 효율을 위해 일정한 관리가 […]

대규모 EC2 환경에서의 운영 전략 : EBS Initialization 자동화 MCP 서버 구현 및 연동

개요 2025년 7월 AWS가 EBS 볼륨 초기화 상태에 대한 가시성을 제공하기 시작하면서, 사용자들은 실제 초기화 진행 상황을 직접 모니터링할 수 있게 되었습니다. Amazon EBS 볼륨 초기화는 스냅샷에서 생성된 볼륨의 모든 블록을 미리 읽어 후속 I/O 작업의 지연을 방지하는 필수 프로세스입니다. 그러나 AWS의 기본 초기화 과정은 예측 불가능한 소요 시간으로 인해 서비스 배포 지연을 야기하며, Amazon […]

클라우드 시대의 제조업 혁신: AWS 기반 PLM 솔루션의 이점

이 글은 AWS for Industries에 게시된 The Benefits of PLM on AWS for Manufacturers by Chandan Murthy, Tilman Schroeder, and Yue Ning을 한국어 번역 및 편집하였습니다. 서론 제조업체들은 제품 품질 향상, 효과적인 협업, 개발 비용 절감, 시장 출시 시간 단축과 같은 핵심 이점을 위해 제품 수명주기 관리(PLM) 소프트웨어를 활용하고 있습니다. AWS 기반 PLM 솔루션은 기업이 […]

Amazon S3 Vectors와 Amazon OpenSearch Service로 벡터 검색 최적화하기

본 게시글은 AWS Big Data Blog에 게시된 ‘Optimizing vector search using Amazon S3 Vectors and Amazon OpenSearch Service by Sohaib Katariwala, Bobby Mohammed, Sorabh Hamirwasia, Mark Twomey, and Pallavi Priyadarshini’을 한국어 번역 및 편집하였습니다. 참고: 본 블로그 내용은 7월 15일 기준으로, Amazon S3 Vectors와 Amazon OpenSearch Service의 통합 기능은 프리뷰 버전으로, 변경될 수 있습니다. 벡터 임베딩(Vector Embeddings)과 유사성 검색(Similarity […]

Amazon Q Developer를 사용한 AWS Elastic Disaster Recovery 실시간 모니터링

이 글은 AWS Storage Blog에 게시된 Real-time monitoring of AWS Elastic Disaster Recovery using Amazon Q Developer을 한국어 번역 및 편집 하였습니다. 실시간으로 워크로드를 모니터링하고 관리하는 능력은 복원력 목표를 달성할 수 있도록 보장하는 기본 요구사항입니다. 주요 사용자 활동과 중요한 비즈니스 기능의 성능에 대한 가시성을 확보하면 비즈니스 운영에 영향을 줄 수 있는 이벤트에 대한 자동화된 응답을 […]

GS리테일의 Amazon Bedrock을 활용한 AI 와인 라벨 이미지 검색 서비스 구축

GS리테일은 전국 18,000여 개의 편의점 GS25와 슈퍼마켓 GS더프레시를 운영하는 대한민국 대표 유통 기업입니다. 특히 우리동네GS 앱을 통해 제공되는 와인25플러스 서비스는 1만여 종의 다양한 주류를 언제 어디서나 예약/픽업할 수 있는 주류 특화 서비스로 고객들에게 큰 호응을 얻고 있습니다. 복잡한 와인 라벨 해석의 어려움을 해결하기 위해 GS리테일은 Amazon Bedrock을 활용한 AI 와인 이미지 라벨 검색 서비스를 개발했습니다. 고객이 […]

Amazon Bedrock을 활용한 (주)레듀텍의 독서 교육 콘텐츠 생성 자동화 시스템 구축

에듀테크 산업에서 양질의 교육 콘텐츠를 지속적으로 생산하는 것은 중요한 과제입니다. 특히 독서 교육 분야에서는 다양한 도서에 대한 맞춤형 문제와 활동을 개발하는 데 상당한 시간과 인력이 소요됩니다. (주)레듀텍(Redutec, Inc.)은 한글을 읽을 수 있는 유아부터 중등 학생을 대상으로 독서교육 서비스 리딩오션을 제공하는 에듀테크 기업입니다. 본 글에서는 레듀텍이 Amazon Bedrock을 활용하여 독서 교육 콘텐츠 생성 과정을 자동화하고 운영 […]

AWS IoT 서비스를 활용한 닥터애그의 통합 스마트팜 플랫폼 구축 사례

버섯 스마트팜 비즈니스를 선도하는 닥터애그(Doctor AG)는 단순한 버섯 생산 기업을 넘어 농업기술기업(AgTech Company)으로 빠르게 전환하고 있는 국내 대표 농업회사법인입니다. 앵커에퀴티파트너스 포트폴리오 기업인 닥터애그는 버섯 종균 생산부터 배지 제조·재배·유통까지 전 과정을 직접 통합 관리하는가 동시에 스마트팜 솔루션을 독자적으로 기획·개발·운영하는 국내 유일 수준의 사례를 구현하고 있습니다. 팽이버섯·새송이버섯·표고버섯·느타리버섯 등의 맞춤형 생산 프로세스를 갖춰 품질과 효율 극대화를 통한 버섯 산업 전반의 경쟁력 향상과 비용 절감을 실현하고 있습니다. 주력 품목인 팽이버섯을 포함해 전체 버섯 생산을 연간 28,300톤 생산을 달성하고 있으며, 새송이버섯, […]

Apache Iceberg Table Management작업에서 발생하기 쉬운 Amazon S3 이슈 분석과 해결 방안

AWS에서 Apache Iceberg 테이블을 운영하며 테이블에 대한 유지보수 작업을 Apache Spark 혹은 Amazon EMR, AWS Glue를 통해 수행하는 경우가 많습니다. 특히 쿼리 성능 및 스토리지 사용량에 대한 최적화 혹은 Snapshot 관리를 위하여  expire_snapshots, remove_orphan_files , rewrite_manifests와 같은 Iceberg table의 metadata를 관리하기 위한 Spark procedure들을 사용하게 됩니다. 실제 고객 사례에서 Table management를 위한 Procedure 사용 중 몇가지 이슈를 […]