AWS 기술 블로그
Category: Storage
병렬 파일시스템은 무엇이고 왜 필요할까?
지난 몇 차례의 블로그 게시를 통해, AWS 클라우드 환경에서 HPC 클러스터를 구성하는 핵심 요소인 EC2 인스턴스와 이들을 연결하는 고속 네트워크 인터페이스인 EFA(Elastic Fabric Adaptor)에 대해 소개하였습니다. 이제 HPC 클러스터의 마지막 핵심 요소인 스토리지에 대해 알아보겠습니다. 앞으로 4회에 걸쳐 병렬 파일시스템의 개념과 AWS의 완전관리형 병렬 파일시스템인 Amazon FSx for Lustre를 소개해드리겠습니다. 첫 번째 글에서는 HPC 환경에서 […]
Amazon S3 데이터 레이크와 기계학습을 위한 Snowflake 통합 파이프라인 플랫폼 구축하기
인공지능과 기계학습 기술의 상용화로, 기업들은 대량의 데이터를 효과적으로 수집, 저장, 관리할 필요성을 점차 인식하고 있습니다. 데이터 레이크(Data Lake)는 이러한 필요성에 부응하여, 다양한 소스로부터 대규모의 데이터를 실시간으로 수집하고 저장함으로써 기업의 의사결정과 혁신을 지원합니다. 이제 데이터 레이크는 기업이 데이터 자산을 최대한 활용하고 비즈니스 가치를 창출하는 핵심 요소로 자리 잡고 있습니다. 정형, 반정형, 비정형 데이터 등 다양한 유형의 […]
Amazon S3 Metadata를 Amazon Athena와 Amazon Quicksight로 분석하기
이 글은 AWS Storage Blog에 게시된 Analyzing Amazon S3 Metadata with Amazon Athena and Amazon QuickSight by Lokesh AP, Tom Bailey, Huey Han, Lee Kear, Fabio Lattanzi, and Roohi Sood를 한국어 번역 및 편집하였습니다. 오브젝트 스토리지는 사실상 무제한의 확장성을 제공하지만 수십억 개, 심지어 수조 개의 오브젝트를 관리하는 데는 상당한 어려움이 따를 수 있습니다. 어떤 데이터가 있는지 어떻게 알 수 […]
AWS IoT 자격 증명 공급자로 안전하게 IoT 디바이스에서 Amazon S3로 파일 업로드 하기
사물인터넷(IoT)의 발전이 눈부시게 진행되면서, 우리 주변에 연결된 기기들은 빠르게 증가하고 이로 인해 생성되는 데이터 또한 폭발적으로 늘어나고 있습니다. 이런 데이터의 바다 속에서 비즈니스적 가치를 찾기 위해서는 안정적으로 원하는 데이터를 취득하는 것이 중요합니다. IoT 디바이스는 수많은 형태의 데이터를 생성해 내고 있으며, AWS 에서는 AWS IoT Core를 통해 이러한 다양한 센서와 기기 정보 데이터의 안정적이고 보안적인 수집을 […]
빗썸의 AWS Systems Manager를 활용한 전사 EC2 보안 진단 자동화 구축 사례 2부: 중앙화된 EC2 보안 진단 자동화 아키텍처 구축
빗썸은 2014년 서비스 개시 이후, 전 세계 거래량 1위를 기록하며 신뢰받는 가상자산 거래소로 성장했습니다. 과거에는 가상자산 거래 플랫폼 구축, 운영, 블록체인 기술 분야에서 세계 최고 수준의 경쟁력과 노하우를 쌓았다면, 앞으로는 글로벌 디지털 금융 플랫폼의 미래를 선도하고자 합니다. 또한, 빗썸 보안실에선 최첨단 보안 시스템을 바탕으로 사용자 자산 보호와 거래 안전성을 최우선으로 보장하고 있습니다. 빗썸과 같이 EC2 […]
AWS Backup으로 중요 Amazon EBS 볼륨 데이터를 안전하게 보호하기
이 글은 AWS Storage Blog에 게시된 Protecting your critical Amazon EBS volumes using AWS Backup by Hana Do 를 한국어 번역 및 편집하였습니다. 많은 기업들이 Amazon Elastic Block Store(Amazon EBS)와 같은 블록 스토리지를 미션 크리티컬 워크로드에 사용합니다. 데이터베이스, ERP 시스템, 실시간 분석과 같은 까다로운 애플리케이션에 필요한 높은 성능, 낮은 지연 시간 및 안정적인 데이터 액세스를 […]
Amazon Bedrock Gallery: AI가 그리는 당신의 전생 이야기
AWS Seoul Summit 2024은 올해로 10주년을 맞이한 국내 최대 규모의 IT 컨퍼런스입니다. 이번 Summit에서는 생성형 AI와 AWS 서비스를 활용해 새로운 아이디어를 탐색하고 이를 신속하고 효율적으로 실행하는 방법을 소개하는 다양한 콘텐츠가 준비되었으며, 많은 고객들이 참여했습니다. 이 블로그에서는 AWS 서비스를 직접 체험해 볼 수 있는 Expo 현장에서 참가자들에게 특별하고 재미있는 경험을 제공했던 “Amazon Bedrock Gallery” 데모의 아키텍처 […]
Amazon Data Firehose를 활용한 실시간 OLTP to ICEBERG 구현하기
배경 기존의 빅데이터 프레임워크, 특히 HIVE 기반의 데이터레이크를 클라우드 환경에서 구성 할 경우 큰 규모의 데이터를 저장하고 분석하는 데 있어 효율적입니다. 그러나 트랜잭션을 지원하지 않는 관계로 데이터의 복잡성이 증가 할 경우 성능 저하 및 운영 복잡성을 초래할 수 있습니다. 이러한 기존의 데이터레이크의 한계를 극복하기 위해 오픈 테이블 포맷인 Apache Iceberg가 등장했습니다. Apache Iceberg는 스냅샷 기반의 […]
Amazon EC2 가속 컴퓨팅 인스턴스 활용하기 – 파트 2 – AWS ParallelCluster
서론 “Amazon EC2 가속 컴퓨팅 인스턴스 활용하기” 블로그 시리즈는 Amazon EC2의 가속 컴퓨팅 인스턴스와 AWS에서 제공되는 다양한 리소스를 이용하여, 멀티 노드 가속 컴퓨팅 환경을 쉽게 구축할 수 있는 방법에 대해서 알아 봅니다. 블로그는 아래와 같이 3개의 시리즈로 구성이 되어 있으며, “Amazon EC2 가속 컴퓨팅 인스턴스 활용하기 – 파트 1 – AWS Deep Learning AMI (DLAMI)”에서 […]
뉴넥스의 AWS 서비스를 활용한 검색 시스템 구축과 운영 사례
소개 뉴넥스(NEWNEX)는 2014년에 설립된 패션 이커머스 플랫폼 기업으로, IT 기술을 활용해 커머스와 물류 인프라를 통합하여 ‘하루배송’과 같은 최적의 쇼핑 경험을 제공하고 있습니다. 현재 1020 여성 패션 플랫폼 ‘브랜디’, 남성 쇼핑 플랫폼 ‘하이버’, 여성 브랜드 패션 플랫폼 ‘서울스토어’를 운영 중이며, 판매자에게 물류와 운영을 지원하는 통합 서비스인 ‘헬피’도 제공하고 있습니다. 뉴넥스는 2024년 기준 누적 거래액 1.8조 원, […]