Amazon Web Services 한국 블로그

Category: Analytics

AWS Glue를 활용한 서버리스 스트리밍 ETL 기능 출시

데이터를 분석할 때, 가장 먼저 취하는 방법은 일괄(Batch) 처리 모델입니다. 일정 기간 동안 데이터를 수집한 다음, 분석 도구에 넣는 것입니다. 신속히 대응하려면 스트리밍(Streaming) 모델을 사용할 수 있습니다. 이 모델에서는 데이터가 도착하는 대로 처리하거나, 한 번에 레코드 하나씩 처리하거나, 10개, 100개, 1,000개 단위의 마이크로 배치로 레코드를 처리합니다. 연속적인 입력 파이프라인을 관리하고 즉석에서 데이터를 처리하는 작업은 상당히 […]

Amazon EMR Notebooks를 사용한 Python 라이브러리 설치 방법

작년에 AWS는 오픈소스 Jupyter 노트북 애플리케이션 기반의 관리형 노트북 환경인 Amazon EMR Notebooks를 소개했습니다.이 게시물에서는 EMR Notebooks를 사용하여 실행 중인 클러스터에서 직접 노트북 범위 라이브러리를 설치하는 방법을 알아봅니다. 이 기능이 도입되기 전에는 부트스트랩 작업에 의존하거나 사용자 지정 AMI를 사용하여 클러스터를 프로비저닝할 때 EMR AMI로 사전에 패키징되지 않은 추가 라이브러리를 설치해야 했습니다. 이 게시물에서는 EMR Notebooks […]

Amazon EMR 재구성을 통한 신속한 클러스터 수정

장기 실행 중인 Amazon EMR 클러스터를 사용하는 개발자 또는 데이터 과학자는 워크로드가 빠르게 변화하는 상황을 접하게 됩니다. 이러한 워크로드의 변화는 종종 클러스터에서 최적화된 실행을 위해 별도의 애플리케이션 구성을 필요로 합니다. 이제 재구성 기능을 사용해서 실행 중인 EMR 클러스터의 구성을 변경할 수 있습니다. EMR 릴리스 emr-5.21.0부터 이 기능을 사용해서 새 클러스터를 생성하거나 각 노드에 수동으로 SSH 접속하지 […]

Apache Spark용 Amazon EMR 런타임을 통한 질의 성능 최적화하기

Amazon EMR이 발표하는 Apache Spark용 Amazon EMR 실행 시간은 EMR 클러스터에서 기본적으로 활성화되는 Apache Spark를 위해 성능 최적화된 실행 시간 환경입니다. Spark용 EMR 실행 시간은 EMR 5.16보다 최대 32배 빠르며 오픈소스 Spark에 대한 100% API 호환성을 제공합니다. 즉, 워크로드가 더 빠르게 실행되므로 애플리케이션 변경 없이 컴퓨팅 비용을 절감할 수 있습니다. Amazon EMR은 EMR 5.24부터 Spark […]

Amazon Redshift, ra3.4xlarge 인스턴스 추가 업데이트 (서울 리전 포함)

Amazon Redshift를 클라우드 데이터 웨어하우스 서비스로 출시한 이후로 수만 명의 고객이 이를 사용하여 워크로드를 구축했습니다.  지난해 12월에는 3세대 RA3 노드 유형을 정식 출시하여 컴퓨팅 및 스토리지를 따로 확장하는 기능을 제공하기 시작했습니다. 이전 세대의 DS2 및 DC2 노드는 스토리지 용량이 고정되어 있어서 스토리지 용량을 늘리려면 더 많은 노드를 추가해야 했습니다. 새로운 RA3 노드에서는 워크로드를 지원하는 데 […]

쿼리 실행의 속도를 높여 주는 Amazon Redshift 구체화 보기 기능 출시

Amazon Redshift에서는 테이블에서 질의한 보기(View)는 Amazon QuickSight 또는 Tableau 같은 BI(비즈니스 인텔리전스) 도구를 위해 사용할 수 있습니다. 다만,  사용 편의성과 유연성을 제공하지만 데이터 액세스의 속도를 높여 주지 않습니다. 성능이 중요한 경우, 데이터 엔지니어는 CTAS(create table as)를 사용합니다. CTAS는 질의에 의해 정의된 테이블입니다. 질의는 테이블 생성 시점에 실행되며 애플리케이션은 CTAS를 일반 테이블과 같이 사용할 수 있습니다. […]

[기술 백서] Amazon EMR 마이그레이션 가이드

전 세계의 많은 비즈니스 영역에서 Apache Hadoop 및 Apache Spark 과 같은 새로운 빅 데이터 처리 및 분석 프레임워크를 도입을 시도해 왔으나 이러한 기술을 온프레미스 데이터 레이크 환경에서 운영하기 위해 해결해야 하는 과제들이 있습니다. 뿐만 아니라 현재 배포 공급업체와의 장기적인 문제도 고려가 필요합니다. 이러한 문제들을 다루기 위해 AWS는 Amazon EMR 마이그레이션 가이드 (2019년 6월에 초판 게시)를 […]

Amazon EC2 스팟 인스턴스를 통한 EMR 기반 Apache Spark 활용 10가지 모범 사례

Apache Spark는 사용 편의성, 빠른 성능, 메모리 및 디스크 사용률과 내결함성 등 다양한 이유로 가장 인기 있는 오픈소스 빅데이터 분석 플랫폼이 되었습니다. 이러한 기능은 인스턴스의 폐기 및 삭제가 가능한 클라우드 컴퓨팅의 개념과 매우 깊은 관련이 있습니다. Amazon EMR은 EC2 인스턴스를 사용하여 방대한 양의 데이터를 쉽고 빠르고 경제적으로 처리할 수 있는 관리형 하둡 프레임워크를 제공합니다. Amazon […]

마켓컬리, AWS 기반 신선 식품 샛별 배송 서비스 구현 사례

마켓컬리는 신선식품을 이른 아침에 고객에게 전달하는 샛별 배송을 통해 한국에서 엄청난 성공을 거두고 있는 스타트업입니다. ■ 샛별 배송 서비스란? 마켓컬리의 배송 담당 기사의 업무는 저녁 8시에 시작됩니다. 이들은  출근을 하자마자 당일 배송해야 할 해당 권역의 상품을 싣습니다. 배송 관리 시스템은 마켓컬리가 고객과 약속하고 있는 ‘아침 7시까지 배송 완료’ 정책을 지킬 수 있도록 서울과 수도권 지역 […]

Amazon RDS 스냅샷, Parquet 포맷 기반 Amazon S3 내보내기 기능 출시

오늘날 AWS 고객은 복잡한 애플리케이션을 더 작은 조각으로 나누어 다양한 목적으로 구축 된 데이터베이스를 사용하여 고도로 분산 된 애플리케이션을 구축하여 올바른 작업에 적합한 툴을 선택할 수 있습니다. 데이터 저장소 및 애플리케이션의 수가 증가함에 따라 여러 데이터 소스에서 분석을 실행하는 것은 어려울 수 있습니다. 최근 AWS는 데이터 분석가, 엔지니어 및 데이터 과학자가 관계형, 비 관계형, 객체 및 맞춤형 […]