Category: Analytics

Amazon EMR이 발표하는 Apache Spark용 Amazon EMR 실행 시간은 EMR 클러스터에서 기본적으로 활성화되는 Apache Spark를 위해 성능 최적화된 실행 시간 환경입니다. Spark용 EMR 실행 시간은 EMR 5.16보다 최대 32배 빠르며 오픈소스 Spark에 대한 100% API 호환성을 제공합니다. 즉, 워크로드가 더 빠르게 실행되므로 애플리케이션 변경 없이 컴퓨팅 비용을 절감할 수 있습니다. Amazon EMR은 EMR 5.24부터 Spark […]

Amazon Redshift를 클라우드 데이터 웨어하우스 서비스로 출시한 이후로 수만 명의 고객이 이를 사용하여 워크로드를 구축했습니다.  지난해 12월에는 3세대 RA3 노드 유형을 정식 출시하여 컴퓨팅 및 스토리지를 따로 확장하는 기능을 제공하기 시작했습니다. 이전 세대의 DS2 및 DC2 노드는 스토리지 용량이 고정되어 있어서 스토리지 용량을 늘리려면 더 많은 노드를 추가해야 했습니다. 새로운 RA3 노드에서는 워크로드를 지원하는 데 […]

Amazon Redshift에서는 테이블에서 질의한 보기(View)는 Amazon QuickSight 또는 Tableau 같은 BI(비즈니스 인텔리전스) 도구를 위해 사용할 수 있습니다. 다만,  사용 편의성과 유연성을 제공하지만 데이터 액세스의 속도를 높여 주지 않습니다. 성능이 중요한 경우, 데이터 엔지니어는 CTAS(create table as)를 사용합니다. CTAS는 질의에 의해 정의된 테이블입니다. 질의는 테이블 생성 시점에 실행되며 애플리케이션은 CTAS를 일반 테이블과 같이 사용할 수 있습니다. […]

전 세계의 많은 비즈니스 영역에서 Apache Hadoop 및 Apache Spark 과 같은 새로운 빅 데이터 처리 및 분석 프레임워크를 도입을 시도해 왔으나 이러한 기술을 온프레미스 데이터 레이크 환경에서 운영하기 위해 해결해야 하는 과제들이 있습니다. 뿐만 아니라 현재 배포 공급업체와의 장기적인 문제도 고려가 필요합니다. 이러한 문제들을 다루기 위해 AWS는 Amazon EMR 마이그레이션 가이드 (2019년 6월에 초판 게시)를 […]

Apache Spark는 사용 편의성, 빠른 성능, 메모리 및 디스크 사용률과 내결함성 등 다양한 이유로 가장 인기 있는 오픈소스 빅데이터 분석 플랫폼이 되었습니다. 이러한 기능은 인스턴스의 폐기 및 삭제가 가능한 클라우드 컴퓨팅의 개념과 매우 깊은 관련이 있습니다. Amazon EMR은 EC2 인스턴스를 사용하여 방대한 양의 데이터를 쉽고 빠르고 경제적으로 처리할 수 있는 관리형 하둡 프레임워크를 제공합니다. Amazon […]

마켓컬리는 신선식품을 이른 아침에 고객에게 전달하는 샛별 배송을 통해 한국에서 엄청난 성공을 거두고 있는 스타트업입니다. ■ 샛별 배송 서비스란? 마켓컬리의 배송 담당 기사의 업무는 저녁 8시에 시작됩니다. 이들은  출근을 하자마자 당일 배송해야 할 해당 권역의 상품을 싣습니다. 배송 관리 시스템은 마켓컬리가 고객과 약속하고 있는 ‘아침 7시까지 배송 완료’ 정책을 지킬 수 있도록 서울과 수도권 지역 […]

오늘날 AWS 고객은 복잡한 애플리케이션을 더 작은 조각으로 나누어 다양한 목적으로 구축 된 데이터베이스를 사용하여 고도로 분산 된 애플리케이션을 구축하여 올바른 작업에 적합한 툴을 선택할 수 있습니다. 데이터 저장소 및 애플리케이션의 수가 증가함에 따라 여러 데이터 소스에서 분석을 실행하는 것은 어려울 수 있습니다. 최근 AWS는 데이터 분석가, 엔지니어 및 데이터 과학자가 관계형, 비 관계형, 객체 및 맞춤형 […]

최근 기업들은 다양한 애플리케이션을 개발할 때, 요구 사항에 적합한 데이터 저장소를 사용합니다. 예를 들어, 소셜 네트워크 서비스를 만들 때는 전통적인 관계형 DB 보다는 Amazon Neptune과 같은 그래프 데이터베이스 가 가장 적합합니다. 유연한 스키마가 필요한 워크로드의 경우, Amazon DocumentDB (MongoDB 호환)이 더 적합합니다. Amazon.com의 CTO이자 부사장 인 Werner Vogels는 “하나의 데이터베이스가 여러 가지 개별 사용 사례의 요구를 모두 […]

이제 2019년도 하루 밖에 남지 않았네요! 매년 해왔던 블로그 회고 (2015년, 2016년, 2017년, 2018년)의 일환으로 이번에는 한해 동안 클라우드 기술의 흐름이 어떻게 변화했는지 살펴보고자 합니다. 제가 지난 5년간 AWS에서 일하면서, 올해 개인적으로 중요하다고 생각된 것들을 뽑아 보았는데, 혹시 내년에 여러분의 기술 자산을 채우기 위한 목표를 세운다면 어느 분야에 집중하면 좋을지 실마리가 되길 바랍니다. 1. 클라우드 […]

서울 리전을 주로 활용하시는 AWS 고객 여러분께 최근 몇 가지 주요 서비스 출시 소식을 알려드립니다. (AWS re:Invent 소식을 먼저 전해 드리는 동안 조금 늦은 점 양해 부탁드립니다.) Amazon Quantum Ledger Database (QLDB) 서울 리전 출시 (11/19) Amazon QLDB는 완전관리형 서버리스 원장 데이터베이스로, 중앙의 신뢰할 수 있는 기관이 소유하는 투명하고, 변경 불가능하며, 암호화 방식으로 검증 가능한 […]