Amazon Web Services 한국 블로그

Category: Analytics

Amazon Elasticsearch Service, VPC 지원 기능 출시

지난주 Amazon VPC 내부에서 NAT 인스턴스나 인터넷 게이트웨이 없이도 Amazon Elasticsearch Service 도메인에 접속할 수 있습니다. Amazon ES용 VPC 지원은 구성하기 쉽고 안정적이면서도 보안이 한층 강화되어 있습니다. VPC 지원을 통해 다른 서비스와 Amazon ES 간 트래픽이 퍼블릭 인터넷과 분리된 AWS 네트워크 내에 완전히 유지됩니다. 기존 VPC 보안 그룹을 사용하여 네트워크 액세스를 관리하고, AWS Identity and […]

Read More

Apache Flink를 이용한 AWS기반 실시간 스트림 처리 파이프라인 구성하기

오늘날 비즈니스 환경에서, 다양한 데이터 소스의 꾸준한 증가에 맞추어 데이터는 계속적으로 생성되고 있습니다. 따라서, 원시 데이터의 대규모 스트림을 통해 실행 가능한 통찰력을 얻기 위한 데이터를 지속적으로 수집하고, 저장하고, 처리하는 능력을 갖춘다는 것은 조직의 경쟁력 측면에서 장점이라 하겠습니다. Apache Flink는 스트림 프로세싱 파이프라인의 기반을 갖추는 데 매우 적합한 오픈소스 프로젝트 입니다. 스트리밍 데이터의 지속적인 분석에 적합한 […]

Read More

AWS Glue 정식 출시 – 완전 관리형 ETL 서비스

오늘 AWS Glue 서비스가 정식 출시되었습니다. AWS Glue는 완전 관리형, 서버리스 기반 클라우드 데이터 추출, 변환 및 로드 (ETL) 서비스입니다. 이 서비스는 몇 가지 매우 중요한 방식으로 다른 ETL 서비스 및 소프트웨어 플랫폼과 다릅니다. 첫째, Glue는 “서버가 필요하지 않습니다.” 어떤 인프라 자원도 프로비저닝하거나 관리 할 필요가 없으며, Glue 실행될 때만 비용을 지불합니다. 둘째, Glue는 많은 […]

Read More

Amazon Athena – 10가지 성능 향상 팁

Amazon Athena는 표준 SQL을 통해 Amazon S3에 저장된 데이터를 쉽게 분석 할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스(Serverless) 서비스로서, 관리해야 할 분석 서버 인프라가 없으며, 실행 쿼리에 대해서만 비용을 지불하고, 사용 방법도 매우 쉽습니다. Amazon S3에 있는 데이터 파일을 지정하고, 이에 대한 스키마를 정의한 후, 표준 SQL을 사용하여 쿼리를 하기만 하면 됩니다. 이 블로그 […]

Read More

Amazon EMR 인스턴스 집합(Instance Fleets) 기능 출시!

인스턴스 집합(instance fleets) 기능이 Amazon EMR 클러스터에서도 사용할 수 있습니다. 이는 인스턴스 프로비저닝과 관련된 다양한 옵션과 스마트한 기능을 제공합니다. 5개 인스턴트 타입에 대해 가중치 기반 컴퓨팅 용량 및 스팟 인스턴스 가격 입찰을 할 수 있습니다. EMR 클러스터를 만들 때, 이들 인스턴스 유형에 대해 온-디멘드 및 스팟 용량을 자동으로 제공합니다. 이를 통해 클러스터에 원하는 용량을 신속하게 […]

Read More

AWS 3월 온라인 세미나 – 서버리스 IoT, Amazon EMR, Active Directory on AWS

AWS 클라우드를 아껴주시는 한국 고객 분들을 위해 지속적으로 AWS 월간 웨비나 시리즈를 진행하고 있습니다. 이번 3월 웨비나에서는 AWS 클라우드 소개, 서버리스 IoT 서비스 백엔드 및 Windows Active Directory, 빅데이터 분석 서비스인 Amazon EMR  심층 분석 등 다양한  온라인 세미나를 준비하였습니다. 관심 있는 분들의 많은 참여를 바랍니다. 온라인 세미나 일정 비지니스 기초 | AWS와 함께하는 클라우드 […]

Read More

Amazon Athena 초간단 사용기

지난 2016년 11월 28일부터 12월 2일에 걸쳐 개최된 글로벌 컨퍼런스 AWS re:Invent 2016에서는 20여개가 넘는 신규 기능 및 서비스가 발표되었습니다. 크게 나눠 보았을때 기존 서비스에 추가된 기능(새로운 EC2 타입 등)을 제외한다면 가장 많은 주목을 받은 부분은 딥러닝에 기반한 인공 지능 서비스(Amazon Rekognition, Polly, Lex 등)들과 데이터에 기반한 분석 서비스였습니다. 이 중 기존에 인프라나 비즈니스 운영을 […]

Read More

Amazon QuickSight Enterprise Edition 정식 출시

2015년 처음으로 Amazon QuickSight 에 대해 소개하면서 Standard 및 Enterprise 버전 서비스에 대해 알려드렸습니다. 그리고, 지난 달 Amazon QuickSight의 Standard Edition을 출시했고, 오늘은 Enterprise Edition을 출시합니다. Standard Edition의 기능 외에도 Enterprise Edition에는 Active Directory와 통합 및 데이터 암호화 (Encryption at Rest)가 구현되어 있습니다. Enterprise Edition 소개 Enterprise Edition은 AWS 매니지드 서비스로 제공하는 AWS Managed Microsoft […]

Read More

Amazon Athena – 초단위 페타바이트급 동적 데이터 질의 서비스

(과거 1.44MB 플로피 디스크를 썼던 경험이 무색하게) 매일 우리는 매우 빠른 데이터량 성장에 놀라게 됩니다. 일상적으로 대량의 로그를 쌓고 질의하는 작업과 정형 혹은 반정형 데이터의 크기는 이미 페타바이트 규모입니다. 우리는 데이터의 위치를 찾아 로딩한 후 인덱싱을 통해 검색하는 일련의 과정을 빠르게 작업할 수 있는 방법을 찾고 있습니다. 이를 위해 높은 수준의 클라우드 솔루션을 가지고 있으며 […]

Read More

Amazon EMR 클러스터 자동 확장 기능 추가

Amazon EMR 팀은 최근 신규 버전을 계속 출시하면서, 이번 분기에만 다양한 기능을 추가하였습니다. 9월 – Apache Spark, Tez, Hadoop MapReduce 데이터 암호화. 9월 – Apache Hive를 위한 오픈 소스 EMR-DynamoDB Connector 지원. 11월 – Apache Flink에서 실시간 스트리밍 처리. 11월 – 클러스터 태그를 활용한 세부 관리 기능. 오늘부터 Amazon EMR 클러스터에 대한 자동 확장 기능을 […]

Read More