Amazon Web Services 한국 블로그

Category: Analytics

Amazon SageMaker Notebook에서 (Amazon EMR기반) Apache Spark와의 연동 환경 구축 방법

지난 AWS re:Invent 2017에서 처음 소개된 Amazon SageMaker는 데이터 과학과 머신 러닝 워크플로우를 위한 완전 관리형 서비스를 제공하고 있습니다. 특히 모델을 만드는데 사용되는 Jupyter notebook 인터페이스는 SageMaker에서 대단히 중요한 구성 요소 중 하나입니다. 한편Amazon Elastic MapReduce (Amazon EMR) 상에서 동작하는 Apache Spark 클러스터에 notebook 인스턴스를 연결시켜서 SageMaker의 성능을 훨씬 더 향상시킬 수 있습니다. 참고로 EMR은 […]

Read More

AWS Glue, 서울 리전 출시

AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL(추출, 변환 및 로드) 서비스입니다. AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다. 빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때, 별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다. 이번에 서울 리전에서 본 서비스를 출시하고, […]

Read More

AWS 멀티 어카운트 환경을 위한 통합 로깅 방법

중앙 집중 로깅 기능은 규정 준수와 보안 및 분석, 애플리케이션 별 필요성과 같은 다양한 이유로 일정 규모 이상의 기업에서는 반드시 고려되는 기능입니다. 단일 부서에서 관리되거나 여러 부서에서 관리되는 멀티 어카운트 환경에서는, 중앙에서 로그정보를 수집하는 로깅 전담 어카운트가 있는 것이 모범사례입니다. 이를 통해 보안팀 입장에서는 실시간으로 위험한 행위를 탐지하고 침해에 대처하는데 도움을 받을 수 있게 됩니다. […]

Read More

Amazon Kinesis Analytics을 이용한 실시간 핫스팟 기능

오늘 Amazon은 스트리밍 데이터에서 “핫스팟”을 감지하는 Amazon Kinesis Data Analytics의 새로운 Machine Learning 기능을 발표합니다. Kinesis Data Analytics는 2016년 8월에 출시된 이래 꾸준히 기능이 추가되었습니다. 알다시피 Kinesis Data Analytics는 완벽하게 관리되는 스트리밍 데이터용 실시간 처리 엔진으로, SQL 쿼리를 작성하여 데이터에서 의미를 도출하고 결과를 Kinesis Data Firehose, Kinesis Data Streams 또는 AWS Lambda 함수에 출력합니다. 새로운 […]

Read More

Amazon Elasticsearch Service, 한국어 분석을 위한 ‘은전한닢’ 플러그인 지원

Amazon Elasticsearch Service에서 유명한 오픈 소스 한국어 텍스트 분석기인 은전한닢(Seonjeon) 플러그인을 지원합니다. 이를 통해Amazon ES를 사용하는 개발자가 한국어 문서에 대한 전체 텍스트 검색을 쉽게 구현할 수 있습니다. 본 플러그인은 내부적으로 한국어 사전을 사용하며 복합어를 인식하고 문맥에 따라 단어를 구분할 수 있습니다. 각 개발자는 플러그인을 사용하여 토큰화(문자열을 단어로 분리), 형태소 분석(텍스트를 루트 형식으로 변환), 중지 단어 […]

Read More

AWS Glue 기반 Amazon Aurora 데이터 추출 및 Quicksight 시각화 하기

AWS Glue는 서버리스 ETL 서비스로 데이터 분석을 위해 손쉽게 데이터를 준비하고 로딩할 수 있도록 지원하는 서비스 입니다. AWS Glue는 AWS에 저장된 데이터의 메타 데이터를 통해 데이터 카탈로그를 생성하고, 해당 카탈로그로 다양한 서비스에서 데이터에 접근하여 사용할 수 있습니다. 이 글에서는 실제 많은 고객들이 서비스 운영 데이터베이스로 사용하고 있는 Amazon Aurora의 DB 데이터를 AWS Glue를 통해 데이터 […]

Read More

Amazon Kinesis Video Streams – 시각 지원 앱을 위한 서버리스 비디오 수집 및 저장

휴대폰, 보안 카메라, 아기용 모니터, 드론, 웹캠, 대시보드 카메라, 심지어 위성까지 모든 것들이 고강도의 고품질 비디오 스트림을 생성할 수 있습니다. 이제 가정, 사무실, 공장, 도시, 거리 및 고속도로 곳곳에 수많은 카메라가 있습니다. 홍수와 기타 자연 재해의 속성을 측정하고, 공공 안전을 높이고, 여러분의 자녀가 안전한지 알려줄 수 있습니다. 개인별 재미 있는 영상 속에서 멋진 순간을 저장하거나 […]

Read More

Amazon QuickSight 업데이트 – 공간 정보 시각화, 프라이빗 VPC 액세스 등

AWS에서는 특별히 기념일에 축하하는 경우가 많지 않습니다. 지금까지 AWS에서 제공하는 100여개의 서비스를 개발하면서 축하를 했다면, 아마 일주일에 몇 번이나 케이크와 샴페인을 마셨을 것입니다. 저희는 그보다 고객의 의견을 경청하고 혁신하는 데 더 시간을 쏟고 있습니다. 이에 따라 정식 출시된 지 일 년이 조금 넘은 Amazon QuickSight에 대한 새로운 기능 업데이트를 제공해 드리고자 합니다. QuickSight 실행 운송, […]

Read More

AWS PrivateLink 출시 – VPC내 AWS 서비스 엔드 포인트 서비스

이 글은 Amazon Virtual Private Cloud의 선임 엔지니어인 Colm MacCárthaigh가 작성한 것입니다. VPC 엔드포인트가 2015년에 출시된 이후, 인터넷 게이트웨이, NAT 게이트웨이 또는 방화벽 프록시 없이 Amazon Virtual Private Cloud(VPC)에서 S3 및 DynamoDB에 안전하게 액세스하는 방법으로 엔드포인트가 인기를 끌고 있습니다. VPC 엔드포인트를 사용하면 VPC와 AWS 서비스 사이의 라우팅이 AWS 네트워크에서 처리되고 IAM 정책을 사용하여 서비스 리소스에 […]

Read More

Amazon S3 및 AWS Glue를 이용한 데이터 레이크 구축하기

데이터 레이크(Data Lake)는 다양한 유형의 대량 데이터를 처리해야 하는 과제를 해결하는 데이터 저장 및 분석 방법으로서 점차 인기를 얻고 있습니다. 데이터 레이크를 사용하면 모든 데이터(정형 및 비정형)를 중앙 집중식 리포지토리 한 곳에 저장할 수 있습니다. 데이터를 있는 그대로 저장할 수 있으므로 데이터를 사전 정의된 스키마로 변환할 필요가 없습니다. 많은 기업들은 데이터 레이크에서 Amazon S3를 사용하는 […]

Read More