AWS 기술 블로그

Category: Technical How-to

Apache Atlas on Amazon EMR을 사용하여 Data Lineage 구성하기

데이터 거버넌스는 효율적인 데이터 관리를 위해 필수적인 요소입니다. 대부분의 데이터 지향 조직에서 데이터레이크의 메타데이터(Metadata) 관리, 카탈로깅(Cataloging), 데이터 리니지(Data Lineage), 데이터 분류(Classification) 등을 통해 효과적으로 그들의 데이터를 검색하고 활용하기를 원하고 있습니다. 이번 게시글에서는 Apache Atlas를 Amazon EMR 위에 설치하여, AWS Glue에서 관리되고 있는 카탈로그와 메타데이터를 포함하여 Apache Atlas에서 통합적으로 관리하고, 데이터 리니지 생성을 통해 데이터 흐름을 […]

Amazon CloudFront 지속적 배포를 사용하여 CDN 변경 사항을 안전하게 검증하기

이 글은 AWS Networking & Content Delivery Blog에 게시된 Use CloudFront continuous deployment to safely validate CDN changes by Joe Viggiano, Carl Johnson and Vishal Anand 를 한국어 번역 및 편집하였습니다. 콘텐츠 전송 네트워크 (CDN) 인 Amazon CloudFront 는 사용자와 디바이스가 웹 사이트나 애플리케이션에 연결하기 위한 관문으로 사용됩니다. CDN 구성의 변경은 문제를 일으킨 원인에 대한 가시성의 부족으로 서비스 […]

AWS WAF에서 AWS 관리형 규칙의 동작을 커스터마이징하는 방법

이 글은 AWS Security Blog에 게시된 How to customize behavior of AWS Managed Rules for AWS WAF by Madhu Kondur and Venugopal Pai을 한국어 번역 및 편집하였습니다. AWS WAF용 AWS 관리형 규칙은 자체 규칙을 작성하지 않고도 일반적인 애플리케이션 취약성 및 시스템에 대한 기타 원치 않는 액세스로부터 사용자를 보호하는 데 사용할 수 있는 AWS에서 생성한 규칙 […]

Kubernetes를 위한 영구 스토리지 적용하기

이 글은 AWS Storage Blog에 게시된 Persistent storage for Kubernetes by Suman Debnath, Daniel Rubinstein, Anjani Reddy, and Narayana Vemburaj을 한국어 번역 및 편집하였습니다. 상태 저장 애플리케이션이 올바르게 실행되기 위해서는 데이터가 저장되어 유지되고 읽을 수 있어야 합니다. Kubernetes를 사용하여 상태 저장 애플리케이션을 실행할 때 컨테이너, 포드, 또는 노드 충돌이나 종료에 관계없이 상태가 유지되어야 합니다. 이를 […]

AWS IoT TwinMaker에서 자체 데이터 소스를 사용하는 방법

이 글은 AWS IoT Blog에 게시된 How to use your own data source in AWS IoT TwinMaker by Ali Benfattoum을 한국어로 번역 및 편집하였습니다. AWS IoT TwinMaker 소개 AWS IoT TwinMaker를 사용하면 개발자가 여러 소스의 기존 데이터를 사용할 수 있습니다. 이 기능으로 건물 및 공장과 같은 실제 시스템의 디지털 트윈을 쉽게 생성할 수 있습니다. AWS […]

­­IoT 디바이스에서 쉽고 편리하게 기계 학습(ML) 추론하기

기계 학습(Machine Learning) 활용이 일반화 되면서 IoT 디바이스에서도 기계학습을 활용하려는 요구가 증가하고 있습니다. 기계학습 알고리즘을 IoT 디바이스의 동작에 활용하기 위하여 기계학습 서버 API를 이용하면, 1) 디바이스는 항상 네트워크에 접속이 가능하여야 하고, 2) 디바이스의 숫자가 증가하면 서버의 처리 용량이 동일하게 증가되어야 하며, 3) 추론을 위한 API 호출 비용 부담으로 인해서, IoT 디바이스에서 기계학습을 활용할 때 제한 […]

AWS Lambda를 이용한 XGBoost 머신러닝(ML) 추론하기

XGBoost(eXtreme Gradient Boosting)는 분류(Classification)와 회귀(Regression)문제에 모두 적용할 수 있는 빠르고 효과적인 머신러닝 알고리즘입니다. 또한, 대표적­­인 AWS의 서버리스(Serverless) 서비스인 AWS Lambda는 운영에 대한 부담을 줄여주고 사용한 만큼만 지불(Pay As You Go)하면 되기 때문에 다양한 어플리케이션에서 유용하게 활용되고 있습니다. 특히, 2020년 12월부터 Lambda가 컨테이너 이미지를 지원함으로써, Lambda를 머신러닝(Machine Learning) 추론을 배포하는 용도로 사용할 수 있게 되었습니다. 이번 […]

AWS를 활용한 확장성 높은 모바일 트레이딩 시스템 (MTS) 구축하기

MTS 현황 및 클라우드 도입의 필요성 실시간으로 장소의 제약 없이 주식 거래가 가능한 MTS 서비스를 이용하는 개인투자자가 지속적으로 증가하고 있습니다. 한국은행이 올해 발표한 2021년 금융정보화 추진 현황에 따르면 MTS 서비스 이용 고객 수는 전년 대비 약 2배 증가한 3034만명이고 MTS 서비스 이용건수는 전년대비 72% 증가한 일평균 1억 9999만건이며, 이중 조회 서비스는 1억 7561건으로 87.7%를 차지했습니다. […]

Amazon EKS 환경에서 Pod Security Standard 구현하기

쿠버네티스로의 안전한 마이그레이션은 클러스터에 대한 의도하지 않은 설정 변경을 방지하는 것을 포함합니다. 의도하지 않은 설정 변경은 클러스터의 운영환경에 악영향을 끼치거나 심지어 클러스터 자체의 무결성을 위협할 수도 있습니다. 예를 들어, 적절하지 않은 보안 설정을 포함한 포드(Pod)는 의도하지 않은 클러스터 설정 변경의 대표적인 사례 중 하나입니다. 쿠버네티스에서는 이러한 포드에 대한 보안 설정을 통제하기 위해서 Pod Security Policy(PSP)라는 […]

Amazon EMR에서 Trino와 Apache Superset을 이용한 Federated Query 하기

최근 많은 기업들은 여러 데이터 소스, 즉 클라우드, 온프레미스, 멀티 클라우드 내에 있는 데이터로부터 쉽고 지속적으로 비즈니스 인사이트를 얻기 위해 단일 데이터 쿼리 플랫폼을 도입하려고 고민 중입니다. 더불어, 이 플랫폼에서 데이터 보안 및 거버넌스는 필수적인 요소이며, 기업들은 데이터 소유권을 각 비즈니스 도메인에 유지하면서 데이터를 제품으로서 지속적으로 생산 및 재활용하기를 원합니다. 이를 뒷바침하는 아키텍처로 Data Fabric […]