AWS 기술 블로그

AWS Lambda를 이용한 XGBoost 머신러닝(ML) 추론하기

XGBoost(eXtreme Gradient Boosting)는 분류(Classification)와 회귀(Regression)문제에 모두 적용할 수 있는 빠르고 효과적인 머신러닝 알고리즘입니다. 또한, 대표적­­인 AWS의 서버리스(Serverless) 서비스인 AWS Lambda는 운영에 대한 부담을 줄여주고 사용한 만큼만 지불(Pay As You Go)하면 되기 때문에 다양한 어플리케이션에서 유용하게 활용되고 있습니다. 특히, 2020년 12월부터 Lambda가 컨테이너 이미지를 지원함으로써, Lambda를 머신러닝(Machine Learning) 추론을 배포하는 용도로 사용할 수 있게 되었습니다. 이번 […]

Amazon Lookout for Vision과 Rekognition을 이용한 부품 결함 감지 시스템 구축하기

결함 감지 자동화 시스템 개발 배경 현재 제조 업계 인공지능 기술은 23억 달러의 시장 가치를 가지고 있으며, 이 가치는 2027년에는 163억 달러까지 성장할 것으로 예상됩니다. 오늘날 인공지능 기술 중 제조업에서 많이 사용하는 머신 비전은 대부분 PC 기반이지만, 머신 비전을 온프레미스 서버 또는 기계와 소프트웨어 통합형으로 사용하는 데에는 아직 많은 불편함이 있습니다. 고객은 머신 비전을 채택하는 […]

AWS를 활용한 확장성 높은 모바일 트레이딩 시스템 (MTS) 구축하기

MTS 현황 및 클라우드 도입의 필요성 실시간으로 장소의 제약 없이 주식 거래가 가능한 MTS 서비스를 이용하는 개인투자자가 지속적으로 증가하고 있습니다. 한국은행이 올해 발표한 2021년 금융정보화 추진 현황에 따르면 MTS 서비스 이용 고객 수는 전년 대비 약 2배 증가한 3034만명이고 MTS 서비스 이용건수는 전년대비 72% 증가한 일평균 1억 9999만건이며, 이중 조회 서비스는 1억 7561건으로 87.7%를 차지했습니다. […]

Amazon EKS 환경에서 Pod Security Standard 구현하기

쿠버네티스로의 안전한 마이그레이션은 클러스터에 대한 의도하지 않은 설정 변경을 방지하는 것을 포함합니다. 의도하지 않은 설정 변경은 클러스터의 운영환경에 악영향을 끼치거나 심지어 클러스터 자체의 무결성을 위협할 수도 있습니다. 예를 들어, 적절하지 않은 보안 설정을 포함한 포드(Pod)는 의도하지 않은 클러스터 설정 변경의 대표적인 사례 중 하나입니다. 쿠버네티스에서는 이러한 포드에 대한 보안 설정을 통제하기 위해서 Pod Security Policy(PSP)라는 […]

AWS IoT TwinMaker로 비디오 스트림을 연동한 디지털 트윈 생성하기

산업에서 사용되는 고성능 장비뿐만 아니라 실생활에서 사용되는 디바이스들의 기능이나 공정이 복잡해질수록 더 다양한 입출력 모듈을 가지고 있습니다. 쿠키 반죽을 만드는 믹서를 예로 들자면, 센서를 이용하여 결과물에 영향을 미치는 모터의 속도나 반죽의 온도와 같은 시계열 데이터를 실시간으로 측정할 수 있고, 머신러닝을 접목하여 반죽에 이물질이 들어가지는 않는지, 색깔이 이상하지는 않은지 빠르게 이상 감지하거나, 실시간으로 비디오 스트리밍 데이터를 […]

Amazon Redshift 스트리밍 수집을 이용한 실시간 분석

2022년 11월 : 이 블로그는 Amazon Redshift 스트리밍 수집이 정식 출시됨에 따라 도입된 변경 사항을 반영하기 위해 업데이트 되었습니다. Amazon Redshift는 빠르고 확장이 쉽고 안전한 완전 관리형 클라우드 데이터 웨어하우스로, 표준 SQL을 사용하여 데이터를 간단하고 비용 효율적으로 분석할 수 있는 서비스입니다. Amazon Redshift는 다른 클라우드 데이터 웨어하우스보다 더 나은 가격 대비 성능을 제공하고 있고 이미 […]

Amazon Redshift의 가격 대비 성능 벤치 마크 결과

데이터는 전략자산입니다. 적시에 데이터로부터 가치를 얻기 위해서는 비용을 낮게 유지하면서도 규모에 맞는 성능을 제공할 수 있도록 고성능 시스템이 필요합니다. Amazon Redshift는 가장 유명한 클라우드 데이터 웨어하우스로 수만 명의 고객이 매일 엑사바이트 규모의 데이터를 분석하는 데 사용합니다. 고객들은 Amazon Redshift 환경으로 더욱더 많은 데이터를 가져오기 때문에, 저희는 가격 대비 성능의 비율을 개선하기 위한 기능을 지속해서 추가하고 […]

Amazon SageMaker Studio에서 유저별 접근 권한 관리하기

Amazon SageMaker Studio는 모든 머신러닝 개발 단계를 수행할 수 있는 웹 기반의 단일 시각적 인터페이스를 제공하여, 데이터 사이언스 팀의 생산성을 높일 수 있는 AWS의 대표적 서비스입니다. SageMaker Studio에서는 다양한 유저 프로필을 등록함으로써 개별 사용자가 독립적 개발 환경을 제공할 수 있습니다. 하지만, 권한 관리를 별도로 해주지 않으면 다른 사용자의 환경에 접근하여 개발 환경 및 코드를 임의로 […]

롯데이커머스 사례로 본 Amazon EKS 운영 안정성 확보하기

롯데이커머스는 온라인 쇼핑몰인 롯데온을 서비스하고 있으며, 약 40여개의 마이크로서비스로 구성되어 있습니다. 롯데온은 이커머스 시장에서 지속적으로 성장함에 따라 시스템으로 유입되는 트래픽 또한 지속적으로 증가하고 있습니다. 특히 할인 행사 기간에는 트래픽이 급격하게 증가하는 추세을 보입니다. 트래픽의 변화에 따라 애플리케이션이 실행되는 Amazon EKS Pod가 확장 되거나 축소되는데 고객은 이 과정에서 예상치 못한 문제를 겪었습니다. 또한 애플리케이션 업데이트 시 […]

Amazon EMR에서 Trino와 Apache Superset을 이용한 Federated Query 하기

최근 많은 기업들은 여러 데이터 소스, 즉 클라우드, 온프레미스, 멀티 클라우드 내에 있는 데이터로부터 쉽고 지속적으로 비즈니스 인사이트를 얻기 위해 단일 데이터 쿼리 플랫폼을 도입하려고 고민 중입니다. 더불어, 이 플랫폼에서 데이터 보안 및 거버넌스는 필수적인 요소이며, 기업들은 데이터 소유권을 각 비즈니스 도메인에 유지하면서 데이터를 제품으로서 지속적으로 생산 및 재활용하기를 원합니다. 이를 뒷바침하는 아키텍처로 Data Fabric […]