AWS 기술 블로그

Category: Amazon SageMaker

Amazon SageMaker와 Amazon MWAA를 활용한 29CM의 개인화 추천시스템 MLOps 구축여정

29CM는 스토리텔링 노하우를 기반으로 한 온라인 셀렉트샵으로, 고객의 더 나은 선택을 돕고자 공통의 미션인 “Guide To Better Choice”를 달성하기 위해 모두가 노력하고 있습니다. 이러한 노력의 일환으로, 2022년 10월부터 사용자 개개인에게 최적화 된 경험을 제공하고자 자체 추천 서비스를 구축하는 것의 준비를 시작했고, 2023년 1월부터 본격적으로 추천 서비스 팀이 신설되었습니다. 그림 1. 29CM 웹/앱 홈페이지 프로젝트 소개 […]

Amazon SageMaker를 활용한 기계 학습에서 EFS 안의 민감 정보를 삭제하기 위한 서버리스 솔루션

민감 정보를 활용하는 기계 학습 환경 기계 학습 훈련 과정에서 개인 식별 정보나 생체 인식 정보 등 민감한 정보를 다루는 경우가 있습니다. 무엇보다 안전하게 데이터를 활용해야 해서 보안을 중요하게 생각해야 합니다. 네트워크 접근 통제와 사용자 접근 관리, 암호화, 이상 감지 등 다양한 방법으로 안전한 기계 학습이 이루어지도록 해야 합니다. 또한 1년 이상 장기 미사용 사용자는 […]

Amazon SageMaker로 컬리(Kurly) 상품 후기 분류 모델 개발하기

컬리는 신선식품으로 출발하여 화장품을 품어 뷰티컬리로 새로운 서비스를 출시하게 되었습니다. 새로운 서비스가 나오면서 더욱 중요하게 된 영역은 바로 고객의 상품 후기(feedback) 입니다. 사용자가 작성한 제품 리뷰는 다른 사용자에게 중요한 정보가되는데, 작성된 리뷰는 정형화 되어 있지 않기 때문에 모든 리뷰를 읽지 않는 이상 제품 정보를 파악하기 힘들고, 내용이 길기에 중간에 포기 할 수도 있습니다. 이에 리뷰에서 […]

Stable Diffusion을 Amazon SageMaker JumpStart로 편리하게 이용하기

Stable Diffusion 모델을 이용하면 텍스트를 이용하여 창조적인 이미지를 생성할 수 있습니다. AWS에서는 Amazon SageMaker JumpStart을 이용하여 기계 학습(ML)을 쉽게 사용할 수 있도록 사전 학습(pre-trained)된 모델을 제공하고 있는데, 2022년 10월 부터 Stable Diffusion 모델을 추가적으로 제공하고 있습니다. 이를 통해 Stable Diffusion 이미지를 쉽게 생성할 수 있으며, 즉시 Serving할 수 있도록 SageMaker Endpoint도 제공합니다. SageMaker Endpoint는 트래픽이 증가할 […]

농심의 Amazon SageMaker를 활용한 원자재 가격예측과 MLOps 여정

농심은 1965년 창립 이후 50여 년 동안 한국의 식문화를 이끌어온 식품 전문 제조기업입니다. 농심은 글로벌 식문화 창조기업으로의 도약을 위해 비전 2025를 수립하고 이에 맞는 중장기 목표와 사업별 성장전략, 역량 확보전략을 새롭게 정립하고 있습니다. 농심은 식품 제조에 필요한 원자재를 ‘비축구매 방식’으로 구매하고 있습니다. 비축구매는 미래 원자재 가격의 오름/내림을 예측하여 n개월 뒤에 받을 원자재를 현재 시점에서 선 […]

Amazon SageMaker 모델 병렬 라이브러리를 이용한 신규 성능 향상 방법

이 글은 AWS ML Blog의 New performance improvements in Amazon SageMaker model parallel library by Arjun Balasubramanian, Can Karakus, Fei Wu, Rahul Huilgol, Suhit Kodgule, and Zhaoqi Zhu의 한국어 번역 및 편집본입니다. 파운데이션(Foundation ) 모델은 대량의 데이터로 학습된 대규모 딥 러닝 모델을 말합니다. 이 모델들은 파인 튜닝(fine-tuned)을 추가로 진행하여, 다양한 다운스트림 (downstream) 작업을 수행하고 여러 […]

AWS를 이용한 MLOps 구축 사례 살펴보기

기업 내 Machine Learning (ML) 모델들이 점차 늘어나면서 Machine Learning Operations (MLOps)에 대한 관심을 넘어, 많은 기업에서 실제 업무에 MLOps를 활용하고 있습니다. MLOps는 양질의 데이터를 확보하는 활동부터, 데이터 과학자를 위한 학습 환경을 제공하는 활동, 여러 모델들을 신뢰성 있게 학습하는 활동, 학습된 ML 모델을 실제 업무에 배포하는 활동 등에서 생산성 높이기 위해 자동화하고, 이를 통해 전체적인 […]

Amazon SageMaker 훈련작업을 위한 최적의 데이터소스 선택하기

이 글은 AWS Machine Learning Blog에 게시된 Choose the best data source for your Amazon SageMaker training job by Gili Nachum and Alexander Arzhanov을 한국어로 번역 및 편집하였습니다. Amazon SageMaker는 머신러닝 모델의 빌드, 훈련, 배포를 쉽게 만들어주는 관리형 서비스입니다. 데이터과학자들은 SageMaker 훈련작업을 통해 컴퓨팅 리소스 관리에 대한 고민을 할 필요 없이 사용한 시간 만큼만 비용을 […]

Amazon SageMaker Data Wrangler의 신규 임베디드 시각화 살펴보기

이글은 AWS ML Blog의 Introducing Amazon SageMaker Data Wrangler’s new embedded visualizations by Isha Dua, Parth Patel의 한국어 번역 및 편집본입니다. 수동으로 데이터 품질을 검사하고 데이터를 정리하는 것은 데이터 과학자가 프로젝트에 많은 시간을 할애 할수록 고통스럽고 시간 소모적인 프로세스입니다. 2020년 Anaconda에서 실시한 데이터 과학자 설문 조사에 따르면, 데이터 과학자는 데이터 로드(19%), 데이터 정리(26%), 데이터 시각화(21%)를 […]

Amazon SageMaker에서 code-server 호스팅하기

이 글은 AWS Machine Learning Blog에 게시된 Host code-server on Amazon SageMaker by Sofian Hamiti, Eric Peña, and Giuseppe Angelo Porcelli의 한국어 번역 및 편집본입니다. 머신 러닝 팀들은 프로젝트를 진행할 때 유연성은 통합개발환경(IDE)을 선택하는 중요한 요소입니다. IDE를 활용하면 생산성 있는 개발자 경험을 확보하고, 빠르게 혁신할 수 있게 해 줍니다. 때로는 하나의 프로젝트에서 여러 개의 IDE를 […]