AWS 기술 블로그

Category: Amazon SageMaker

Amazon SageMaker, Amazon OpenSearch Service, Streamlit, LangChain을 사용하여 강력한 질문/답변 봇 구축하기

이번 게시글은 영문 게시글(Build a powerful question answering bot with Amazon SageMaker, Amazon OpenSearch Service, Streamlit, and LangChain by by Amit Arora, Navneet Tuteja, and Xin Huang)의 한글 번역글입니다. 엔터프라이즈 환경에서 생성 AI와 대규모 언어 모델(LLM; Large Language Models)의 가장 일반적인 유스케이스 중 하나는 기업의 지식 코퍼스를 기반으로 질문에 답변하는 것입니다. Amazon Lex는 AI 기반 […]

Falcon-40B 모델을 대규모 모델 추론 딥러닝 컨테이너(DLC)로 Amazon SageMaker에 배포하기

이번 게시글은 영문 게시글(Deploy Falcon-40B with large model inference DLCs on Amazon SageMaker by James Park, Abhi Shivaditya, Evandro Franco, Frank Liu, Qing Lan, and Robert Van Dusen)의 한글 번역글입니다. 2023년 6월 초에 Technology Innovation Institute (TII)는 오픈소스 기반 대규모 언어 모델(LLM)인 TII Falcon LLM을 출시했습니다. Amazon SageMaker를 통해 1조 개의 토큰으로 학습된 Falcon은 최고 […]

카카오스타일의 Amazon SageMaker 분산 훈련을 활용한 카테고리 자동 분류 시스템 모델 구축 사례

회사/팀 소개 카카오스타일은 모든 사람이 나만의 특별한 스타일을 가지고 있고, 내가 좋아하는 무언가를 발견했을 때의 즐거움이 일상을 더욱 나답게 만든다고 믿습니다. 사용자의 패션 뿐 아니라 일상에서의 모든 스타일을 위해 뷰티, 라이프 카테고리까지 확장하여 사용자의 즐거운 발견을 돕고 있습니다. 카카오스타일의 Vision & NLP(Natural Language Processing) 팀은 패션, 뷰티, 라이프 분야에서 컴퓨터 비전과 자연어 처리 기술을 활용하여 […]

Amazon SageMaker JumpStart를 사용하여 텍스트-이미지로 변환하는 Stable Diffusion 모델을 파인 튜닝 하기

이번 게시글은 영문 게시글(Fine-tune text-to-image Stable Diffusion models with Amazon SageMaker JumpStart by Vivek Madan, Heiko Hotz, and Xingchen Ma)의 한글 번역글입니다. 2023년 3월: 이 블로그는 텍스트–이미지 Stable Diffusion 모델을 파인 튜닝하기 위한 AMT HPO 지원을 검토 및 업데이트했습니다. 2022년 11월에 우리는 AWS 고객이 Amazon SageMaker JumpStart에서 Stable Diffusion 모델을 사용하여 텍스트에서 이미지를 생성할 수 […]

SK텔레콤의 AWS Inferentia와 AWS Step Functions를 활용한 기계학습(ML) 파이프라인 구축 사례

SK텔레콤은  대한민국 최대 이동통신 회사로, 고객에게 가장 신뢰받는 서비스를 제공하고 있습니다. SK텔레콤은 통신 사업자로서의 역할을 넘어서, 유무선 통신 인프라를 기반으로 하는 초연결 기술에 AI를 더하여 고객을 이롭게 하는 ‘AI Company’로의 비전을 갖고 있습니다. 이제 SK텔레콤은 통신 서비스 뿐만 아니라, 다양한 데이터를 바탕으로 한 AI 기반 서비스로 서비스를 확장하고 있습니다. SK텔레콤 ML서비스 개발팀 소개 SK텔레콤은 “에이닷“이라는 […]

Amazon Rekognition과 Personalize를 이용하여 감정으로 이미지 추천하기

카메라로 사람의 표정을 분석하여 현재의 감정(Emotion)을 얻을 수 있다면, 개인화된 추천 시스템에서 유용하게 활용할 수 있습니다. 여기서는 Amazon Rekognition을 이용하여 사용자의 감정을 얻고, 사용자의 감정을 잘 표현하는 이미지를 Amazon Personalize를 이용하여 추천합니다. 이를 통해 Amazon의 완전관리형 서비스인 Rekognition과 Personalize를 효과적으로 사용하는 방법을 이해할 수 있습니다. 또한 감정을 표현하는 이미지는 Amazon SageMaker JumpStart의 Stable Diffusion 모델을 이용해 생성합니다. Stable Diffusion […]

Amazon SageMaker와 Amazon MWAA를 활용한 29CM의 개인화 추천시스템 MLOps 구축여정

29CM는 스토리텔링 노하우를 기반으로 한 온라인 셀렉트샵으로, 고객의 더 나은 선택을 돕고자 공통의 미션인 “Guide To Better Choice”를 달성하기 위해 모두가 노력하고 있습니다. 이러한 노력의 일환으로, 2022년 10월부터 사용자 개개인에게 최적화 된 경험을 제공하고자 자체 추천 서비스를 구축하는 것의 준비를 시작했고, 2023년 1월부터 본격적으로 추천 서비스 팀이 신설되었습니다. 그림 1. 29CM 웹/앱 홈페이지 프로젝트 소개 […]

Amazon SageMaker를 활용한 기계 학습에서 EFS 안의 민감 정보를 삭제하기 위한 서버리스 솔루션

민감 정보를 활용하는 기계 학습 환경 기계 학습 훈련 과정에서 개인 식별 정보나 생체 인식 정보 등 민감한 정보를 다루는 경우가 있습니다. 무엇보다 안전하게 데이터를 활용해야 해서 보안을 중요하게 생각해야 합니다. 네트워크 접근 통제와 사용자 접근 관리, 암호화, 이상 감지 등 다양한 방법으로 안전한 기계 학습이 이루어지도록 해야 합니다. 또한 1년 이상 장기 미사용 사용자는 […]

Amazon SageMaker로 컬리(Kurly) 상품 후기 분류 모델 개발하기

컬리는 신선식품으로 출발하여 화장품을 품어 뷰티컬리로 새로운 서비스를 출시하게 되었습니다. 새로운 서비스가 나오면서 더욱 중요하게 된 영역은 바로 고객의 상품 후기(feedback) 입니다. 사용자가 작성한 제품 리뷰는 다른 사용자에게 중요한 정보가되는데, 작성된 리뷰는 정형화 되어 있지 않기 때문에 모든 리뷰를 읽지 않는 이상 제품 정보를 파악하기 힘들고, 내용이 길기에 중간에 포기 할 수도 있습니다. 이에 리뷰에서 […]

Stable Diffusion을 Amazon SageMaker JumpStart로 편리하게 이용하기

Stable Diffusion 모델을 이용하면 텍스트를 이용하여 창조적인 이미지를 생성할 수 있습니다. AWS에서는 Amazon SageMaker JumpStart을 이용하여 기계 학습(ML)을 쉽게 사용할 수 있도록 사전 학습(pre-trained)된 모델을 제공하고 있는데, 2022년 10월 부터 Stable Diffusion 모델을 추가적으로 제공하고 있습니다. 이를 통해 Stable Diffusion 이미지를 쉽게 생성할 수 있으며, 즉시 Serving할 수 있도록 SageMaker Endpoint도 제공합니다. SageMaker Endpoint는 트래픽이 증가할 […]