AWS 기술 블로그

Category: Amazon SageMaker

Amazon SageMaker JumpStart와 Vector Store를 이용하여 Llama 2로 Chatbot 만들기

Llama 2의 대규모 언어 모델(Large Language Models)을 이용하여 질문/답변(Question/Answering)을 수행하는 chatbot을 vector store를 이용하여 구현합니다. 대량의 데이터로 사전학습(pretrained)한 대규모 언어 모델(LLM)은 학습되지 않은 질문에 대해서도 가장 가까운 답변을 맥락(context)에 맞게 찾아 답변할 수 있습니다. 이는 기존의 Rule 방식보다 훨씬 정답에 가까운 답변을 제공하지만, 때로는 매우 그럴듯한 잘못된 답변(hallucination)을 할 수 있습니다. 이런 경우에 파인 튜닝(fine tuning)을 통해 […]

Amazon SageMaker JumpStart를 이용하여 Falcon Foundation Model기반의 Chatbot 만들기

2023년 6월부터 AWS 서울 리전에서 EC2 G5인스턴스를 사용할 수 있게 되었습니다. 여기서는 Falcon Foundation Model을 Amazon SageMaker JumpStart를 이용해 AWS 서울 리전의 EC2 G5에 설치하고, 웹 브라우저 기반의 Chatbot을 생성하는 방법에 대해 설명합니다. Falcon FM은 HuggingFace의 Open LLM Leaderboard에서 상위권(2023년 7월 기준)에 위치할 만큼 우수한 성능을 가지고 있으면서도, 아파치 2.0 라이선스 정책에 따라 상용을 포함하여 누구나 자유롭게 사용할 […]

QLoRA 기법으로 Falcon-40B 및 기타 대규모 모델(LLM)을 Amazon SageMaker Studio 노트북의 대화형 환경에서 파인튜닝하기

이 글은 AWS Machine Learning Blog에 게시된 Interactively fine-tune Falcon-40B and other LLMs on Amazon SageMaker Studio notebooks using QLoRA by Sean Morgan, Philipp Schmid, and Lauren Mullennex를 한국어로 번역 및 편집하였습니다. 대규모 언어 모델(LLM; Large Language Models)을 파인튜닝(Fine-tuning) 하면 오픈 소스 파운데이션 모델(Foundation model)을 개선하여 도메인별 작업에서 더욱 향상된 성능을 끌어낼 수 있습니다. 이 […]

허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기

이 글은 AWS Machine Learning Blog에 게시된 Train a Large Language Model on a single Amazon SageMaker GPU with Hugging Face and LoRA by Philipp Schmid, Doug Kelly, and Robert Fisher을 한국어로 번역 및 편집하였습니다. 원문은 허깅페이스의 필립 슈미드(Philipp Schmid)와 공동 작성되었습니다. 대규모 언어 모델(LLM; Large Language Models) 분야의 발전과 LLM이 가치 있는 인사이트를 제공하는 […]

Amazon ECS와 Amazon SageMaker를 이용하여 이미지 분류 AI 웹 애플리케이션 구축과 운영하기

마이크로서비스 아키텍처(MSA)와 인공지능(AI)은 현대화 애플리케이션 구현에 가장 많이 언급되는 기술입니다. 애플리케이션은 규모가 커질 수록 하나의 모놀리식 서비스가 아닌 다양한 마이크로서비스의 조합이 필요합니다. 그리고 사용자에게 추세나 패턴을 식별할 수 있는 인공지능 기능을 제공하기 위해서는 학습된 기계 학습 모델이 필요합니다. 이렇게 마이크로서비스 아키텍처와 기계 학습 모델로 구성된 애플리케이션은 고객의 요구에 따라서 확장하고 민첩하게 업데이트 되어야 합니다. 이번 […]

Amazon SageMaker, Amazon OpenSearch Service, Streamlit, LangChain을 사용하여 강력한 질문/답변 봇 구축하기

이번 게시글은 영문 게시글(Build a powerful question answering bot with Amazon SageMaker, Amazon OpenSearch Service, Streamlit, and LangChain by by Amit Arora, Navneet Tuteja, and Xin Huang)의 한글 번역글입니다. 엔터프라이즈 환경에서 생성 AI와 대규모 언어 모델(LLM; Large Language Models)의 가장 일반적인 유스케이스 중 하나는 기업의 지식 코퍼스를 기반으로 질문에 답변하는 것입니다. Amazon Lex는 AI 기반 […]

Falcon-40B 모델을 대규모 모델 추론 딥러닝 컨테이너(DLC)로 Amazon SageMaker에 배포하기

이번 게시글은 영문 게시글(Deploy Falcon-40B with large model inference DLCs on Amazon SageMaker by James Park, Abhi Shivaditya, Evandro Franco, Frank Liu, Qing Lan, and Robert Van Dusen)의 한글 번역글입니다. 2023년 6월 초에 Technology Innovation Institute (TII)는 오픈소스 기반 대규모 언어 모델(LLM)인 TII Falcon LLM을 출시했습니다. Amazon SageMaker를 통해 1조 개의 토큰으로 학습된 Falcon은 최고 […]

카카오스타일의 Amazon SageMaker 분산 훈련을 활용한 카테고리 자동 분류 시스템 모델 구축 사례

회사/팀 소개 카카오스타일은 모든 사람이 나만의 특별한 스타일을 가지고 있고, 내가 좋아하는 무언가를 발견했을 때의 즐거움이 일상을 더욱 나답게 만든다고 믿습니다. 사용자의 패션 뿐 아니라 일상에서의 모든 스타일을 위해 뷰티, 라이프 카테고리까지 확장하여 사용자의 즐거운 발견을 돕고 있습니다. 카카오스타일의 Vision & NLP(Natural Language Processing) 팀은 패션, 뷰티, 라이프 분야에서 컴퓨터 비전과 자연어 처리 기술을 활용하여 […]

Amazon SageMaker JumpStart를 사용하여 텍스트-이미지로 변환하는 Stable Diffusion 모델을 파인 튜닝 하기

이번 게시글은 영문 게시글(Fine-tune text-to-image Stable Diffusion models with Amazon SageMaker JumpStart by Vivek Madan, Heiko Hotz, and Xingchen Ma)의 한글 번역글입니다. 2023년 3월: 이 블로그는 텍스트–이미지 Stable Diffusion 모델을 파인 튜닝하기 위한 AMT HPO 지원을 검토 및 업데이트했습니다. 2022년 11월에 우리는 AWS 고객이 Amazon SageMaker JumpStart에서 Stable Diffusion 모델을 사용하여 텍스트에서 이미지를 생성할 수 […]

SK텔레콤의 AWS Inferentia와 AWS Step Functions를 활용한 기계학습(ML) 파이프라인 구축 사례

SK텔레콤은  대한민국 최대 이동통신 회사로, 고객에게 가장 신뢰받는 서비스를 제공하고 있습니다. SK텔레콤은 통신 사업자로서의 역할을 넘어서, 유무선 통신 인프라를 기반으로 하는 초연결 기술에 AI를 더하여 고객을 이롭게 하는 ‘AI Company’로의 비전을 갖고 있습니다. 이제 SK텔레콤은 통신 서비스 뿐만 아니라, 다양한 데이터를 바탕으로 한 AI 기반 서비스로 서비스를 확장하고 있습니다. SK텔레콤 ML서비스 개발팀 소개 SK텔레콤은 “에이닷“이라는 […]