Category: Generative AI

이 글은 영문 게시글(FMOps/LLMOps: Operationalize generative AI and differences with MLOps, by Sokratis Kartakis and Heiko Hotz)을 한글 번역, 편집하였습니다. 최근, 많은 고객들께서는 대형 언어 모델(LLM) 에 매우 높은 관심을 보이시고, 생성형 AI가 비즈니스를 어떻게 혁신할 수 있을지에 대해 고민하고 계십니다. 하지만 이러한 솔루션과 모델을 비즈니스 운영에 적용하는 것은 쉬운 일이 아닙니다. 이 블로그에서는 파운데이션 […]

2023년 9월 Amazon Bedrock이 정식버전을 출시하면서 Amazon Titan, Anthropic Claude등의 다양한 LLM (Large Language Model)을 AWS 환경에서 편리하게 사용할 수 있게 되었습니다. 특히 Anthropic의 Claude 모델은 한국어를 비교적 잘 지원하고 있습니다. Chatbot과 원활한 대화를 위해서는 사용자의 질문(Question)에 대한 답변(Answer)을 완전히 얻을 때까지 기다리기 보다는 Stream 형태로 대화하듯이 보여주는 것이 사용성에서 좋습니다. 본 게시글은 Amazon Bedrock을 사용하여 Stream을 지원하는 […]

조카소는 AI 기술을 활용하여 고도화된 사용자 경험을 제공하는 서비스입니다. 자막 생성 AI는 복잡한 과정 없이 신속하고 정확한 자동 자막 생성을 가능하게 하는 것으로, 크리에이터에게 콘텐츠 제작의 효율성을 높여줍니다. 바디프로필 AI는 고객의 얼굴 데이터를 활용하여 최적화된 비주얼 아웃풋을 제공, 개인화된 경험을 가능하게 합니다. 코드마피아는 이러한 AI 기반 서비스들을 통해 고객에게 편의성을 제공하고자 합니다. 바디프로필 AI 서비스 […]

VARCO LLM은 엔씨소프트(NC SOFT)에서 제공하는 대용량 언어 모델(LLM)입니다. VARCO LLM KO-13B-IST는 VARCO LLM KO-13B-FM의 파인 튜닝(Fine Tuning) 모델로서 Question and Answering, Summarization등 다양한 태스크에 활용할 수 있으며, Amazon SageMaker를 이용하여 쉽게 배포하여 사용할 수 있습니다. 또한, 대규모 언어 모델(LLM)은 사전학습(Pre-train)을 통해 많은 경우에 좋은 답변을 할 수 있지만, 학습에 포함되지 않은 특정 영역(domain specific)에 대한 질문에 […]

Llama 2의 대규모 언어 모델(Large Language Models)을 이용하여 질문/답변(Question/Answering)을 수행하는 chatbot을 vector store를 이용하여 구현합니다. 대량의 데이터로 사전학습(pretrained)한 대규모 언어 모델(LLM)은 학습되지 않은 질문에 대해서도 가장 가까운 답변을 맥락(context)에 맞게 찾아 답변할 수 있습니다. 이는 기존의 Rule 방식보다 훨씬 정답에 가까운 답변을 제공하지만, 때로는 매우 그럴듯한 잘못된 답변(hallucination)을 할 수 있습니다. 이런 경우에 파인 튜닝(fine tuning)을 통해 […]

이 글은 AWS Machine Learning Blog에 게시된 Interactively fine-tune Falcon-40B and other LLMs on Amazon SageMaker Studio notebooks using QLoRA by Sean Morgan, Philipp Schmid, and Lauren Mullennex를 한국어로 번역 및 편집하였습니다. 대규모 언어 모델(LLM; Large Language Models)을 파인튜닝(Fine-tuning) 하면 오픈 소스 파운데이션 모델(Foundation model)을 개선하여 도메인별 작업에서 더욱 향상된 성능을 끌어낼 수 있습니다. 이 […]

이 글은 AWS Machine Learning Blog에 게시된 Train a Large Language Model on a single Amazon SageMaker GPU with Hugging Face and LoRA by Philipp Schmid, Doug Kelly, and Robert Fisher을 한국어로 번역 및 편집하였습니다. 원문은 허깅페이스의 필립 슈미드(Philipp Schmid)와 공동 작성되었습니다. 대규모 언어 모델(LLM; Large Language Models) 분야의 발전과 LLM이 가치 있는 인사이트를 제공하는 […]

이번 게시글은 영문 게시글(Build a powerful question answering bot with Amazon SageMaker, Amazon OpenSearch Service, Streamlit, and LangChain by by Amit Arora, Navneet Tuteja, and Xin Huang)의 한글 번역글입니다. 엔터프라이즈 환경에서 생성 AI와 대규모 언어 모델(LLM; Large Language Models)의 가장 일반적인 유스케이스 중 하나는 기업의 지식 코퍼스를 기반으로 질문에 답변하는 것입니다. Amazon Lex는 AI 기반 […]

이번 게시글은 영문 게시글(Quickly build high-accuracy Generative AI applications on enterprise data using Amazon Kendra, LangChain, and large language models by Abhinav Jawadekar, Abhishek Maligehalli Shivalingaiah, Firaz Akmal, Jean-Pierre Dodel, and Mithil Shah) 의 한글 번역글입니다. 2023년 6월부터 LangChain이 정식으로 Amazon Kendra 검색 API를 빌트인으로 지원하면서 별도의 사용자 정의 클래스 및 함수 없이 Kendra를 적용할 […]

이번 게시글은 영문 게시글(Deploy Falcon-40B with large model inference DLCs on Amazon SageMaker by James Park, Abhi Shivaditya, Evandro Franco, Frank Liu, Qing Lan, and Robert Van Dusen)의 한글 번역글입니다. 2023년 6월 초에 Technology Innovation Institute (TII)는 오픈소스 기반 대규모 언어 모델(LLM)인 TII Falcon LLM을 출시했습니다. Amazon SageMaker를 통해 1조 개의 토큰으로 학습된 Falcon은 최고 […]