AWS 기술 블로그

Category: Artificial Intelligence

Amazon Bedrock으로 그래프 RAG 구현하기

개요 대규모 언어 모델들은 방대한 데이터를 기반으로 광범위한 지식과 우수한 문장 생성 능력을 갖추고 있습니다. 그러나 이러한 모델들은 학습 시점 이후의 최신 정보나 특정 주제에 대한 심층 지식을 반영하는 데 한계가 있으며, 때때로 환각(hallucination) 문제로 답변의 정확성을 떨어뜨리기도 합니다. 이러한 문제를 해결하기 위해, RAG(Retrieval Augmented Generation) 프레임워크가 등장했습니다. RAG는 필요한 정보를 자체 데이터베이스에 저장하고 검색해, […]

Amazon Bedrock의 Claude와 Amazon Kendra로 향상된 RAG 사용하기

Amazon Bedrock의 Claude LLM v2.1은 200k token을 가지는 Context Window를 제공하고, 환각(Hallucination) 방지에서도 높은 성능을 보여주고 있습니다. 또한, Amazon Q에서는 Amazon Bedrock과 Amazon Kendra을 이용하여 다양한 데이터 소스를 통합하여 업무를 간소화하고, 빠른 의사결정 및 문제점 해결이 가능하도록, 즉각적이고 관련성 있는 정보와 조언을 제공하고 있습니다. 본 게시글은 Amazon Bedrock의 Claude LLM과 Amazon Kendra를 사용하여 RAG (Retrieval Augmented Generation)가 적용된 […]

한영 동시 검색 및 인터넷 검색을 활용하여 RAG를 편리하게 활용하기

기업의 중요한 문서를 검색하여 편리하게 활용하기 위하여 LLM(Large Language Model)을 활용하는 기업들이 늘어나고 있습니다. 기업의 모든 데이터를 사전 학습하는 것은 비용 및 시간에 대한 제약뿐 아니라 데이터 보안 면에서도 바람직하지 않을 수 있습니다. RAG(Retrieval-Augmented Generation)의 지식 저장소(Knowledge Store)를 활용하면, 다수의 문서를 안전하게 검색하여 관련된 문서(Relevant documents)를 추출한 후에 LLM에서 용도에 맞게 활용할 수 있습니다. RAG의 지식 […]

AWS AI 서비스를 활용한 미디어 자막 성능 개선 및 컨텐츠 현지화 방법

미디어에서 자막은 단순히 대사만을 전달하는 것이 아니라, 영상 속에서 일어나는 다양한 소리들(배경음, 음향 효과 등)도 설명해주기 때문에 영상의 내용을 이해하는 데 중요한 역할을 합니다. 자막의 대표적 종류인 폐쇄자막(Closed Caption)은 주로 청각 장애인을 위한 자막 서비스로 사용되어 모든 사람들이 접할 수 있게 되었습니다. 또한 자막을 통해  ‘오징어게임’, ‘더 글로리’와 같은 국내 미디어 컨텐츠의 세계화를 이룰 수 […]

Multi-RAG와 Multi-Region LLM로 한국어 Chatbot 만들기

사전학습(pretrained)되지 않은 데이터나 민감한 정보를 가지고 있어서 사전학습 할 수 없는 기업의 중요한 데이터는 RAG(Retrieval-Augmented Generation)을 이용하여 LLM(Large Language Model)에서 이용될 수 있습니다. RAG는 지식저장소(Knowledge Store)의 연관성 검색(sementic search)을 이용해, 질문과 가장 가까운 문서를 LLM의 Context로 활용합니다. 이러한 지식저장소에는 대표적인 In-memory vector store인 Faiss, persistent store이면서 대용량 병렬처리가 가능한 Amazon OpenSearch와 완전관리형 검색서비스인 Amazon Kendra가 있습니다. 또한, 2023년 re:Invent에서는 Amazon Aurora, OpenSearch, […]

FMOps/LLMOps와 MLOps 차이점 비교 및 생성형 AI 운영하기

이 글은 영문 게시글(FMOps/LLMOps: Operationalize generative AI and differences with MLOps, by Sokratis Kartakis and Heiko Hotz)을 한글 번역, 편집하였습니다. 최근, 많은 고객들께서는 대형 언어 모델(LLM) 에 매우 높은 관심을 보이시고, 생성형 AI가 비즈니스를 어떻게 혁신할 수 있을지에 대해 고민하고 계십니다. 하지만 이러한 솔루션과 모델을 비즈니스 운영에 적용하는 것은 쉬운 일이 아닙니다. 이 블로그에서는 파운데이션 […]

Blux(구 Z.Ai)의 Amazon EKS 기반 AWS SaaS 아키텍처 주요 패턴 적용 사례

Blux는 월 구독 기반 개인화 상품 추천 솔루션을 기업들에게 제공하는 B2B SaaS(Software-as-a-Service) 스타트업입니다. 월간 1,000만 명 이상의 최종 사용자에게 100% 실시간으로 작동하는 추천을 제공하고 있으며, 주로 커머스 기업들의 구매전환 관련 지표를 최적화하여 도입 이전에 비해 최대 7배의 효율을 발생시키고 있습니다. Blux 서비스는 맞춤형 인공지능 모델 개발부터 개인화 추천 시스템 적용에 이르기까지의 모든 과정을 담당하여, 자체 […]

ChatOps

Amazon Bedrock, AWS Chatbot을 이용한 ChatOps 모니터링 솔루션 구축하기

Background Troubleshooting 고객들은 시스템을 운영하며 다양한 장애 상황을 마주합니다. 각 장애 상황에는 장애가 발생한 리소스에서 에러 로그가 발생하고, 이러한 에러들 중 긴급하게 처리되어야 하는 에러들은 실시간으로 보고되고 즉시 처리되어야 합니다. 개발자들은 서비스 장애 상황을 해결하기 위해, 리소스에서 발생한 에러 로그를 검색엔진등을 이용해 솔루션을 찾습니다. 또한 많은 회사들은 그들의 서비스를 운영하며 대표적인 장애 상황에 대한 문제 […]

Amazon Bedrock을 이용하여 Stream 방식의 한국어 Chatbot 구현하기

2023년 9월 Amazon Bedrock이 정식버전을 출시하면서 Amazon Titan, Anthropic Claude등의 다양한 LLM (Large Language Model)을 AWS 환경에서 편리하게 사용할 수 있게 되었습니다. 특히 Anthropic의 Claude 모델은 한국어를 비교적 잘 지원하고 있습니다. Chatbot과 원활한 대화를 위해서는 사용자의 질문(Question)에 대한 답변(Answer)을 완전히 얻을 때까지 기다리기 보다는 Stream 형태로 대화하듯이 보여주는 것이 사용성에서 좋습니다. 본 게시글은 Amazon Bedrock을 사용하여 Stream을 지원하는 […]

조카소의 이미지 생성형 AI 기술 및 AWS 서비스를 통한 바디프로필 이미지 생성 서비스 구축

조카소는 AI 기술을 활용하여 고도화된 사용자 경험을 제공하는 서비스입니다. 자막 생성 AI는 복잡한 과정 없이 신속하고 정확한 자동 자막 생성을 가능하게 하는 것으로, 크리에이터에게 콘텐츠 제작의 효율성을 높여줍니다. 바디프로필 AI는 고객의 얼굴 데이터를 활용하여 최적화된 비주얼 아웃풋을 제공, 개인화된 경험을 가능하게 합니다. 코드마피아는 이러한 AI 기반 서비스들을 통해 고객에게 편의성을 제공하고자 합니다. 바디프로필 AI 서비스 […]