AWS 기술 블로그

Category: Artificial Intelligence

한영 동시 검색 및 인터넷 검색을 활용하여 RAG를 편리하게 활용하기

기업의 중요한 문서를 검색하여 편리하게 활용하기 위하여 LLM(Large Language Model)을 활용하는 기업들이 늘어나고 있습니다. 기업의 모든 데이터를 사전 학습하는 것은 비용 및 시간에 대한 제약뿐 아니라 데이터 보안 면에서도 바람직하지 않을 수 있습니다. RAG(Retrieval-Augmented Generation)의 지식 저장소(Knowledge Store)를 활용하면, 다수의 문서를 안전하게 검색하여 관련된 문서(Relevant documents)를 추출한 후에 LLM에서 용도에 맞게 활용할 수 있습니다. RAG의 지식 […]

AWS AI 서비스를 활용한 미디어 자막 성능 개선 및 컨텐츠 현지화 방법

미디어에서 자막은 단순히 대사만을 전달하는 것이 아니라, 영상 속에서 일어나는 다양한 소리들(배경음, 음향 효과 등)도 설명해주기 때문에 영상의 내용을 이해하는 데 중요한 역할을 합니다. 자막의 대표적 종류인 폐쇄자막(Closed Caption)은 주로 청각 장애인을 위한 자막 서비스로 사용되어 모든 사람들이 접할 수 있게 되었습니다. 또한 자막을 통해  ‘오징어게임’, ‘더 글로리’와 같은 국내 미디어 컨텐츠의 세계화를 이룰 수 […]

Multi-RAG와 Multi-Region LLM로 한국어 Chatbot 만들기

사전학습(pretrained)되지 않은 데이터나 민감한 정보를 가지고 있어서 사전학습 할 수 없는 기업의 중요한 데이터는 RAG(Retrieval-Augmented Generation)을 이용하여 LLM(Large Language Model)에서 이용될 수 있습니다. RAG는 지식저장소(Knowledge Store)의 연관성 검색(sementic search)을 이용해, 질문과 가장 가까운 문서를 LLM의 Context로 활용합니다. 이러한 지식저장소에는 대표적인 In-memory vector store인 Faiss, persistent store이면서 대용량 병렬처리가 가능한 Amazon OpenSearch와 완전관리형 검색서비스인 Amazon Kendra가 있습니다. 또한, 2023년 re:Invent에서는 Amazon Aurora, OpenSearch, […]

FMOps/LLMOps와 MLOps 차이점 비교 및 생성형 AI 운영하기

이 글은 영문 게시글(FMOps/LLMOps: Operationalize generative AI and differences with MLOps, by Sokratis Kartakis and Heiko Hotz)을 한글 번역, 편집하였습니다. 최근, 많은 고객들께서는 대형 언어 모델(LLM) 에 매우 높은 관심을 보이시고, 생성형 AI가 비즈니스를 어떻게 혁신할 수 있을지에 대해 고민하고 계십니다. 하지만 이러한 솔루션과 모델을 비즈니스 운영에 적용하는 것은 쉬운 일이 아닙니다. 이 블로그에서는 파운데이션 […]

Blux(구 Z.Ai)의 Amazon EKS 기반 AWS SaaS 아키텍처 주요 패턴 적용 사례

Blux는 월 구독 기반 개인화 상품 추천 솔루션을 기업들에게 제공하는 B2B SaaS(Software-as-a-Service) 스타트업입니다. 월간 1,000만 명 이상의 최종 사용자에게 100% 실시간으로 작동하는 추천을 제공하고 있으며, 주로 커머스 기업들의 구매전환 관련 지표를 최적화하여 도입 이전에 비해 최대 7배의 효율을 발생시키고 있습니다. Blux 서비스는 맞춤형 인공지능 모델 개발부터 개인화 추천 시스템 적용에 이르기까지의 모든 과정을 담당하여, 자체 […]

ChatOps

Amazon Bedrock, AWS Chatbot을 이용한 ChatOps 모니터링 솔루션 구축하기

Background Troubleshooting 고객들은 시스템을 운영하며 다양한 장애 상황을 마주합니다. 각 장애 상황에는 장애가 발생한 리소스에서 에러 로그가 발생하고, 이러한 에러들 중 긴급하게 처리되어야 하는 에러들은 실시간으로 보고되고 즉시 처리되어야 합니다. 개발자들은 서비스 장애 상황을 해결하기 위해, 리소스에서 발생한 에러 로그를 검색엔진등을 이용해 솔루션을 찾습니다. 또한 많은 회사들은 그들의 서비스를 운영하며 대표적인 장애 상황에 대한 문제 […]

Amazon Bedrock을 이용하여 Stream 방식의 한국어 Chatbot 구현하기

2023년 9월 Amazon Bedrock이 정식버전을 출시하면서 Amazon Titan, Anthropic Claude등의 다양한 LLM (Large Language Model)을 AWS 환경에서 편리하게 사용할 수 있게 되었습니다. 특히 Anthropic의 Claude 모델은 한국어를 비교적 잘 지원하고 있습니다. Chatbot과 원활한 대화를 위해서는 사용자의 질문(Question)에 대한 답변(Answer)을 완전히 얻을 때까지 기다리기 보다는 Stream 형태로 대화하듯이 보여주는 것이 사용성에서 좋습니다. 본 게시글은 Amazon Bedrock을 사용하여 Stream을 지원하는 […]

조카소의 이미지 생성형 AI 기술 및 AWS 서비스를 통한 바디프로필 이미지 생성 서비스 구축

조카소는 AI 기술을 활용하여 고도화된 사용자 경험을 제공하는 서비스입니다. 자막 생성 AI는 복잡한 과정 없이 신속하고 정확한 자동 자막 생성을 가능하게 하는 것으로, 크리에이터에게 콘텐츠 제작의 효율성을 높여줍니다. 바디프로필 AI는 고객의 얼굴 데이터를 활용하여 최적화된 비주얼 아웃풋을 제공, 개인화된 경험을 가능하게 합니다. 코드마피아는 이러한 AI 기반 서비스들을 통해 고객에게 편의성을 제공하고자 합니다. 바디프로필 AI 서비스 […]

Amazon EC2에서 AlphaFold v2.0 실행하기

이 글은 AWS Machine Learning Blog에 게시된 ‘Run AlphaFold v2.0 on Amazon EC2 by Qi Wang’을 한국어 번역 및 편집하였습니다. DeepMind사의 AlphaFold v2.0이 오픈소스로 GitHub에 공개되고 이 논문이 Nature 지에 출판된 이후, 과학 및 연구 커뮤니티의 많은 사람들이 AlphaFold를 직접 사용해보고 싶어 했습니다. Nvidia GPU를 사용하는 Amazon Elastic Compute Cloud (Amazon EC2) 를 통해 컴퓨팅 […]

KT, Amazon SageMaker를 이용한 ViT 기반 Food Tag 모델의 학습 시간 단축 여정

KT의 ‘AI Food Tag’는 사진 속 음식의 종류와 영양 성분을 알려 주는 인공지능(AI) 기반 식이 관리 솔루션입니다. KT가 개발한 Vision 모델은 레이블(Label)이 없는 대용량 이미지 데이터로 학습한 사전 학습 모델이 적용되어,  다양한 음식들의 영양 성분과 칼로리 정보를 분석하여 당뇨 등 만성질환 환자의 식단 관리에 도움을 줄 수 있습니다. 이러한 ‘AI Food Tag’ 모델의 학습 성능 […]