AWS 기술 블로그
Category: Amazon OpenSearch Service
MIDAS IT의 DynamoDB ZeroETL과 Bedrock을 이용한 OpenSearch 자동 임베딩 고객 사례
마이다스아이티(MIDAS IT)는 건축 및 토목 엔지니어링 소프트웨어를 개발하고 수출하는 회사로 미국, 일본, 중국 등 다양한 국가에 서비스를 제공하고 있는 건설분야 CAE(Computer-Aided Engineering) 소프트웨어 세계 최대기업 입니다. 엔지니어링 소프트웨어의 특성상 전문 기술 지원 요청이 글로벌하게 들어오며, 이를 기술 지원 전담 인력이 해결하는데 최소 몇 시간에서 최대 3일 정도가 소요됩니다. 마이다스아이티는 고객에게 더 빠르고 정확한 정보를 전달하고 […]
뉴넥스의 AWS 서비스를 활용한 검색 시스템 구축과 운영 사례
소개 뉴넥스(NEWNEX)는 2014년에 설립된 패션 이커머스 플랫폼 기업으로, IT 기술을 활용해 커머스와 물류 인프라를 통합하여 ‘하루배송’과 같은 최적의 쇼핑 경험을 제공하고 있습니다. 현재 1020 여성 패션 플랫폼 ‘브랜디’, 남성 쇼핑 플랫폼 ‘하이버’, 여성 브랜드 패션 플랫폼 ‘서울스토어’를 운영 중이며, 판매자에게 물류와 운영을 지원하는 통합 서비스인 ‘헬피’도 제공하고 있습니다. 뉴넥스는 2024년 기준 누적 거래액 1.8조 원, […]
단, 두개의 AWS Lambda 함수로 Amazon OpenSearch, Amazon Bedrock 기반 이미지 검색 애플리케이션 구축하기
생성형 AI의 등장과 이와 더불어 관련 검색 기술이 빠르게 발전하면서, 기존 텍스트 매칭에서 벡터 기반 검색으로의 전환이 크게 주목받고 있습니다. 단순한 키워드 일치 방식은 이제 더 이상 충분하지 않을 수 있습니다. 이미지나 문장 등 비정형 데이터에서 의미적 유사성을 찾는 것이 점점 더 효과적으로 사용되어지고 이에 따라 점점 중요해지고 있기 때문입니다. 벡터 기반 검색은 이러한 요구를 […]
Amazon OpenSearch Service의 검색 엔진으로서의 기능 설명
이 글은 AWS Big Data Blog에 게시된 ‘Amazon OpenSearch Service’s vector database capabilities explained‘을 기반으로 한국어로 번역 및 신기능과 관련된 사항을 최신화하였습니다. 개요 OpenSearch는 검색, 분석, 보안 모니터링 및 통합 가시성 애플리케이션을 위한 확장 가능하고 유연하며 확장 가능한 오픈 소스 소프트웨어 제품군으로, Apache 2.0 라이선스에 따라 라이센스가 부여됩니다. 지연 시간이 짧은 검색 및 집계를 제공하는 […]
OpenSearch에서 수십억 규모 검색을 위한 적합한 k-NN 알고리즘을 선택하기
조직에서 자연어 처리(NLP) 시스템, 추천 엔진이나 검색 기반 시스템과 같은 머신 러닝(ML) 애플리케이션을 만들려고 할 때, 일정 수준 이상의 단계에서 k-Nearest Neighbor(k-NN) 검색을 쓰게 됩니다. 하지만 데이터 포인트가 수억 개에서 수십억 개까지 늘어나면, k-NN 검색 시스템을 확장하는 게 정말 큰 난제가 될 수 있습니다. 이럴 때 Approximate k-Nearest Neighbor (ANN) 검색을 적용하면 이 문제를 잘 […]
Amazon Bedrock과 OpenSearch를 활용한 Multimodal RAG 기반 상품 검색 챗봇
이 글에서는 Multimodal LLM과 Multimodal Embedding을 활용하여 Multimodal RAG를 구현하는 몇 가지 방법을 제안하고, 하나의 예시 애플리케이션으로 패션 상품 검색을 위한 챗봇 구현 방안을 소개합니다. 주요 기술 개념 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 대규모 언어 모델 (Large Language Model, LLM)이 응답을 생성하기 전에, 외부 지식 소스를 참조하여 보다 정확하고 풍부한 답변을 생성하도록 개발된 기술입니다. […]
Amazon Personalize와 Amazon OpenSearch Service를 사용한 AI기반 개인화 검색 구현하기
본 게시물은 AWS Machine Learning Blog에 James Jory 님, Reagan Rosario님이 공저한 “Unlock personalized experiences powered by AI using Amazon Personalize and Amazon OpenSearch Service” 원문을 한국어로 번역 및 편집한 글입니다. OpenSearch는 검색, 분석, 보안 모니터링, 통합 가시성 애플리케이션을 위한 확장 가능하고 유연하며 확장 가능한 오픈 소스 소프트웨어 제품군으로, Apache 2.0 라이선스를 따릅니다. Amazon OpenSearch […]
Amazon Bedrock으로 Multi Modal 문서에 대해 RAG 적용 하기
검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]
Amazon OpenSearch Service의 AI/ML 커넥터로 Neural 검색 강화
OpenSearch 2.9에서 Amazon OpenSearch Service의 Neural 검색 기능이 출시되며, AI/ML 모델과 통합하여 시맨틱 검색 및 다양한 검색 기능을 손쉽게 강화할 수 있습니다. OpenSearch Service는 2020년에 k-NN(k-최근접 이웃) 기능을 도입한 이래 어휘 검색과 벡터 검색을 모두 지원해 왔지만, 시맨틱 검색을 구성하려면 머신 러닝(ML) 모델을 통합하여 색인 및 검색할 수 있는 프레임워크를 구축해야 했습니다. Neural 검색 기능은 […]
Amazon OpenSearch Service Integration 기능을 활용한 손쉬운 임베딩 파이프라인 구성
서론 최근 자체적인 생성형 AI를 만들기 위한 여러가지 노력들이 있습니다. 특히 검색 증강 생성(Retrieval Augmented Generation, RAG) 모델을 활용하여 외부 소스의 정보를 사전에 지식 데이터베이스로 사용하며 생성형 AI 모델의 정확성과 신뢰성을 향상시키기 위해 다양한 방법으로 실험이 진행 되고 있습니다. Amazon OpenSearch Service는 Vector Database로 많은 사랑을 받고 있으며 2.9 버전부터 Neural Search 기능이 출시됨에 따라 […]