Amazon Web Services 한국 블로그

Amazon OpenSearch Serverless용 벡터 엔진 정식 출시

오늘 저희는 새로운 기능을 갖춘 Amazon OpenSearch Serverless 벡터 엔진의 정식 출시를 발표합니다. 2023년 7월에는 간단하고 확장 가능하며 성능이 뛰어난 유사성 검색 기능인 Amazon OpenSearch Serverless 벡터 엔진의 평가판 배포를 출시했습니다. 벡터 엔진을 사용하면 기본 벡터 데이터베이스 인프라를 관리할 필요 없이 최신 기계 학습(ML) 증강 검색 경험 및 생성형 인공 지능 (생성형 AI) 애플리케이션을 쉽게 구축할 수 있습니다.

이제 수천 차원의 수십억 벡터 임베딩을 밀리초 단위로 저장, 업데이트 및 검색할 수 있습니다. 벡터 엔진의 고성능 유사성 검색 기능을 통해 생성형 AI 기반 애플리케이션은 일관된 밀리초 단위의 응답 시간으로 정확하고 신뢰할 수 있는 결과를 제공할 수 있습니다.

또한 벡터 엔진을 사용하면 동일한 쿼리에서 벡터 검색과 전체 텍스트 검색을 결합하여 하이브리드 검색으로 결과를 최적화하고 조정할 수 있으므로, 별도의 데이터 저장소나 복잡한 애플리케이션 스택을 관리 및 유지할 필요가 없습니다. 벡터 엔진은 안전하고 안정적이며 확장 가능한 엔터프라이즈 지원 플랫폼을 제공하여 프로토타이핑 애플리케이션을 비용 효율적으로 구축한 다음, 생산까지 원활하게 규모를 조정할 수 있습니다.

이제 워크로드를 지원하기 위해 함께 작동하는 임베딩의 논리적 그룹인 벡터 엔진 기반 컬렉션을 생성해 벡터 엔진을 몇 분 만에 시작할 수 있습니다.

벡터 엔진은 컴퓨팅 용량 단위인 OpenSearch 컴퓨팅 유닛(OCUs)을 사용하여 유사성 검색 쿼리를 수집 및 실행합니다. 하나의 OCU는 99%의 재현율로 128개 차원의 경우 최대 2백만 개, 768 차원의 경우 50만 개의 벡터를 처리할 수 있습니다.

OpenSearch Serverless에 구축된 벡터 엔진은 기본적으로 고가용성 서비스입니다. 계정의 첫 번째 컬렉션에는 최소 4개의 OCU(기본 및 예비 복제본을 포함하는 수집용 OCU 2개, 가용 영역에서 활성 복제본 2개가 포함된 검색용 OCU 2개)가 필요합니다. 동일한 AWS Key Management Service(AWS KMS) 키를 사용하는 모든 후속 컬렉션은 해당 OCU를 공유할 수 있습니다.

정식 버전의 새로운 소식
평가판 이후로 Amazon OpenSearch Serverless 벡터 엔진은 검색 증강 세대(RAG) 개념을 사용하여 생성형 AI 애플리케이션을 구축하기 위한 Amazon Bedrock 기술 자료의 벡터 데이터베이스 옵션이 되었습니다.

이번 GA 릴리스에 새로 추가되거나 개선된 몇 가지 기능은 다음과 같습니다.

중복 복제(개발 및 테스트 중심) 옵션 비활성화
평가판 블로그 게시물에서 안내한 바와 같이, 이 기능을 사용하면 가용성 목적으로만 다른 가용 영역에 중복 OCU를 둘 필요가 없습니다. 컬렉션은 두 개의 OCU(하나는 색인용이고 다른 하나는 검색용)와 함께 배포될 수 있습니다. 따라서 중복 복제본을 사용하는 기본 배포에 비해 비용이 절반으로 절감됩니다. 이러한 비용 절감을 고려하면 이 구성은 개발 및 테스트 워크로드에 적합하고 경제적입니다.

이 옵션을 사용하면 벡터 엔진이 Amazon S3의 모든 데이터를 유지하므로 내구성은 계속 보장되지만, 단일 AZ 장애가 발생하면 가용성에 영향을 미칠 수 있습니다.

중복 복제본을 비활성화하려면 새 벡터 검색 컬렉션을 생성할 때 Enable redundancy(중복 활성화)를 선택 취소합니다.

개발 및 테스트 중심 옵션을 위한 프랙셔널 OCU
개발 및 테스트 중심 워크로드에 대한 부분 OCU 요금 청구 지원(즉, 중복 복제 옵션 없음)으로 벡터 검색 컬렉션의 최저 가격을 낮출 수 있습니다. 벡터 엔진은 처음에는 보다 작은 0.5 OCU를 배포하면서 소규모로 동일한 기능을 제공하고, 사용자의 워크로드 수요를 충족하기 위해 전체 OCU까지 그리고 그 이상으로 스케일 업할 것입니다. 이 옵션을 사용하면 벡터 엔진 사용에 대한 실험 시 월별 비용을 더욱 줄일 수 있습니다.

10억 규모의 Automatic scaling
벡터 엔진의 원활한 자동 규모 조정 기능을 사용하면 더 이상 규모 조정 목적으로 다시 색인 할 필요가 없습니다. 평가판 당시에는 약 2천만 개의 벡터 임베딩을 지원했습니다. 벡터 엔진이 정식 출시 되면서 10억 벡터 규모를 지원할 수 있도록 한도를 높였습니다.

정식 출시
Amazon OpenSearch Serverless 벡터 엔진은 이제 Amazon OpenSearch Serverless가 출시된 모든 AWS 리전에서 사용할 수 있습니다.

시작하려면 다음 리소스를 참조합니다.

시도해보시고 AWS Support 문의 또는 Amazon OpenSearch Service용 AWS re:Post로 피드백을 보내주세요.

— Channy