Amazon Web Services 한국 블로그

Amazon OpenSearch Service 출시 및 OpenSearch 1.0 지원 시작

2015년에, AWS는 대화형 로그 분석, 실시간 애플리케이션 모니터링, 웹 사이트 검색 등을 손쉽게 수행할 수 있는 완전관리형 서비스인 Amazon Elasticsearch Service(Amazon ES)를 출시했습니다.

Amazon ES는 대량의 로그 데이터를 수집할 수 있기 때문에 로그 분석에 널리 사용되는 서비스입니다. 또한 UltraWarm 및 콜드 스토리지 계층을 사용하면 Amazon ES에서 기존 핫 스토리지의 1/10까지 비용을 절감할 수 있습니다. Amazon ES는 Logstash, Amazon Kinesis Data Firehose, Amazon CloudWatch Logs 및 AWS IoT와 통합되므로 사용 사례 요구 사항에 맞는 안전한 데이터 수집 도구를 선택할 수 있습니다.

개발자는 여러 가지 이유로 오픈 소스 소프트웨어를 채택하고 있습니다. 가장 중요한 이유 중 하나는 원하는 곳에서 소프트웨어를 자유롭게 사용할 수 있다는 것입니다. 2021년 1월 21일, Elastic NV는 소프트웨어 라이선스 전략을 변경할 것이라고 발표했습니다. Elasticsearch 버전 7.10.2 및 Kibana 7.10.2 이후, Elastic NV는 Apache License의 허용 2.0 버전(ALv2)에 따라 Elasticsearch 및 Kibana의 새로운 버전을 출시하지 않을 것입니다. 대신, Elastic NV는 Elastic License 또는 Server Side Public License(SSPL)에 따라 소스 코드를 사용할 수 있는 Elastic 라이선스 아래에서 Elasticsearch 및 Kibana를 출시합니다. 이러한 라이선스는 오픈 소스가 아니며 사용자에게 오픈 소스와 동일한 자유를 제공하지 않습니다.

이러한 이유로 AWS는 Elasticsearch와 Kibana의 마지막 ALv2 버전에서 커뮤니티 중심의 오픈 소스 포크인 OpenSearch를 만들고 유지하기로 결정했습니다. AWS는 OpenSearch 프로젝트와 최근에 출시된 1.0 버전에 장기 투자를 하고 있습니다.

OpenSearch는 사용자가 데이터를 쉽게 탐색할 수 있는 통합 시각화 도구인 OpenSearch Dashboards를 통해 대량의 데이터에 빠르게 액세스하고 응답할 수 있는 확장성이 뛰어난 시스템을 제공합니다. OpenSearch 및 OpenSearch Dashboards는 원래 Elasticsearch 7.10.2와 Kibana 7.10.2에서 파생되었습니다. Elasticsearch 및 Apache Solr와 마찬가지로 OpenSearch는 Apache Lucene 검색 라이브러리를 기반으로 합니다.

Amazon OpenSearch Service 발표
AWS는 Amazon Elasticsearch Service의 이름을 Amazon OpenSearch Service로 변경했습니다. 이제 OpenSearch 1.0을 지원하기 때문입니다. 이름이 변경되었지만 지속적인 운영, 개발 방법론 또는 비즈니스 용도에 부정적인 영향을 주지 않으면서 동일한 환경을 계속 제공할 것입니다.

Amazon OpenSearch Service는 ALv2 Elasticsearch 7.10 이전 버전과 OpenSearch 1.0의 현재 사용 가능한 19개 버전을 포함하여 배포 및 실행할 수 있는 다양한 오픈 소스 엔진을 제공합니다. AWS는 보안 및 버그 수정을 통해 ALv2 Elasticsearch 버전을 계속 지원하고 유지할 것입니다. 또한 OpenSearch 및 OpenSearch Dashboards를 통해 완전히 새로운 기능을 제공할 예정입니다. Amazon OpenSearch Service API는 기존 서비스 API와의 이전 버전 호환을 지원하므로 현재 클라이언트 코드나 애플리케이션을 업데이트할 필요가 없습니다. OpenSearch 클라이언트는 오픈소스와 호환되도록 계속 유지할 것입니다.

시작하려면 AWS 관리 콘솔에서 [Create a domain(도메인 생성)]을 선택합니다. [Step 1: Choose deployment type(1단계: 배포 유형 선택)]에서 [OpenSearch 1.0 (latest)(OpenSearch 1.0 (최신))]를 선택합니다.

새 클러스터를 배포하고 최신 기능 및 향상된 기능에 액세스하려는 경우 OpenSearch 1.0을 사용하는 것이 좋습니다. OpenSearch 1.0은 오픈 소스 Elasticsearch 7.10 API 및 대부분의 클라이언트와 호환됩니다.

OpenSearch 1.0으로 업그레이드
Amazon OpenSearch Service는 기존 Elasticsearch 6.x 및 7.x 관리형 클러스터에서 데이터 마이그레이션 없이 OpenSearch로 원활하게 업그레이드할 수 있는 방법을 제공합니다. AWS 관리 콘솔에서 도메인을 OpenSearch 1.0으로 업그레이드하려면 업그레이드할 도메인을 선택하고 [Actions(작업)]를 선택한 다음, [Upgrade domain(도메인 업그레이드)]을 선택합니다.

그런 다음, 별도의 도메인을 만들고 데이터를 마이그레이션하지 않고도 기존 도메인에 대해 OpenSearch 1.0으로 업그레이드할 버전을 선택할 수 있습니다.

업그레이드 프로세스는 되돌릴 수 없습니다. 즉, 일시 중지하거나 취소할 수 없습니다. 업그레이드 중에는 도메인에 대한 구성을 변경할 수 없습니다. 업그레이드를 시작하기 전에 업그레이드 전 검사를 수행하여 업그레이드를 차단할 수 있는 문제를 확인하고 [Check upgrade eligibility(업그레이드 자격 확인)]를 선택하여 클러스터의 스냅샷을 만들 수 있습니다.

Amazon OpenSearch Services에서 업그레이드를 시작합니다. 업그레이드를 완료하는 데 15분에서 몇 시간이 걸릴 수 있습니다. 자세한 내용은 Amazon OpenSearch Service 개발자 가이드의 Upgrading Elasticsearch(Elasticsearch 업그레이드) 및 Service Software Updates(Service 소프트웨어 업데이트)를 참조하십시오.

OpenSearch 기능
OpenSearch는 이전에 오픈 소스 Elasticsearch에서 사용할 수 없었던 다음과 같은 기능을 제공합니다.

기능 설명
고급 보안 암호화, 인증, 권한 부여, 감사 기능을 제공합니다. 여기에는 Active Directory, LDAP, SAML, Kerberos, JSON 웹 토큰 등과의 통합이 포함됩니다. OpenSearch는 인덱스, 문서, 필드에 대한 세분화된 역할 기반 액세스 제어도 제공합니다.
SQL 쿼리 구문 익숙한 SQL 쿼리 구문을 제공합니다. 집계, 그룹화 기준, where 절을 사용하여 데이터를 조사합니다. 데이터를 JSON 문서 또는 CSV 테이블로 읽으므로 가장 적합한 형식을 유연하게 사용할 수 있습니다.
보고 대시보드, 저장된 검색, 알림, 시각화에서 보고서를 예약하고 내보내며 공유할 수 있습니다.
이상 탐지 Random Cut Forest(RCF) 알고리즘에 기반한 기계 학습 이상 탐지를 사용하여 데이터가 수집될 때 이상 징후를 자동으로 탐지합니다. 알림과 결합하여 거의 실시간으로 데이터를 모니터링하고 경고 알림을 자동으로 전송합니다.
인덱스 관리 사용자 지정 정책을 정의하여 롤오버 및 삭제와 같은 일상적인 인덱스 관리 작업을 자동화하고, 이를 인덱스와 인덱스 패턴, 변환에 적용합니다.
성능 분석기 및 RCA 프레임워크 수많은 클러스터 성능 지표 및 집계를 쿼리합니다. 명령줄 인터페이스(CLI)인 PerfTop을 사용하여 이러한 지표를 신속하게 표시하고 분석할 수 있습니다. 근본 원인 분석(RCA) 프레임워크를 사용하여 클러스터의 성능 및 안정성 문제를 조사합니다.
비동기 검색 백그라운드에서 실행되는 비동기 검색 쿼리를 사용하여 쿼리 시간 초과에 대한 걱정 없이 복잡한 쿼리를 실행할 수 있습니다. 쿼리 진행 상황을 추적하고 사용 가능한 경우 부분 결과를 검색합니다.
추적 분석 분산 애플리케이션을 위한 OpenElemetry 데이터를 수집하고 시각화합니다. 이러한 애플리케이션 간의 이벤트 흐름을 시각화하여 성능 문제를 식별합니다.
알림 제공 데이터를 자동으로 모니터링하고 이해 관계자에게 경고 알림을 보냅니다. 직관적인 인터페이스와 강력한 API를 통해 알림을 쉽게 설정, 관리, 모니터링할 수 있습니다. OpenSearch의 전체 쿼리 언어 및 스크립팅 기능을 사용하여 매우 구체적인 알림 조건을 만들 수 있습니다.
k-NN 검색 기계 학습을 사용하면 일반 OpenSearch 쿼리를 실행할 때와 마찬가지로 쉽게 수천 개의 차원에 걸쳐 수십억 개의 문서에 대해 최근접 이웃 검색 알고리즘을 실행할 수 있습니다. aggregations 및 filter 절을 사용하여 유사성 검색 작업을 더욱 세분화할 수 있습니다. k-NN 유사성 검색은 제품 추천, 사기 탐지, 이미지 및 비디오 검색, 관련 문서 검색 등과 같은 사용 사례를 지원합니다.
파이프 처리 언어 데이터를 쿼리하는 데 파이프(|)로 구분된 포괄적인 명령 집합을 사용하여 익숙한 쿼리 구문을 제공합니다.
대시보드 노트북 대시보드, 시각화, 텍스트 등을 결합하여 데이터를 분석할 때 컨텍스트와 자세한 설명을 제공합니다.

OpenSearch 1.0은 기존 Elasticsearch 버전에서는 사용할 수 없는 세 가지 새로운 기능(Amazon OpenSearch Service에서 지원)인 OpenSearch Dashboards의 변환, Data Streams 및 노트북을 지원합니다.

OpenSearch 커뮤니티에 대한 참여를 독려하기 위해 AWS는 GitHub를 통해 버그 수정, 성능 및 안정성 개선 또는 새로운 기능 추가를 위한 풀 요청을 환영합니다. OpenSearch 커뮤니티 포럼에 피드백을 남길 수 있습니다.

정식 출시
오늘부터 모든 AWS 리전에서 Amazon Elasticsearch Service의 이름이 Amazon OpenSearch Service로 변경되었습니다. 자세한 내용은 Amazon OpenSearch Service 페이지를 참조하십시오.

Amazon OpenSearch Service의 AWS 포럼을 통해 또는 평소 이용하는 AWS Support 연락처를 통해 피드백을 보내실 수 있습니다.

– Channy