Amazon Elasticsearch Service용 저비용 대용량 스토리지 UltraWarm 정식 출시 (서울 리전 포함)

지난 AWS re:Invent 2019에서 미리보기로 출시된 Amazon Elasticsearch Service용 UltraWarm을 오늘 정식 출시합니다.

새로운 이 저렴한 스토리지 티어는 기존 Amazon Elasticsearch Service 스토리지 티어 비용의 1/10에 불과한 비용으로 최대 3PB의 로그 데이터에 대한 신속한 대화식 분석을 제공합니다.

UltraWarm은 Amazon Elasticsearch Service 고객이 기대하는 명확한 대화식 경험과 함께 오래되고 자주 액세스하지 않는 데이터를 위한 저렴한 스토리지를 제공하여 기존 Amazon Elasticsearch Service 핫 스토리지를 보완합니다. Amazon Elasticsearch Service는 데이터를 Amazon S3에 저장하는 반면, AWS Nitro System을 기반으로 빌드된 사용자 지정 최적화 노드를 사용하여 데이터를 캐시하고, 미리 가져오며, 쿼리합니다.

Amazon Elasticsearch Service의 사용 사례는 웹 사이트용 검색 시스템 개발 및 애플리케이션 또는 인프라 로그에서 데이터 분석에 이르기까지 다양합니다. 이러한 새로운 스토리지 티어는 로그 데이터가 대용량인 고객에게 매우 적합할 것으로 생각됩니다.

Amazon Elasticsearch Service는 대량의 로그 데이터를 수집하고 대화식으로 분석할 수 있는 기능으로 인기 있는 로그 분석 서비스입니다. 마이크로 서비스 및 컨테이너를 사용하여 애플리케이션을 개발하는 개발자가 증가함에 따라 로그 데이터가 폭발적으로 증가하고 있습니다. 수개월 또는 수년에 해당하는 데이터를 저장 및 분석하는 것은 크기로 인해 많은 비용이 소요되며, 이로 인해 고객은 여러 분석 도구를 사용하거나 소중한 데이터를 삭제하게 되어 장기 데이터가 제공하는 중요한 통찰력을 잃게 될 수 있습니다.

AWS는 이러한 문제를 해결하고 개발자, DevOps 엔지니어 및 InfoSec 전문가가 며칠을 들여 아카이브에서 데이터를 복원해 Amazon Elasticsearch Service 클러스터에 검색이 가능한 활성 상태로 전환할 필요 없이 최근 및 장기 운영 데이터를 분석할 수 있도록 UltraWarm을 개발했습니다.

AWS Management Console에 새 도메인을 생성하여 이러한 새 스토리지 티어를 사용하는 방법에 대해 살펴보겠습니다.

우선 Amazon Elasticsearch Service 콘솔로 이동하여 [새 도메인 생성] 버튼을 클릭합니다. 그러면 새 클러스터를 설정할 수 있는 워크플로가 진행되며, 대부분의 경우 UltraWarm을 사용하여 새 도메인을 설정하는 것은 일반 도메인을 설정하는 것과 동일하지만, 다르게 설정해야 하는 몇 가지 사항에 대해 소개하겠습니다.

워크플로의 1단계에서 프로덕션 배포 유형을 생성하기 위한 라디오 버튼을 클릭하고 [다음]을 클릭합니다.

2단계에서 구성을 계속 진행합니다. 그리고 마지막에 [UltraWarm 데이터 노드 사용] 확인란을 선택한 후 사용할 인스턴스 유형을 선택합니다. 그러면 기본 ultrawarm1.medium.elasticsearch로 이동되고 3개를 요청합니다. 여기에는 노드가 최소 2개 이상이어야 하는 요구 사항이 있습니다.

설정을 제외한 모든 사항은 일반 Amazon Elasticsearch Service 설정과 동일합니다. 클러스터를 설정한 후, 대시보드로 이동하여 새로 생성한 도메인을 선택합니다. 대시보드에서는 새로 생성한 도메인에 UltraWarm 데이터 노드가 3개 있으며 각각에는 1516(GiB)의 가용 스토리지 공간이 있는 것을 확인할 수 있습니다.

새 도메인에서는 UltraWarm을 사용할 수 있을 뿐만 아니라 AWS Management Console, CLI 또는 SDK를 통해 기존 도메인에서 사용하도록 활성화할 수도 있습니다.

UltraWarm 노드가 설정되면, 다음 요청을 사용하여 핫에서 웜으로 인덱스를 마이그레이션할 수 있습니다.

POST _ultrawarm/migration/my-index/_warm

그러면 다음 요청을 사용하여 마이그레이션의 상태를 확인합니다.

GET _ultrawarm/migration/my-index/_status
{
  "migration_status": {
    "index": "my-index",
    "state": "RUNNING_SHARD_RELOCATION",
    "migration_type": "HOT_TO_WARM",
    "shard_level_status": {
      "running": 0,
      "total": 5,
      "pending": 3,
      "failed": 0,
      "succeeded": 2
    }
  }
}

UltraWarm은 서울 리전을 포함하여 현재 전 세계 22개 리전의 Amazon Elasticsearch Service 버전 6.8 이상에서 이용할 수 있습니다.

– Martin

Amazon Web Services 한국 블로그

Amazon Elasticsearch Service용 저비용 대용량 스토리지 UltraWarm 정식 출시 (서울 리전 포함)

주요 링크 모음

팔로우하기