Amazon Lookout for Metrics 미리보기 – 비즈니스 상태를 모니터링하기 위한 이상 탐지 서비스

기계 학습(ML)으로 지표에서 이상을 탐지하여 ML 경험이 없어도 사전에 비즈니스 상태를 모니터링하고 문제를 진단하며 빠르게 기회를 찾을 수 있도록 지원하는 새로운 서비스, Amazon Lookout for Metrics를 소개합니다.

Lookout for Metrics는 Amazon이 오탐을 줄이면서 데이터에서 찾기 어려운 이상한 변경 사항을 탐지하는 데 사용하던 기술을 동일하게 사용합니다. 또한 유사한 결과를 그룹화하고 심각도별로 순위를 매기며 이상의 근본 원인을 파악하기 위한 정보를 제공합니다.

이 서비스는 매출, 웹 페이지 보기, 일일 활성 사용자, 이탈률, 거래량, 모바일 앱 설치 등과 같은 다양한 지표에서 사용할 수 있습니다. 오늘 Lookout for Metrics 서비스의 미리보기가 출시되었습니다.

이상 탐지를 위해 Amazon Lookout for Metrics를 사용해야 하는 이유는 무엇인가요?
모든 업계의 조직이 기술과 자동화를 통해 비즈니스의 효율성을 향상시키고자 합니다. 당면 과제는 다를 수 있지만, 공통된 사항은 결함과 기회를 조기에 파악하는 역량을 갖추는 것이고 이를 통해 자재 비용 절감, 마진 증가 및 고객 경험 향상의 효과를 얻을 수도 있다는 점입니다. 전통적으로 조직은 많은 데이터에 대한 수동 감사에 의존하고 있습니다. 이러한 작업 방식은 확장할 수 없으며 인적 오류가 발생하기 쉽습니다. 종종 정적이기도 한 임의의 범위에서 규칙 기반 방법을 사용하는 조직도 있지만, 이 경우 계절성 변화에 쉽게 적응하지 못하고 너무 많은 오탐으로 이어질 수 있습니다.

이상을 탐지하면 개발자, 분석가 및 비즈니스 소유자는 변경 사항의 근본 원인을 파악하는 데 몇 주가 소요될 수 있습니다. 이러한 상황에서는 ML을 효과적이고 변환 가능한 도구로 사용할 수 있습니다. 하지만 ML 알고리즘은 각 데이터 유형에 대해 신중하게 선택하고 훈련하며 테스트하고 배포해야 하기 때문에 숙련된 ML 전문가 팀이 필요합니다.

비즈니스, 운영 및 고객 경험의 상태를 분석해야 하는 비즈니스 수가 계속 늘어나는 오늘날, Amazon은 데이터 중심 회사로 오랜 역사를 갖고 있습니다. 수 년에 걸쳐 이러한 노력의 핵심은 다양한 트래픽 채널에서의 웹 사이트 방문, 장바구니에 추가된 제품 수, 주문 수, 모든 제품 범주의 매출 등 주요 성과 지표(KPI)에서 이상을 탐지하기 위한 ML 기술 구축 및 개선에 기반합니다.

Amazon Lookout for Metrics는 Amazon에서 사용하는 동일한 ML 기술을 모든 개발자에게 제공합니다. 이 서비스는 데이터에서 이상을 탐지하고 지능적으로 그룹화하며 집계된 결과를 시각화하는 데 도움을 주고 경고를 자동화합니다.

완전관리형 서비스이기 때문에 전체 ML 프로세스만 처리하면 되며 신속하게 시작하고 핵심 비즈니스에 집중할 수 있습니다. 그리고 특히 이 서비스가 이상 현상과 근본 원인 분석의 정확성 및 연관성에 대한 사용자의 실시간 피드백을 통합하여 모델 성능을 지속적으로 개선한다는 점이 중요합니다.

Amazon Lookout for Metrics 작동 방식
AWS Management Console에서 몇 번만 클릭하면 Lookout for Metrics를 시작할 수 있습니다. 코드를 작성하지 않고도 기본 제공 데이터 원본 통합을 통해 데이터를 서비스에 연결합니다. 그러면 Lookout for Metrics가 데이터에 대한 사용자 지정 모델을 훈련하고 마지막으로 사용자가 검토하고 조치를 수행할 수 있도록 이상을 탐지하기 시작합니다.

Lookout for Metrics는 지속적으로 Amazon Simple Storage Service(S3), Amazon Relational Database Service(RDS), Amazon Redshift, Amazon CloudWatch 또는 Amazon AppFlow에서 지원하는 SaaS 통합(예: Salesforce, Marketo, Google Analytics, Slack, Zendesk 등)에 저장된 데이터를 모니터링합니다.

이 단계 중에 데이터 세트의 각 필드에 측정 단위(또는 KPI), 차원 또는 타임스탬프로 플래그를 지정할 수 있습니다. 예를 들어, 모든 디바이스 유형별로 페이지 보기에 대한 이상 변경을 개별적으로 모니터링하려는 경우 측정 단위로 page_views를 선택하고 차원으로 device_type을 선택합니다.

데이터 원본이 구성되고 연결되면 Lookout for Metrics는 분석을 위해 데이터를 검사 및 준비하고 올바른 알고리즘을 선택하여 가장 정확한 이상 탐지 모델을 구축합니다. 이 탐지기는 구성 가능한 케이던스(몇 분마다, 시간별, 일별 등)로 데이터에서 실행되며 민감도를 조정할 수 있는 임계값 다이얼을 제공합니다.

이상을 탐지할 때 Lookout for Metrics는 우선순위 지정을 돕기 위해 심각도 점수를 지정하여 가장 중요한 과제에 초점을 맞추도록 돕습니다. 근본 원인을 쉽게 찾을 수 있도록 동일한 인시던트와 관련될 수 있는 이상을 지능적으로 그룹화하고 다양한 영향의 원인을 요약합니다(아래 참조).

또한 Amazon Simple Notification Service(SNS), Datadog, PagerDuty, Webhooks 또는 Slack을 통해 알림을 전송하는 등 자동 작업도 구성할 수 있습니다. 또는 Lambda 함수를 트리거할 수도 있습니다. 예를 들어, 함수를 트리거하여 잠재적 요금 오류가 탐지된 경우 전자 상거래 사이트에서 제품을 숨길 수 있습니다.

종종 도메인 지식과 전문 지식이 지표의 급격한 변화가 예상된 변화인지, 아니면 이상 현상인지 판단하는 데 중요한 역할을 할 수 있습니다. Lookout for Metrics를 사용하면 탐지된 이상의 연관성에 대한 실시간 피드백을 제공하므로 루프에 사용자를 포함하는 강력한 메커니즘을 지원할 수 있습니다. 이 정보는 정확도를 향상시키기 위해 이상 탐지 모델로 다시 공급됩니다.

현재 누가 Amazon Lookout for Metrics를 사용하고 있을까요?
Digitata Networks는 모바일 네트워크 사업자가 네트워크의 여러 측면을 모니터링하고 감사하며 제어하고 자동화할 수 있도록 지원하는 인텔리전트 고객, 네트워크 및 사이트 중심 솔루션을 제공합니다. 회사의 CTO인 Nico Kruger는 지금까지 Lookout for Metrics를 사용해보면서 그 결과에 만족했습니다.

그리고 이렇게 말했습니다. “Lookout for Metrics가 기존 솔루션의 정확성을 향상시키고 더 나은 인사이트를 제공해줄 수 있다는 점을 알고 서비스를 사용하면서 정말 기뻤습니다… 이제 문제 탐지 뿐만 아니라 기회도 빠르게 파악할 수 있습니다.”

Township, Fishdom, Gardenscapes와 같이 고품질 게임으로 유명한 Playrix는 세계적으로 가장 유명한 모바일 게임 개발자 중 하나로, 이 새로운 서비스를 사용해본 또 다른 고객입니다. Playrix의 기술 책임자인 Mikhail Artyugin은 이렇게 말했습니다. “서비스 작동 방식을 이해하기 위해 사용자 확보 데이터를 실험했고 그 결과 이상을 신속하게 식별하고 분류하여 더 빠르고 효율적으로 작업할 수 있었습니다.”

그리고 이렇게 덧붙였습니다. “Lookout for Metrics를 사용하면서 팀은 여러 시간에 걸친 수동 조사 시간을 단축했고 이제는 알림이 단순한 소음이 아니라 실행 가능한 항목이 되었습니다. 이를 기반으로 팀은 기술 오버헤드를 줄이면서 전략적 우선순위에 더 집중할 수 있습니다.”

마케팅 및 데이터 기술 회사인 NexToll의 선임 직원 엔지니어인 Brian Ecker는 이렇게 말했습니다. “고객을 위한 인사이트와 의도를 포착하기 위해 매일 거의 10억 건의 표현을 작업하다보면 실제 데이터 이상에 대한 빠른 피드백이 필요합니다.”

“Lookout for Metrics 팀과 협력하면서 새로운 서비스가 기존 이상 탐지 프로세스의 정확성을 향상시켜준다는 점을 알고 서비스를 사용하면서 정말 기뻤습니다.”

또한 TensorIoT, Quantiphi, Provectus와 같은 APN 파트너도 Lookout for Metrics의 전문 지식을 갖고 있고 고객이 이 기능을 활용할 수 있도록 지원해줄 수 있다는 점에도 주목해야 합니다.

평가판 출시
Amazon Lookout for Metrics는 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 아시아 태평양(도쿄) 및 EU(아일랜드)에서 평가판으로 출시되었습니다.

AWS Management Console, AWS SDK 및 CLI를 사용하여 서비스와 상호작용할 수 있습니다. 자세한 내용은 기술 문서를 확인하고 다음 링크에서 평가판을 신청하여 빠르게 시작해볼 수 있습니다.

여기에서 Amazon Lookout for Metrics 미리보기에 신청하세요.

– Alex