Amazon Web Services 한국 블로그
Category: Amazon OpenSearch Service
AWS Security Hub와 OpenSearch를 활용한 SIEM 구성 및 활용 방안
AWS Security Hub는 고객의 Amazon Web Services(AWS) 환경의 보안 현황에 대하여 통합된 가시성을 제공하며, 또한 고객의 AWS 환경을 국제 보안 표준 및 AWS의 보안 권장 사항과 비교하여 차이점을 파악할 수 있도록 돕습니다. 이는 Security Hub가 SIEM(Security Information and Event Management)과 유사한 점을 가지고 있음을 보여줍니다. 그렇지만, Security Hub는 SIEM을 대체할 수 있는 독자적인 도구로 설계되지는 […]
Amazon OpenSearch Service 출시 및 OpenSearch 1.0 지원 시작
2015년에, AWS는 대화형 로그 분석, 실시간 애플리케이션 모니터링, 웹 사이트 검색 등을 손쉽게 수행할 수 있는 완전관리형 서비스인 Amazon Elasticsearch Service(Amazon ES)를 출시했습니다. Amazon ES는 대량의 로그 데이터를 수집할 수 있기 때문에 로그 분석에 널리 사용되는 서비스입니다. 또한 UltraWarm 및 콜드 스토리지 계층을 사용하면 Amazon ES에서 기존 핫 스토리지의 1/10까지 비용을 절감할 수 있습니다. Amazon […]
Amazon Elasticsearch Service 메모리 자동 조정(Auto-Tune) 기능 사용하기
얼마 전 Amazon Elasticsearch Service의 클러스터 리소스를 자동으로 최적화하여 성능과 가용성을 개선하기 위해 메모리 자동 조정(Auto-Tune) 기능을 출시하였습니다. Elasticsearch는 Java Virtual Machine(JVM)에서 실행되며, 많은 수집 볼륨과 검색 워크로드를 지원하는 경우 메모리 설정 조정은 필수적입니다. 자동 조정의 적응형 시스템은 수신 워크로드 성능에 영향을 미치는 리소스 병목 현상을 식별하고 필요한 확장 및 성능을 지원하기 위해 클러스터에서 적절한 […]
Amazon CloudFront 실시간 로그 기능을 통한 대시 보드 생성하기
Amazon CloudFront 는 글로벌 엣지 로케이션 네트워크를 사용하여 짧은 지연 시간과 빠른 전송 속도로 정적 및 동적 웹 콘텐츠를 안전하게 전송하는 콘텐츠 전송 네트워크 (CDN) 서비스입니다. 오늘 부터 CloudFront에서 실시간 로그를 제공하는 새로운 기능을 발표했습니다. CloudFront 실시간 로그에는 수신하는 모든 요청에 대한 자세한 정보를 포함할 수 있기 때문에 운영 시 생기는 문제에 대해 신속하게 대응할 […]
Amazon Elasticsearch Service용 저비용 대용량 스토리지 UltraWarm 정식 출시 (서울 리전 포함)
지난 AWS re:Invent 2019에서 미리보기로 출시된 Amazon Elasticsearch Service용 UltraWarm을 오늘 정식 출시합니다. 새로운 이 저렴한 스토리지 티어는 기존 Amazon Elasticsearch Service 스토리지 티어 비용의 1/10에 불과한 비용으로 최대 3PB의 로그 데이터에 대한 신속한 대화식 분석을 제공합니다. UltraWarm은 Amazon Elasticsearch Service 고객이 기대하는 명확한 대화식 경험과 함께 오래되고 자주 액세스하지 않는 데이터를 위한 저렴한 스토리지를 […]
Amazon Elasticsearch Service – UltraWarm 스토리지 티어 미리 보기 출시
Amazon Elasticsearch Service를 위한 저비용의 완전 관리형 웜(warm) 스토리지 티어인 UltraWarm을 미리보기로 출시합니다. UltraWarm은 Amazon Elasticsearch Service에 핫/웜 티어 스토리지 기능을 제공하는 새로운 접근 방식을 채택했으며, 최대 900TB의 스토리지와 기존 옵션에 비해 최대 90%의 비용 절감 효과를 제공합니다. UltraWarm은 Amazon Elasticsearch Service 환경을 원활하게 확장하므로 사용자는 익숙한 Kibana 인터페이스에서 핫 데이터와 UlltraWarm 데이터 모두 쿼리하고 […]
Open Distro for Elasticsearch 오픈 소스 프로젝트 출시
Elasticsearch는 분산형 문서 지향 검색 및 분석 엔진으로서, 정형 및 비정형 쿼리를 지원하고 사전에 스키마를 정의할 필요가 없습니다. Elasticsearch는 검색 엔진으로 사용될 수 있으며, 종종 웹 규모의 로그 분석, 실시간 애플리케이션 모니터링 및 클릭스트림 분석에 사용됩니다. Elasticsearch는 처음에는 순수한 오픈 소스 프로젝트로 시작되었으나 최근에 추가된 일부 내용에는 독점 기술이 적용되었습니다. 제 동료인 Adrian이 작성한 Keeping […]
Amazon Elasticsearch Service, 한국어 분석을 위한 ‘은전한닢’ 플러그인 지원
Amazon Elasticsearch Service에서 유명한 오픈 소스 한국어 텍스트 분석기인 은전한닢(Seunjeon) 플러그인을 지원합니다. 이를 통해Amazon ES를 사용하는 개발자가 한국어 문서에 대한 전체 텍스트 검색을 쉽게 구현할 수 있습니다. 본 플러그인은 내부적으로 한국어 사전을 사용하며 복합어를 인식하고 문맥에 따라 단어를 구분할 수 있습니다. 각 개발자는 플러그인을 사용하여 토큰화(문자열을 단어로 분리), 형태소 분석(텍스트를 루트 형식으로 변환), 중지 단어 […]
Amazon Elasticsearch Service, VPC 지원 기능 출시
지난주 Amazon VPC 내부에서 NAT 인스턴스나 인터넷 게이트웨이 없이도 Amazon Elasticsearch Service 도메인에 접속할 수 있습니다. Amazon ES용 VPC 지원은 구성하기 쉽고 안정적이면서도 보안이 한층 강화되어 있습니다. VPC 지원을 통해 다른 서비스와 Amazon ES 간 트래픽이 퍼블릭 인터넷과 분리된 AWS 네트워크 내에 완전히 유지됩니다. 기존 VPC 보안 그룹을 사용하여 네트워크 액세스를 관리하고, AWS Identity and […]
Apache Flink를 이용한 AWS기반 실시간 스트림 처리 파이프라인 구성하기
오늘날 비즈니스 환경에서, 다양한 데이터 소스의 꾸준한 증가에 맞추어 데이터는 계속적으로 생성되고 있습니다. 따라서, 원시 데이터의 대규모 스트림을 통해 실행 가능한 통찰력을 얻기 위한 데이터를 지속적으로 수집하고, 저장하고, 처리하는 능력을 갖춘다는 것은 조직의 경쟁력 측면에서 장점이라 하겠습니다. Apache Flink는 스트림 프로세싱 파이프라인의 기반을 갖추는 데 매우 적합한 오픈소스 프로젝트 입니다. 스트리밍 데이터의 지속적인 분석에 적합한 […]