AWS 기술 블로그
Category: Analytics
우아한형제들의 Data on EKS 중심의 데이터 플랫폼 구축 사례
우아한형제들은 ‘문 앞으로 배달되는 일상의 행복’ 이라는 비전을 실현하기 위해 데이터와 AI를 기반으로 ‘배달의 민족’ 서비스의 사용자 경험을 지속적으로 개선하고 있습니다. 팬데믹 이후 배달시장은 폭발적으로 성장하였고 데이터의 크기 또한 이전과 비교할 수 없을 정도로 증가하였습니다. 기존 데이터 플랫폼은 EC2를 기반으로 하는 EMR과 쿼리 엔진, 데이터 파이프라인 그리고 분석 도구들로 운영되고 있었습니다. EC2 기반의 데이터 플랫폼은 […]
Amazon Data Firehose를 활용한 실시간 OLTP to ICEBERG 구현하기
배경 기존의 빅데이터 프레임워크, 특히 HIVE 기반의 데이터레이크를 클라우드 환경에서 구성 할 경우 큰 규모의 데이터를 저장하고 분석하는 데 있어 효율적입니다. 그러나 트랜잭션을 지원하지 않는 관계로 데이터의 복잡성이 증가 할 경우 성능 저하 및 운영 복잡성을 초래할 수 있습니다. 이러한 기존의 데이터레이크의 한계를 극복하기 위해 오픈 테이블 포맷인 Apache Iceberg가 등장했습니다. Apache Iceberg는 스냅샷 기반의 […]
인터파크트리플의 보안 가시성 확보를 위한 SIEM 구축 사례
일상을 벗어난 모든 즐거움! 인터파크트리플은 광범위한 인벤토리로 전세계 어디든 넓고 깊은 비일상의 경험을 제공하고, 축적된 데이터로 고객을 이해하고 차별화된 컨텐츠로 상상 이상의 경험을 제공하며, 혁신을 주도하는 글로벌 기술 플랫폼을 운영하고 있습니다. 이러한 인터파크트리플에서는 지속적으로 고도화, 지능화되어 가는 위협에 효과적으로 대응하고 가시성 확보를 위하여 기존의 SIEM(Security Information and Event Management) 환경을 새롭게 개선하기 위하여, 표준화된 스키마 […]
Voithru의 이벤트 기반 아키텍처(EDA)를 통한 애플리케이션 현대화
보이스루는 ‘전세계 콘텐츠를 잇다’라는 슬로건 아래, 유튜브, 강의 등의 영상과 웹툰, 웹소설 등 뉴미디어 콘텐츠 번역을 전문으로 하는 콘텐츠 전문 번역 회사입니다. 보이스루는 다양한 콘텐츠 번역 과정에서 사람이 더 쉽고, 빠르게, 그리고 잘 번역할 수 없을까를 고민하며 이를 기술로 풀어내기 위해 노력하고 있습니다. Voithru의 주요 워크로드는 다양한 매체의 콘텐츠 번역, 수많은 파일 유형 처리 및 […]
Amazon Bedrock과 Amazon OpenSearch를 활용한 hy 프레딧의 생성형 AI 기반 검색 서비스 구현 여정
에치와이(hy) & Fredit Mall 소개 1969년 창립한 ‘한국 야쿠르트 유업’은 2021년 사명을 에치와이(hy)로 변경하며 유통전문기업으로 도약했습니다. 창립 55주년을 맞은 에치와이는 국민 발효유 ‘야쿠르트’를 시작으로 발효유 시장을 선도해 왔습니다. 건강기능식품 시장에서 꾸준히 성장해온 에치와이는 2020년 12월 자사몰 ‘프레딧'(Fredit)을 론칭하며 온라인 채널을 본격적으로 강화했습니다. 프레딧은 프로바이오틱스 제품뿐 아니라 신선간편식, 건강기능식품, 뷰티, 생활용품 등 다양한 상품을 제공하고 있습니다. […]
MIDAS IT의 DynamoDB ZeroETL과 Bedrock을 이용한 OpenSearch 자동 임베딩 고객 사례
마이다스아이티(MIDAS IT)는 건축 및 토목 엔지니어링 소프트웨어를 개발하고 수출하는 회사로 미국, 일본, 중국 등 다양한 국가에 서비스를 제공하고 있는 건설분야 CAE(Computer-Aided Engineering) 소프트웨어 세계 최대기업 입니다. 엔지니어링 소프트웨어의 특성상 전문 기술 지원 요청이 글로벌하게 들어오며, 이를 기술 지원 전담 인력이 해결하는데 최소 몇 시간에서 최대 3일 정도가 소요됩니다. 마이다스아이티는 고객에게 더 빠르고 정확한 정보를 전달하고 […]
Amazon MSK에서 SASL/SCRAM 인증으로 접근제어 하기
배경 Amazon MSK(Managed Streaming for Apache Kafka)는 Apache Kafka를 완전 관리형으로 제공하는 서비스로, 데이터 스트리밍 및 처리에 사용됩니다. Amazon MSK는 클러스터 유형에 따라 클러스터의 확장, 구성 및 최적화에 유연성을 제공하는 Amazon MSK 프로비전과, 용량 관리 없이 자동 확장 및 운영이 가능하도록 설계된 서비스인 MSK Serverless로 구분됩니다. Amazon MSK가 제공하는 주요 기능으로 Apache Kafka 클러스터와 외부 […]
뉴넥스의 AWS 서비스를 활용한 검색 시스템 구축과 운영 사례
소개 뉴넥스(NEWNEX)는 2014년에 설립된 패션 이커머스 플랫폼 기업으로, IT 기술을 활용해 커머스와 물류 인프라를 통합하여 ‘하루배송’과 같은 최적의 쇼핑 경험을 제공하고 있습니다. 현재 1020 여성 패션 플랫폼 ‘브랜디’, 남성 쇼핑 플랫폼 ‘하이버’, 여성 브랜드 패션 플랫폼 ‘서울스토어’를 운영 중이며, 판매자에게 물류와 운영을 지원하는 통합 서비스인 ‘헬피’도 제공하고 있습니다. 뉴넥스는 2024년 기준 누적 거래액 1.8조 원, […]
단, 두개의 AWS Lambda 함수로 Amazon OpenSearch, Amazon Bedrock 기반 이미지 검색 애플리케이션 구축하기
생성형 AI의 등장과 이와 더불어 관련 검색 기술이 빠르게 발전하면서, 기존 텍스트 매칭에서 벡터 기반 검색으로의 전환이 크게 주목받고 있습니다. 단순한 키워드 일치 방식은 이제 더 이상 충분하지 않을 수 있습니다. 이미지나 문장 등 비정형 데이터에서 의미적 유사성을 찾는 것이 점점 더 효과적으로 사용되어지고 이에 따라 점점 중요해지고 있기 때문입니다. 벡터 기반 검색은 이러한 요구를 […]
Amazon OpenSearch Service의 검색 엔진으로서의 기능 설명
이 글은 AWS Big Data Blog에 게시된 ‘Amazon OpenSearch Service’s vector database capabilities explained‘을 기반으로 한국어로 번역 및 신기능과 관련된 사항을 최신화하였습니다. 개요 OpenSearch는 검색, 분석, 보안 모니터링 및 통합 가시성 애플리케이션을 위한 확장 가능하고 유연하며 확장 가능한 오픈 소스 소프트웨어 제품군으로, Apache 2.0 라이선스에 따라 라이센스가 부여됩니다. 지연 시간이 짧은 검색 및 집계를 제공하는 […]