AWS 기술 블로그
Amazon ECS와 AWS Fargate를 사용하여 AWS CDK Python으로 Langfuse 호스팅하기
인공지능, 특히 대형 언어 모델(LLM)의 개발 및 배포 분야에서 Langfuse는 혁신적인 플랫폼으로 부상하고 있습니다. Langfuse는 개발팀이 공동으로 LLM 애플리케이션을 디버깅하고, 분석하며, 반복 개선을 할 수 있도록 도와주는 오픈 소스 LLM 엔지니어링 플랫폼입니다. 이 블로그 포스팅에서는 AWS Cloud Development Kit (CDK)를 활용하여 Amazon Elastic Container Registry (ECR) 및 Amazon Elastic Container Service (ECS)와 AWS Fargate를 사용하여 […]
DSRV에서 AWS 서비스를 활용한 안정적인 밸리데이터 노드 운영 사례
흔히 잘 알려진 이더리움, 솔라나 등의 블록체인은 대부분 독립적인 네트워크로 존재하며 다른 블록체인과의 통신 기능이 없습니다. 이에 따라 파편화된 블록체인 생태계에서 상호운용성(interoperability)에 대한 필요성이 대두되며, 단순한 토큰 전송을 넘어 체인간 메시지 전달까지 지원하는 프로토콜이 등장하였습니다. 이러한 배경에서 주목 받고 있는 하이퍼레인은 독립적인 네트워크를 가진 다양한 체인간의 통신을 가능하게 해주는 비허가형(permissionless) 상호운용성 프로토콜입니다. 하이퍼레인은 한 체인에서 […]
Amazon SageMaker와 Airflow를 이용한 SK브로드밴드의 MLOps 플랫폼 구축 사례
SK브로드밴드는 ASDL 상용화, Pre-IPTV 서비스 제공 등 통신 방송 시장을 선도하며, 동시에 미디어 비즈니스 모델 다변화를 통한 종합 미디어 플랫폼 기업으로 성장하고 있습니다. SK텔레콤과 One Body 체계로 T-B 시너지를 극대화하여 AI/DT 기반 미디어, B2B, 인프라 분야를 확장해나가고 있습니다. 이제는 ‘AI COMPANY’라는 전사 지향점을 중심으로 비즈니스 전 영역에 걸친 AI 전환을 추진하여 사업 경쟁력을 지속적으로 강화해 […]
Amazon Connect 상담원 워크스페이스를 위한 단계별 가이드 시작하기
이 글은 AWS Contact Center Blog에 게시된 Getting started with step-by-step guides for the Amazon Connect agent workspace by David Kocen, Danbee Park, and Luke Warneminde 을 한국어 번역 및 편집하였습니다. 컨택 센터가 직면하는 가장 큰 어려움 중 하나는 신규 상담원이 상담 애플리케이션을 빠르게 익힐 수 있도록 교육하는 것입니다. 상담원이 숙련될 때까지, 최종 고객의 요구 […]
AWS CDK를 활용한 OpenAI Whisper 모델 Amazon SageMaker Endpoint 배포 자동화
OpenAI Whisper 모델은 MIT 라이선스를 가진 자동 음성 인식(Automatic Speech Recognition, ASR) 및 음성 번역을 위한 사전 훈련 모델입니다. OpenAI Whisper 모델은 CNN과 Transformer 아키텍처를 결합한 모델로, 68만 시간의 라벨링된 데이터로 훈련되었으며, 작은 크기에도 불구하고 높은 정확도를 보입니다. 특히 파인튜닝(fine-tuning) 없이도 다양한 데이터셋과 도메인에 잘 일반화되는 것이 큰 장점입니다. 또한 전사(transcribe), 번역, 언어 식별, 발화자 […]
AWS 기술 파트너와 함께 구축한 푸드테크 기업 식신의 Amazon Bedrock 기반 AI 대시보드 구축기
식신은 월간 350만 명의 사용자들이 이용하는 푸드테크 기업으로, 혁신적인 서비스를 통해 푸드테크 산업의 선두주자로 자리매김하고 있습니다. 식신이 제공하는 두 가지 주요 서비스를 소개합니다. 식신의 맛집 검색 서비스는 약 100만 개의 방대한 맛집 데이터를 기반으로 운영됩니다. 사용자들은 이 서비스를 통해 다양한 맛집을 검색하고, 리뷰를 읽고 작성하며, 사진을 확인할 수 있습니다. 이를 통해 고객들은 자신의 취향에 맞는 […]
Amazon Bedrock의 파운데이션 모델을 활용한 효과적인 PDF 파싱을 위한 프롬프트 엔지니어링 기법
데이터는 현대 비즈니스의 핵심 자산이며, 기업은 이를 문서, 보고서, 계약서 등 다양한 형태의 정보로 변환하여 보유하고 있습니다. 그리고, 이러한 정보의 상당수는 PDF 와 같은 문서 형식으로 저장되어 있습니다. PDF는 문서 공유와 보전에는 편리하지만, 내부 데이터를 추출하고 가치 있는 인사이트를 도출하기에는 다양한 기술적 접근이 고려되어야 합니다. PDF 파일에서 데이터를 추출할 때, 추출 대상이 스캔 된 이미지인 […]
Amazon Bedrock으로 Multi Modal 문서에 대해 RAG 적용 하기
검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]
Task-specialized LLM을 위한 비용 효율적인 서빙 전략: AWS Inferentia2와 Hugging Face Optimum을 활용한 자체 개발 LLM 서빙하기
한때 AI 엔지니어와 많은 연산 자원이 있어야 가능했던 다양한 자연어 처리 작업(task)을 대규모 언어모델(LLM)에 프롬프트 명령 한 줄을 입력하는 것만으로 가능해진 시대가 됐습니다. 텍스트 분류 혹은 QA, 요약, 스타일 변환, 기계번역과 같은 전통적인 자연어 처리 작업들에서 뿐만 아니라 코딩, 수학 문제풀이와 같은 추론 능력이 필요한 작업들에서까지 놀라운 성능을 보이고 있습니다. Claude3 와 GPT4 같은 고성능의 LLM을 […]
Amazon Aurora Blue/Green Deployment를 활용하여 애플리케이션 계층을 포함한 데이터베이스 변경 사전 테스트하기
이 글은 애플리케이션 계층을 포함한 데이터베이스 변경 사전 테스트의 중요성과 사전 테스트를 위한 아키텍처를 소개합니다. 특히 Amazon Aurora의 Blue/Green Deployment를 핵심으로 CQRS(Command Query Responsibility Segregation) 패턴과 Amazon Route53의 트래픽 흐름(Traffic Flow)과 트래픽 정책(Traffic Policy)을 활용한 아키텍처를 다룹니다. Amazon Aurora는 MySQL 및 PostgreSQL과 호환되는 완전 관리형 관계형 데이터베이스이며, 일반적인 데이터베이스 유지보수 작업(백업 및 복구, 패치 등)은 […]