AWS 기술 블로그

Category: Artificial Intelligence

CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리

Amazon Bedrock부터 Claude Platform on AWS, 사내 오픈모델까지 하나의 엔드포인트로 연결해 통제는 강화하고 AI 사용은 멈추지 않도록 설계한 AWSome AI Gateway 기반 LLM Gateway 구축 여정 “문제는 모델이 아니라 통제입니다. 우리는 모든 LLM 호출을 한곳에서 관리하고 정책을 적용할 수 있도록 중앙 게이트웨이(Central Gateway)로 설계했습니다.” 1. 흩어진 LLM을 왜 하나로 모았을까? 전사 AX를 추진하면서 일부 개발자가 […]

AWS에서 AI 에이전트 실행 환경 격리하기 3부: 에이블리의 Amazon EKS 기반 Agent Sandbox 운영 사례

에이블리코퍼레이션(ABLY Corp, 이하 에이블리)은 “셀러와 유저가 상생하는 스타일 생태계”를 목표로 스타일 커머스 플랫폼 에이블리를 운영하는 기업입니다. 자체 개발한 AI 개인화 추천 기술을 기반으로 이용자 취향에 맞는 쇼핑 경험을 제공하고 있으며, 국내를 넘어 글로벌 시장으로도 사업을 확장하고 있습니다. 에이블리 앱의 월간 활성 사용자(MAU)는 1,000만 명을 돌파했으며, 누적 다운로드는 6,000만 회, 누적 리뷰는 1억 개를 넘어섰습니다. 에이블리는 […]

AWS Lambda Web Functions 실전 가이드 2부: Amazon Bedrock AgentCore Runtime V2 에이전트를 위한 BFF 구성

AI 에이전트를 웹 서비스로 공개하려면 브라우저와 에이전트 런타임 사이에 한 계층이 더 필요합니다. 브라우저에는 AWS 자격 증명을 둘 수 없고, 사용자 대화를 런타임 세션과 이어 주며 에이전트의 토큰 스트림을 끊김 없이 전달할 곳도 있어야 합니다. 이 계층을 BFF(Backend for Frontend, 프런트엔드 전용 백엔드)라고 부릅니다. 1부에서는 AWS Lambda Web Functions를 소개했습니다. Web Functions는 표준 HTTP 서버를 […]

기존 LangGraph 워크플로우를 Amazon Bedrock AgentCore Runtime으로: 아이지에이웍스 클레어의 프로덕션 이관과 운영 경험

이 글은 AWS와 아이지에이웍스가 함께한 프로젝트의 프로덕션 이관 경험을 다룹니다. 1부에서는 Agentic 프로토타입의 설계와 평가를 소개했습니다. 2부에서는 기존 서비스의 실행 환경을 이관한 과정과 이관에서 확인한 성능·운영 특성을 살펴봅니다. 들어가며 클레어(Claire)는 아이지에이웍스의 CDP & CRM 통합 플랫폼 디파이너리(DFINERY)에 내장된 AI 분석 에이전트입니다. Text-to-SQL 기반으로 마케터의 자연어 질문을 정확한 SQL 쿼리로 변환해 실행하고, 결과를 해석한 답변까지 제공합니다. […]

아이지에이웍스 클레어의 Agentic AI PoC 여정: Amazon Bedrock AgentCore로 설계하고 평가하기

이 글은 AWS와 아이지에이웍스가 함께 진행한 프로토타입 검증 프로젝트를 아이지에이웍스 문석민·장소진 님과 공동으로 작성했습니다. 1부는 프로토타입 설계와 평가를, 2부는 프로덕션 이관과 운영 경험을 다룹니다. 들어가며 아이지에이웍스는 AI 기반의 SCI(Synthetic Consumer Intelligence) 기술로 기업이 소비자를 이해하고 시장을 예측해 성장할 수 있도록 돕는 AI 빅데이터 테크 기업입니다. 20년간 축적해 온 실제 소비자 행동 데이터를 학습해, 과거 데이터를 […]

W컨셉, AWS Transform과 Kiro로 .NET 10까지 대규모 현대화 여정

 W컨셉은 ‘알려지지 않은 우수한 국내 디자이너 브랜드 판로를 개척한다’는 목표로 설립되어 국내 디자이너 브랜드를 가장 먼저 발굴해 온 대한민국 대표 패션 플랫폼입니다. W컨셉은 패션, 뷰티, 라이프스타일에 이르기까지 독창적인 디자인과 감성을 담은 디자이너 브랜드의 의류·잡화부터 취향을 넓히는 라이프스타일 아이템까지 스타일을 완성하는 차별화된 경험을 선사합니다. W컨셉은 대한민국 대표 패션·라이프스타일 플랫폼으로, 독보적인 브랜드 큐레이션과 고객 데이터를 결합하여 패션 […]

AI 에이전트 시대의 기업 토큰 경제학: 비용 방정식으로 측정하고 Amazon Bedrock에서 줄이기

지난 반년 동안 여러분 조직의 AI 청구서는 몇 배가 되었습니까? 그 증가분에서 사람이 요청한 일과 에이전트가 스스로 벌인 일을 지금 대시보드에서 구분해 볼 수 있습니까? Claude Code, Codex 같은 코딩 에이전트가 코드 작성과 리뷰, 장애 분류, 데이터 조회를 맡으면서 토큰(token, 모델이 텍스트를 읽고 쓰는 최소 단위)은 CPU 시간이나 데이터 전송량 같은 비용 단위가 되었습니다. 다른 […]

AWS에서 AI 에이전트 실행 환경 격리하기 2부: Amazon EKS와 Agent Sandbox, 개념과 구성

1부에서는 Kubernetes SIG Apps의 Agent Sandbox v1.0.5를 Amazon EKS 1.36 클러스터에 gVisor와 함께 구성하고, 신뢰할 수 없는 코드를 막는 4개 격리 계층을 구성한 뒤, 그중 Pod 보안 설정과 gVisor 계층을 확인했습니다. 나머지 NetworkPolicy와 전용 노드 그룹의 IMDS 설정은 2부 1파트에서 확인합니다. 2부에서는 이 구성을 운영 환경에 올릴 때 확인해야 할 내용을 다룹니다. NetworkPolicy와 DNS 경로, […]

AWS에서 AI 에이전트 실행 환경 격리하기 1부: Amazon EKS와 Agent Sandbox, 개념과 구성

조직 안에서 AI 에이전트를 만드는 구성원이 빠르게 늘고 있습니다. 여러 팀이 각자 목적에 맞는 에이전트를 만들고, 이 에이전트들은 EKS 클러스터의 Pod에서 모델이 생성한 코드를 자유롭게 실행합니다. 편리한 만큼, 검증되지 않은 코드가 공용 클러스터의 노드와 자격 증명 바로 옆에서 실행된다는 뜻이기도 합니다. 조직 내에서 코드를 작성하고 실행하는 AI 에이전트를 Amazon EKS에 올리려면 두 가지 설계 원칙을 […]

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

“팀원들이 AI 코딩 도구를 쓰고 싶어 하는데, 키는 누가 어떻게 나눠주죠?” 생성형 AI를 도입하는 조직이라면 어디서든 나오는 질문입니다. 저희는 이 질문에 조금 다른 순서로 답했습니다. 전사 플랫폼을 하향식으로 기획하는 대신, 사내에서 AI를 가장 많이 쓰는 팀이 자기 팀을 위해 먼저 만들고, 검증한 뒤 확대를 고민하기로 한 것입니다. 이 글은 F&F의 AI Engineering 팀이 Amazon Bedrock […]