AWS 기술 블로그

Category: Amazon Elastic Kubernetes Service

하나의 플랫폼으로 두 가지 에이전트 런타임 운영하기: 웅진씽크빅의 Amazon Bedrock AgentCore 및 Amazon EKS 기반 플랫폼 구축기

들어가며 AI 에이전트 개발에 대한 수요가 폭발적으로 증가함에 따라 사내 AI 에이전트 및 기반 환경을 관리하기 위한 플랫폼에 대한 관심도도 증가하고 있습니다. AI 에이전트를 개발하기 위해서는 업무에 필요한 도구를 연결하고, 대화 이력을 관리하고, 실행 환경에 배포한 뒤 사용자가 실제로 응답을 받을 수 있는지 확인하는 등 일련의 작업이 요구되며, 에이전트가 늘어날수록 이러한 공통 기능을 여러 팀이 […]

AWS에서 AI 에이전트 실행 환경 격리하기 4부: Amazon Bedrock AgentCore Runtime, 관리형 샌드박스의 동작과 선택 기준

1부와 2부에서는 Amazon EKS에 Agent Sandbox와 gVisor를 구성하고, 모델이 생성한 코드를 막으려면 Pod 보안 설정, gVisor, NetworkPolicy, 전용 노드 그룹의 IMDS 설정이라는 4개 계층이 함께 있어야 한다는 것을 확인했습니다. 3부에서는 에이블리가 Agent Sandbox와 Karpenter로 사내 AI Builder 작업 환경의 수명 주기를 관리하는 사례를 살펴보았습니다. 애플리케이션은 유휴 판단과 작업물 보존을, Agent Sandbox는 Pod의 중단과 재개를, Karpenter는 […]

티맵모빌리티의 기존 운영 워크플로우와 AWS DevOps Agent를 연계한 AIOps 구축 사례

티맵모빌리티는 2천만 명의 등록 사용자와 1,400만 명의 월간 활성 사용자를 보유한 대표 모빌리티 플랫폼으로, 수십 개의 AWS 계정에서 실시간 교통 정보 기반 내비게이션과 운전습관, 대리운전, 숏폼 등 다양한 모빌리티 서비스를 제공합니다. 실시간성이 중요한 서비스 특성 상 짧은 장애도 많은 사용자의 이동 경험에 영향을 줄 수 있기 때문에 장애가 발생하면 어느 서비스와 리소스에서 문제가 발생했는지, 영향 […]

Amazon EKS GitOps를 통한 Amazon Bedrock AgentCore 배포 파이프라인 구성하기

에이전트의 코드와 모델 설정을 변경할 때는 새 버전을 배포하고 정상적으로 응답하는지 확인해야 합니다. Amazon Elastic Kubernetes Service(Amazon EKS)와 GitOps로 애플리케이션을 운영하는 팀이라면, Amazon Bedrock AgentCore에 배포하는 에이전트도 같은 저장소와 배포 절차로 관리할 수 있습니다. 이 글에서는 기존 GitOps 환경을 사용해 Amazon Bedrock AgentCore Runtime에 에이전트를 배포하는 방법을 소개합니다. Helm 차트와 환경별 values를 Git에 기록하면 Argo […]

CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리

Amazon Bedrock부터 Claude Platform on AWS, 사내 오픈모델까지 하나의 엔드포인트로 연결해 통제는 강화하고 AI 사용은 멈추지 않도록 설계한 AWSome AI Gateway 기반 LLM Gateway 구축 여정 “문제는 모델이 아니라 통제입니다. 우리는 모든 LLM 호출을 한곳에서 관리하고 정책을 적용할 수 있도록 중앙 게이트웨이(Central Gateway)로 설계했습니다.” 1. 흩어진 LLM을 왜 하나로 모았을까? 전사 AX를 추진하면서 일부 개발자가 […]

AWS에서 AI 에이전트 실행 환경 격리하기 3부: 에이블리의 Amazon EKS 기반 Agent Sandbox 운영 사례

에이블리코퍼레이션(ABLY Corp, 이하 에이블리)은 “셀러와 유저가 상생하는 스타일 생태계”를 목표로 스타일 커머스 플랫폼 에이블리를 운영하는 기업입니다. 자체 개발한 AI 개인화 추천 기술을 기반으로 이용자 취향에 맞는 쇼핑 경험을 제공하고 있으며, 국내를 넘어 글로벌 시장으로도 사업을 확장하고 있습니다. 에이블리 앱의 월간 활성 사용자(MAU)는 1,000만 명을 돌파했으며, 누적 다운로드는 6,000만 회, 누적 리뷰는 1억 개를 넘어섰습니다. 에이블리는 […]

AWS에서 AI 에이전트 실행 환경 격리하기 2부: Amazon EKS와 Agent Sandbox, 개념과 구성

1부에서는 Kubernetes SIG Apps의 Agent Sandbox v1.0.5를 Amazon EKS 1.36 클러스터에 gVisor와 함께 구성하고, 신뢰할 수 없는 코드를 막는 4개 격리 계층을 구성한 뒤, 그중 Pod 보안 설정과 gVisor 계층을 확인했습니다. 나머지 NetworkPolicy와 전용 노드 그룹의 IMDS 설정은 2부 1파트에서 확인합니다. 2부에서는 이 구성을 운영 환경에 올릴 때 확인해야 할 내용을 다룹니다. NetworkPolicy와 DNS 경로, […]

AWS에서 AI 에이전트 실행 환경 격리하기 1부: Amazon EKS와 Agent Sandbox, 개념과 구성

조직 안에서 AI 에이전트를 만드는 구성원이 빠르게 늘고 있습니다. 여러 팀이 각자 목적에 맞는 에이전트를 만들고, 이 에이전트들은 EKS 클러스터의 Pod에서 모델이 생성한 코드를 자유롭게 실행합니다. 편리한 만큼, 검증되지 않은 코드가 공용 클러스터의 노드와 자격 증명 바로 옆에서 실행된다는 뜻이기도 합니다. 조직 내에서 코드를 작성하고 실행하는 AI 에이전트를 Amazon EKS에 올리려면 두 가지 설계 원칙을 […]

Amazon EKS와 NVIDIA FLARE로 구현하는 연합학습 (Federated Learning)

머신러닝의 학습 과정에서 고품질 모델을 훈련시키려면 대규모의 고품질 데이터가 필수적이며, 이를 준비하는 과정은 보통 여러 출처의 데이터를 한곳에 모으는 작업을 동반합니다. 이 방식은 효과적이지만 의료 기관, 금융 기관, 정부 기관과 같이 데이터 프라이버시, 규제 준수, 데이터 주권에 민감한 환경에서는 조직 밖으로 반출할 수 없는 소중한 데이터를 보유하고 있는 경우가 많습니다. 연합 학습(Federated Learning, FL)은 이에 […]

AWS Network Firewall 컨테이너 속성 기반 규칙으로 EKS와 ECS 트래픽 제어하기

2026년 6월 30일, AWS Network Firewall이 컨테이너 속성 기반 규칙(container attribute-based rules)을 출시했습니다. 이제 방화벽 규칙에 IP를 나열할 필요가 없습니다. “이 label을 가진 pod”나 “이 속성을 가진 인스턴스에서 실행되는 task”라는 조건만 선언하면 됩니다. Network Firewall이 해당 컨테이너의 IP를 자동으로 추적합니다. Amazon Elastic Kubernetes Service(Amazon EKS)나 Amazon Elastic Container Service(Amazon ECS)에서 실행되는 워크로드는 스케일링과 재배포 때마다 […]