Amazon EKS로 쉽고 저렴하게 ML Training 인프라 운영하기

유건우 솔루션즈 아키텍트 | AWS

Amazon EKS와 Karpenter 플러그인을 활용해 다양한 모델(LLM, VLM)을 훈련 및 파인튜닝하는 방법을 알아봅니다. G/P 타입 인스턴스들의 GPU 네트워킹 설계와 DDP, FSDP, PEFT 등 다양한 모델 훈련 방법을 배웁니다. 모델 사이즈에 따라 각 인스턴스 타입과 훈련 방법이 훈련 시간에 어떤 영향을 미치는지 살펴보고, KubeRay와 Kueue 플러그인을 이용해 훈련 파이프라인 관리 방법을 알아봅니다.

Amazon EKS 기반 프로덕션 AI 에이전트 빌더 플랫폼 구축기: Agentria 개발 여정

유대훈 CTO | 제네시스랩

제네시스랩은 AI 에이전트 빌더 플랫폼 'Agentria'를 개발하고 있습니다. Amazon EKS 기반으로 프로덕션 환경을 구축하고, Amazon MQ를 활용한 비동기 처리로 Auto Scaling을 효과적으로 구현했습니다. RAG 아키텍처·워크플로우 모듈화·실시간 협업 기능·Bedrock 적용까지, 작은 스타트업 팀이 AI 개발 도구를 활용해 생산성을 3배 이상 높이며 기술적 도전을 해결해 나간 과정을 소개합니다.

Agentic AI의 비용과 성능 최적화를 위한 Amazon ElastiCache의 Semantic Caching

윤민욱 솔루션즈 아키텍트 | AWS

Agentic AI가 트렌드로 자리 잡으면서, 반복적인 LLM 호출에 따른 비용 부담과 성능 저하가 큰 문제로 떠오르고 있습니다. 이에 대한 해결책으로 쿼리의 의미를 이해하여 응답을 재사용하는 Semantic Caching이 주목받고 있습니다. 이번 세션에서는 Amazon ElastiCache를 벡터 스토어이자 캐시로 활용해 LLM 의존도를 낮추고 서비스 속도를 개선하는 방법을 알아봅니다.

실전 사례로 보는 AWS 기반 LLM 추론 플랫폼 운영과 최적화: 비용·지연시간·SLA를 동시에 잡기

김창엽 VP of Sales and GTM, 이계원 Founding Engieer | FriendliAI

스타트업이 생성형 AI 기능을 프로덕션에 올릴 때 가장 크게 마주치는 과제는 GPU 비용, 지연시간(SLA), 그리고 운영 복잡도입니다. 본 세션에서는 FriendliAI가 AWS 고객으로서 AWS 기반 인퍼런스 플랫폼을 어떻게 운영해 왔는지, 특히 트래픽 변동 대응, 배포·롤백, 모니터링·안정화 관점에서 핵심 의사결정 포인트를 공유합니다. 또한, 실제 스타트업 고객 분들이 FriendliAI의 솔루션을 활용해 어떻게 추론 워크로드를 최적화하고 비즈니스 목표를 달성해 왔는지 소개합니다.

달파의 소비재 브랜드를 위한 AWS 기반 멀티 테넌트 AI 에이전트 플랫폼 구축과 운영 여정

정연길 DevOps Engineer | 달파

AI 에이전트 전문 기업 달파는 소비재 브랜드사의 업무 효율과 비즈니스 성과 향상을 돕는 AI 에이전트 플랫폼을 AWS 기반으로 운영하고 있습니다. Amazon EKS 기반으로 기업의 온톨로지를 구축하는 데이터 파이프라인, Agent가 온톨로지에 접근할 수 있게 하는 Knowledge Graph를 통합 운영하고 있습니다. 멀티테넌트 아키텍처 기반으로 다양한 AI 에이전트를 제공하며 소비재 브랜드 고객들의 성공을 돕고 있는 달파의 사례를 소개합니다.

메시지 트래픽 100배에도 견디는 DynamoDB 설계 전략

이해빈 Software Engineer / Lead, 박진영 Software Engineer | 채널코퍼레이션

채널코퍼레이션은 올인원 비즈니스 메신저 '채널톡'을 통해 기업과 고객의 원활한 소통을 지원합니다. 채널톡의 메시지 전송 트래픽이 100배로 폭증해도 끄떡없는 User 테이블을 뜯어고친 경험을 공유합니다. 16억 건 User 테이블에서 Badge 업데이트 스파이크로 인한 쓰로틀링 문제를 해결하기 위해 GSI Back-Pressure의 원인을 분석하고, DynamoDB Export·AWS Glue ETL·Import를 활용해 7일 걸리던 마이그레이션을 5.5시간으로 단축한 온라인 마이그레이션 전략을 소개합니다.