Amazon EKS로 쉽고 저렴하게 ML Training 인프라 운영하기

유건우 | SA, AWS

EKS와 Karpenter 플러그인을 이용하여 다양한 모델(LLM, VLM)들을 훈련 및 파인튜닝 하는 방법에 대해 알아봅니다. G/P 타입 인스턴스들의 GPU 네트워킹 설계와 DDP, FSDP, PEFT 등 다양한 모델 훈련 방법에 대해 배웁니다. 모델 사이즈에 따라 각 인스턴스 타입과 훈련 방법이 훈련 시간에 어떤 영향을 미치는지 살펴보고, KubeRay와 Kueue 플러그인을 이용하여 훈련 파이프라인 관리 방법을 알아봅니다.

Amazon EKS 기반 프로덕션 AI 에이전트 빌더 플랫폼 구축기: Agentria 개발 여정

유대훈 | CTO, Genesis Lab

Amazon EKS 기반으로 AI 에이전트 빌더 플랫폼 Agentria를 구축한 경험을 공유합니다. Amazon MQ 기반 비동기 처리로 Auto Scaling을 효과적으로 구현하고, RAG 아키텍처, 워크플로우 모듈화, 실시간 협업 기능과 Bedrock 적용까지 - 작은 스타트업 팀이 AI 개발 도구를 활용해 생산성을 3배 이상 높이며 프로덕션 환경의 기술적 도전을 해결해 나간 과정을 소개합니다.

AWS Vector DB 기반의 비용 효율적인 RAG 아키텍처

윤민욱 | SA, AWS

AWS에서 제공하는 Vector DB 옵션들을 알아보고, 비즈니스에 맞는 비용 효율적인 RAG 아키텍처를 알아봅니다.

EKS 기반으로 GPU를 활용해 추론 워크로드 최적화 하는 방안 소개

TBD | Friendli AI

[Track 3] EKS 기반으로 GPU를 활용해 추론 워크로드 최적화 하는 방안 소개 - 상세 내용 TBD

EKS 환경에서 Hybrid GPU Nodes 및 온톨로지 MCP 기반의 multi-tenant AI agent 구축 사례 소개

TBD | TBD, Dalpha

달파는 Amazon EKS 환경에서 온톨로지 기반 AI Agent 플랫폼 OI를 운영하고 있습니다. Triton, sLLM 등 GPU 워크로드를 위해 Hybrid Node를 활용하고, 온톨로지를 위한 Knowledge Base & Knowledge Graph의 데이터 파이프라인과 MCP 서버들을 통합 운영합니다. Multi-tenant 아키텍처 위에서 AI agent를 제공하며, 다양한 엔터프라이즈 고객들의 성공을 돕고 있는 달파의 사례를 소개합니다.

다이나모 디비 세상에서 제일 똑똑하게 잘 쓰는 법

TBD | TBD, Channel Corporatoion

메시지 전송 트래픽 100배에도 끄떡없는 User 테이블로 뜯어고치기 16억 건 User 테이블에서 Badge 업데이트 스파이크로 인한 쓰로틀링 문제를 해결한 경험을 공유합니다. GSI Back-Pressure의 원인을 분석하고, DynamoDB Export + AWS Glue ETL + Import를 활용해 7일 걸리던 마이그레이션을 5.5시간으로 단축한 온라인 마이그레이션 전략을 소개합니다.