AWS 기술 블로그
Category: Amazon Elastic Kubernetes Service
Amazon EKS에서 Friendli Container로 LLM 추론 최적화하기
FriendliAI는 AI 추론 효율을 크게 개선하는 고성능 서빙 엔진을 서비스하는 기업입니다. FriendliAI의 엔진은 높은 Throughput과 비용 절감 효과를 통해 기업이 생성형 AI 서비스를 효율적으로 운영할 수 있도록 지원합니다. Figure 1: Friendli Container Logo Friendli Container Amazon EKS Add-on은 AWS 인프라를 기반으로 생성형 AI 서비스를 확장하면서, Inference 효율을 극대화하는 솔루션입니다. 이 Add-on을 추가하면 기존 Amazon EKS […]
Amazon SageMaker HyperPod의 오토스케일링 알아보기
이 글은 Artificial Intelligence 블로그에 게시된 글 (Introducing auto scaling on Amazon SageMaker HyperPod)을 한국어로 번역 및 편집하였습니다. 2025년 8월에 Amazon SageMaker HyperPod가 Karpenter를 통한 관리형 노드 오토스케일링 지원하기 시작했습니다. 이를 통해 추론 및 학습 요구 사항에 맞춰 SageMaker HyperPod 클러스터를 효율적으로 확장할 수 있습니다. 실시간 추론 워크로드는 예측 불가능한 트래픽 패턴에 대응하고 서비스 수준 계약(SLA)을 유지하기 […]
Amazon EKS에서 Slinky를 사용하여 Slurm 배포하기
이 글은 Containers 블로그에 게시된 글 (Running Slurm on Amazon EKS with Slinky)을 한국어로 번역 및 편집하였습니다. 사전 학습(pre-training), 파인튜닝(fine-tuning) 또는 추론(inference) 워크로드를 위한 AI 인프라 스택을 구축할 때, 흔히 Slurm이나 Kubernetes를 컴퓨팅 오케스트레이션 플랫폼으로 활용합니다. 각 플랫폼은 다양한 팀의 요구사항을 충족하고 AI 개발 과정의 여러 단계를 지원할 수 있습니다. 하지만 전통적으로 이 방식은 가속 컴퓨팅 용량을 위한 별도의 […]
달파의 Amazon EKS Hybrid Nodes를 활용한 클러스터 안정성 및 비용 절감 사례
소개 달파는 기업의 비즈니스 문제를 쇼핑하듯 해결하는 B2B AI 에이전트 플랫폼 기업입니다. 2023년 서울에 설립된 달파는 150여 개 이상의 모듈화 된 AI 솔루션을 제공하며 업무 자동화, 내부 효율화 등 다양한 측면에서 기업을 지원하고 있습니다. CJ올리브네트웍스, SK스토아, 마켓컬리, KT커머스 등 국내 주요 대기업 및 유통사들을 포함한 150여 개 이상의 기업이 이미 달파의 AI 솔루션을 도입하여 성과를 […]
마이다스인의 플랫폼 혁신 여정, Part1: Amazon EKS 전환
마이다스인은 2,100여 고객사에 AI 기반 채용 플랫폼을 제공하는 대한민국 대표 HR 테크 기업입니다. AI 관련된 기능 추가와 더불어 복잡해지는 서비스 구조와 더불어 매년 수십만 명이 동시 접속하는 대규모 채용 시즌마다 증가하는 트래픽을 효과적으로 처리하기 위해 기존 Amazon ECS 기반의 인프라를 고도화 해야 하는 도전에 직면했습니다. 앞으로 2회에 걸친 블로그 포스트를 통해 마이다스인이 AWS와 협력하여 Amazon […]
Amazon EKS Auto Mode의 내부 동작 방식
본 게시글은 AWS Containers Blog에 게시된 Under the hood: Amazon EKS Auto Mode을 한국어 번역 및 편집하였습니다. 이 블로그 포스트는 Alex Kestner(Sr Product Manager – EKS), Todd Neal(Sr. Software Engineer – EKS), Neelendra Bhandari(Sr Software Dev Manager – EKS), Sai Vennam(Principal Specialist Solutions Architect)가 공동으로 작성하였습니다. re:Invent 2024에서 AWS는 Amazon Elastic Kubernetes Service(Amazon EKS) Auto […]
AWS Gateway API 컨트롤러 소개: Amazon VPC Lattice 기반의 Kubernetes Gateway API 구현
이 글은 AWS for Containers 블로그에 게시된 글(Introducing AWS Gateway API controller for Amazon VPC Lattice, an implementation of Kubernetes Gateway API)를 한국어로 번역 및 편집하였습니다. 원문 블로그 게시 이후 변경된 사항을 반영해 수정했으며, 추가로 제공한 링크도 참고해 주시기 바랍니다. 영어 원문 블로그는 Sheetal Joshi와 Liwen Wu가 작성하였습니다. 소개 2023년 4월 3일 AWS는 Amazon Virtual […]
Amazon EKS에서 Istio Ambient Mode 구축하여 리소스 효율성 확보하기
소개 마이크로서비스 아키텍처가 널리 채택되면서 서비스 간 통신의 보안, 관찰성, 트래픽 관리가 점점 더 중요해지고 있습니다. Istio는 이러한 요구사항을 충족하는 가장 성숙하고 널리 사용되는 오픈소스 서비스 메시 솔루션으로, 상호 TLS(mTLS) 기반 암호화 통신, 세밀한 트래픽 제어, 그리고 포괄적인 관찰성 기능을 제공합니다. Amazon Elastic Kubernetes Service(EKS)는 AWS에서 관리형 Kubernetes 서비스를 제공하며, 컨트롤 플레인의 가용성과 확장성을 자동으로 […]
Day1Company의 Amazon EKS와 Amazon Bedrock 기반 초개인화 학습 피드백 서비스 사례
개요 교육산업의 디지털 전환과 새로운 도전 최근 교육산업은 급격한 디지털 전환의 흐름 속에서 근본적인 변화를 맞이하고 있습니다. 특히 교육 시장에서는 개인화된 학습 경험과 데이터 기반 교육 효과 측정이 핵심 경쟁력으로 부상하고 있으며, 생성형 AI의 등장은 이러한 트렌드를 더욱 가속화하고 있습니다. 그러나 많은 교육 기업들이 디지털 전환 과정에서 공통적인 어려움에 직면하고 있습니다: 학습 데이터의 휘발성: 1:1 […]
Amazon EKS MCP 서버를 통한 애플리케이션 개발 가속화
본 게시글은 AWS Containers Blog에 게시된 Accelerating application development with the Amazon EKS MCP server by ramadit을 한국어 번역 및 편집하였습니다. 이 블로그 포스트는 Niall Thomson (컨테이너 수석 솔루션즈 아키텍트), Carlos Santana (컨테이너 솔루션즈 아키텍트), George John (아마존 EKS 시니어 프로덕트 매니저)가 공동으로 작성했습니다. 소개 Amazon Elastic Kubernetes Service(Amazon EKS)를 위한 오픈 소스 Model Context […]









