Category: AWS Deep Learning AMIs

“이 글은 AWS Architecture Blog에 게시된 ‘Deploy LLMs on Amazon EKS using vLLM Deep Learning Containers by Vishal Naik’ 를 한국어 번역 및 편집하였습니다” 조직들은 대규모 언어 모델(LLM)을 효율적으로 확장 배포할 때 상당한 어려움에 직면합니다. 주요 과제로는 GPU 리소스 활용 최적화, 네트워크 인프라 관리, 모델 가중치에 대한 효율적인 접근 제공 등이 있습니다. 분산 추론 워크로드를 […]

SageMaker AI 와 LLM 추론 개요 Amazon SageMaker AI는 데이터 과학자와 개발자를 위한 완전 관리형 ML 플랫폼 서비스입니다. 실험부터 배포까지 전체 ML 개발 과정을 단일 환경에서 처리할 수 있습니다. 필수 AI 라이브러리가 미리 설치된 주피터 노트북 포함하여 다양한 IDE를 지원하기 때문에 선호도에 맞는 개발 환경을 선택할 수 있습니다. 개발자들은 복잡한 인프라 관리에 대한 부담 없이 […]

서론 “Amazon EC2 가속 컴퓨팅 인스턴스 활용하기” 블로그 시리즈는 Amazon EC2의 가속 컴퓨팅 인스턴스와 AWS에서 제공되는 다양한 리소스를 이용하여, 멀티 노드 가속 컴퓨팅 환경을 쉽게 구축할 수 있는 방법에 대해서 알아 봅니다. 블로그는 아래와 같이 3개의 시리즈로 구성이 되어 있으며, “Amazon EC2 가속 컴퓨팅 인스턴스 활용하기 – 파트 1 – AWS Deep Learning AMI (DLAMI)”에서 […]

서론 전통적인 고성능 컴퓨팅(HPC, High Performance Computing) 뿐만 아니라, 인공지능, 기계 학습, 그리고 생성형 AI의 활용도가 높아짐에 따라, 고성능 GPU가 장착된 가속 컴퓨팅을 위한 하드웨어의 수요와 사용률이 급격히 증가하고 있습니다. 이는 온프레미스 데이터센터 뿐만 아니라 클라우드에서도 동일한 현상이 나타나고 있습니다. AWS와 같은 클라우드 서비스 제공업체를 통한 빠른 컴퓨팅 리소스의 공급, 구축, 그리고 온디맨드 방식의 과금은 […]