AWS 기술 블로그
Category: High Performance Computing
HPC 클러스터를 구성하는 핵심요소, AWS EC2 인스턴스 소개 2부: EC2 인스턴스가 고성능을 보장하는 이유 및 EC2 인스턴스의 구매 옵션
지난 블로그에서는 AWS 클라우드에서 HPC 클러스터를 구성하기 위해 필요한 EC2 인스턴스의 선택 방법에 대해 설명하였습니다. 이번 블로그에서는 HPC 클러스터의 고성능을 보장해주는 AWS 나이트로 시스템 및 클러스터 배치 그룹, 마지막으로 EC2 인스턴스의 구매 옵션에 대해 설명하도록 합니다. 고성능을 보장하는 AWS의 가상화 시스템 Nitro AWS의 EC2 인스턴스는 일부 베어 메탈(bare metal) 형태로 제공되는 물리서버를 제외하고, 기본적으로 물리 […]
HPC 클러스터를 구성하는 핵심요소, AWS EC2 인스턴스 소개 1부: CAE 워크로드에 따른 EC2 인스턴스 선택 방법
엔지니어링 시뮬레이션이나 분산 트레이닝을 위해 HPC(High Performance Computing) 클러스터 환경을 구성할 경우, 가장 먼저 고려해야 할 부분은 바로 어떤 서버 사양으로 클러스터를 구성해야 하는가 입니다. 이번 블로그에서는 AWS 클라우드 환경에서 HPC 클러스터 구성 시, 시뮬레이션 워크로드에 따른 EC2 인스턴스 선택 방법에 대해 소개하고자 합니다. AWS에서 제공하는 가상 서버, EC2 인스턴스 기존의 온프레미스(on-premises) 환경에서는 연구원들이 데이터센터내에 […]
HPC(eVDI) 전문 MSP를 이용한 AWS 클라우드 기반의 R&D 환경 구성
많은 엔터프라이즈 기업들이 R&D 활동에 필수적인 CAE(Computer Aided Engineering) 및 CAD(Computer Aided Design) 워크로드 작업을 위하여, 데이터센터 또는 전산실에 HPC(High Performance Computing) 및 eVDI(engineering VDI) 환경을 구축하여 사용하고 있습니다. 그러나 이렇게 온프레미스(on-premise) 환경에 구축되는 인프라 환경들은 비용, 성능, 운영 편의성 등의 측면에서 많은 제약사항을 가지고 있습니다. 이에 따라 최근에는 사용량 기반의 합리적인 과금 및 탄력적인 […]
AWS ParallelCluster와 Amazon SageMaker를 이용한 바이옴에이츠의 미생물 복합 균주 개발 사례
바이옴에이츠(BIOMATZ)는 2022년 4월에 설립된 마이크로바이옴 복합 균주 설루션 개발사로, “Biome is our mates”라는 철학을 갖고 있으며, 마이크로바이옴 의약품 연구 개발 분야의 대표적인 스타트업 기업입니다. 수천 개의 균 사이의 상호작용을 분석하여 최적의 ‘메이트(Mates)’를 조합하는 AI 기술인 BASyMCo를 보유하고 있습니다. 당사는 장내미생물 빅데이터를 활용하여 마이크로바이옴 복합 균주 치료제 개발에 전념하고 있습니다. [영상] 바이옴에이츠 기업 소개 | Biome […]
AWS 클라우드 기반의 HPC 클러스터는 어떤 서비스들로 구성될까?
온프레미스 환경에서 HPC 클러스터를 구성하기 위해서는 서버, 스토리지, 네트워크와 같은 여러 하드웨어 장비들 및 소프트웨어들이 필요합니다. 마찬가지로 AWS 클라우드 환경에서 HPC 클러스터를 구성하기 위해서는 여러가지 AWS 서비스들을 조합해서 사용합니다. 이번 블로그에서는 ‘HPC on AWS’를 구성하는 개별 AWS 서비스들에 대해 소개하도록 하겠습니다. ‘HPC on AWS’를 구성하는AWS 서비스 ‘HPC on AWS’는 단일 서비스가 아니라, 그림1과 같이 다양한 […]
AWS가 제공하는 고성능 컴퓨터 서비스(HPC on AWS)를 사용해야 하는 이유
고성능 컴퓨팅 환경(HPC: High Performance Computing)은 CAE(Computer Aided Engineering)라 불리우는 전통적인 엔지니어링 시뮬레이션을 수행하기 위해, 엔터프라이즈 기업에서는 필수적인 R&D 인프라입니다. 최근에는 생성형 AI의 확산에 따라, 엔지니어링 시뮬레이션 이외에도 많은 기업들이 자사의 머신 러닝용 분산 트레이닝을 위해 HPC 클러스터를 구축하고 있습니다. 이번 블로그에서는 AWS 클라우드 기반의 HPC 클러스터에 대한 개념 및 장점에 대해 자세히 소개하도록 하겠습니다. […]
AWS 고성능 컴퓨팅 네트워크, 2부: AWS가 제공하는 고성능 네트워크 프로토콜, SRD(Scalable Reliable Datagram)
지난 블로그에서는 AWS에서 제공하는 고속 네트워크 인터페이스인 EFA(Elastic Fabric Adaptor)에 대해 설명하였습니다. 또한 EFA에는 SRD(Scalable Reliable Datagram)라는 프로토콜이 탑재되어 있다고 소개하였습니다. 이번 블로그에서는 SRD란 무엇인지에 대해 좀 더 구체적으로 설명드리겠습니다. 일반적인 데이터센터의 네트워크 토폴로지 vs AWS 데이터센터 네트워크 토폴로지 본격적인 SRD 프로토콜에 대한 소개에 앞서, 일반적인 데이터센터의 네트워크 환경에 대해 알아보도록 하겠습니다. 전형적인 온프레미스 환경의 […]
AWS 고성능 컴퓨팅 네트워크, 1부: AWS가 제공하는 고속 네트워크 인터페이스, EFA(Elastic Fabric Adaptor)
고성능 컴퓨팅(HPC)에 관심 있는 고객분들을 위해 AWS 클라우드 환경에서 엔지니어링 시뮬레이션이나 분산 트레이닝을 수행할 때 거의 필수적으로 사용되는 고성능 컴퓨팅 네트워크 기술에 대해 알기쉽게 설명드리고자 합니다. 오늘은 첫 번째로 고속 네트워크 인터페이스인 Elastic Fabric Adapter에 대해 소개하고자 합니다. 오늘날의 인터커넥트 기술 현황 엔지니어링 시뮬레이션의 복잡도가 증가하고 처리해야할 데이터가 많아질수록 다수의 노드를 활용한 분산 처리는 필수가 […]
ARM 기반의 AWS HPC 전용 인스턴스, Hpc7g 파헤치기
이 글은 AWS HPC Blog의 Instance sizes in the Amazon EC2 Hpc7 family – a different experience를 기반으로 필자에 의해 변경 및 확장되었습니다. AWS가 제공하는 HPC 전용 인스턴스 AWS는 늘어나는 CAE(Computer Aided Engineering) 워크로드의 클라우드 마이그레이션 전환을 위해 HPC 전용으로 사용할 수 있는 EC2 인스턴스를 지속적으로 출시하고 있습니다. 2022년 초에 최초의 HPC 전용 Amazon EC2 […]
NICE EnginFrame을 활용한 AWS 클라우드 기반의 CAE/CAD 통합 R&D 시스템 구현
온프레미스 기반의 전통적 R&D 환경 제조 고객들의 전통적인 R&D 환경에서 가장 많이 활용되는 워크로드는, 아마도 제품 개발에 필수적인 CAE(Computer Aided Engineering)와 CAD(Computer Aided Design)일 것입니다. 이를 위해 많은 제조 고객들이 온프레미스(On-premise)의 데이터 센터 또는 기업 전산실 내에 자체적으로 고성능 컴퓨팅 환경(HPC: High Performance Computing)이나 엔지니어링 VDI(e-VDI) 환경을 구성하여 운영 중에 있습니다. 일부 고객의 경우, 이 […]