AWS에서는 필요에 따라 컴퓨팅 파워를 확장 및 축소하기 위한 Amazon Elastic Compute Cloud(EC2), 데이터 저장을 위한 Amazon Simple Storage Service(S3), 하둡 기반 워크플로우 관리를 위한 Amazon Elastic Map Reduce(Amazon EMR) 등과 같은 서비스를 활용하여 과학 컴퓨팅 워크로드를 관리할 수 있는 포괄적인 도구 모음을 제공합니다. 특히 Amazon EC2 스팟 인스턴스는 일괄 처리 사용 사례를 대상으로 한 요금 모델로서, 고객에게 임시 프로비저닝의 유연성을 제공하면서 다른 요금 모델 대비 상당한 비용을 절감할 수 있습니다.


AWS CloudFormation에서 Amazon EC2 스팟 인스턴스 실행 시작
이제 AWS CloudFormation 템플릿을 사용하여 스팟 인스턴스를 비롯한 관련 AWS 리소스 모음을 만들고 관리할 수 있습니다. AWS에서는 사용자가 작업을 시작할 수 있도록 비용 절감 및 중단 관리를 위해 최적화된 다음과 같은 세 가지 새로운 CloudFormation 템플릿을 제공하고 있습니다.

  • Amazon SQS 및 Auto Scaling을 사용하여 비동기 처리를 관리합니다. 지금 시작!
  • Bees with Machine Guns 및 Auto Scaling을 사용하는 웹 사이트 로드 테스팅 템플릿입니다. 지금 시작!
  • StarCluster를 사용하는 그리드 컴퓨팅 템플릿입니다. 지금 시작!

자세한 내용은 Amazon EC2 User Guide의 스팟 및 CloudFormation 사용을 참조하십시오.

Auto Scaling을 통한 스팟 인스턴스 활용
이제 Auto Scaling을 활용하여 스팟 인스턴스를 관리할 수 있습니다. Auto Scaling을 사용하면 시작 구성을 통해 Amazon EC2 스팟 인스턴스에 입찰하고 시작 및 종료 알림을 받고 입찰 스케줄을 설정할 수 있습니다. 자세한 내용은 Amazon EC2 User's Guide의 Launching Spot Instances with Auto Scaling 섹션을 참조하십시오.

스팟 인스턴스에 대한 알림 받기
이 코드 자습서 및 샘플을 통해 Amazon EC2 인스턴스 상태, 현재 스팟 인스턴스 요청 및 특정 지역의 스팟 가격에 대한 변경 사항이 있을 경우 실행될 Amazon SNS 알림을 사용할 수 있습니다. 이제 이 새로운 코드 샘플을 활용함으로써 스팟 인스턴스에서 실행 중인 애플리케이션에서 중단 가능성을 보다 쉽게 관리하도록 설정할 수 있습니다. 이 샘플 애플리케이션 및 자습서를 보려면 여기를 클릭하십시오.


과학 연구자는 DNA 염기순서 분석에서 소립자 물리학 시뮬레이션에 이르기까지 복합한 컴퓨팅 워크로드를 처리해야 합니다. 애플리케이션의 종류와 관계없이 모든 과학 연구자가 해결해야 할 문제가 있습니다. 바로 비용 효과적인 컴퓨팅 주기를 구매하고 프로비저닝하는 것입니다. 일반적인 과학 컴퓨팅 환경에서 공유 인프라에 액세스하려면 대기 시간이 길고 특별히 구축된 전용 하드웨어를 구매하려면 시간과 상당한 투자가 필요합니다.
논문을 쓰는 박사 과정 학생이든 혁신적인 연구를 수행하는 제약 회사이든 애플리케이션을 실행할 장소를 평가할 때 다음 질문을 고려해야 합니다.

  • 애플리케이션 실행을 얼마나 빨리 시작할 수 있습니까?
  • 더 빠르게 완료하기 위해 작업을 병렬로 처리할 수 있습니까?
  • 애플리케이션에 필요한 탄력성(확장 및 축소)의 수준은 어떻게 됩니까?
  • 비용을 최소화하도록 애플리케이션을 변경할 수 있습니까?

스팟 인스턴스를 사용하면 고객이 선택한 가격으로 미사용 Amazon EC2 용량에 입찰할 수 있습니다. 스팟 가격보다 높은 금액으로 입찰한 고객은 사용 가능한 스팟 인스턴스에 액세스하여, 입찰 가격이 스팟 가격을 초과하는 한 계속해서 스팟 인스턴스를 실행할 수 있습니다. 일반적으로 스팟 요금은 온디맨드 요금보다 50%~93% 가량 낮습니다. 스팟 가격보다 높은 금액으로 입찰한 고객은 사용 가능한 스팟 인스턴스에 액세스하여, 입찰 가격이 스팟 가격을 초과하는 한 계속해서 스팟 인스턴스를 실행할 수 있습니다. 스팟 인스턴스는 Amazon S3 및 Amazon EMR과 같은 다른 서비스에서 사용할 수 있으므로 모든 컴퓨팅 수요를 관리하는 데 도움이 됩니다.

다음은 스팟 인스턴스에 적합한 몇 가지 사용 사례 예제입니다.

  • 게놈 서열 분석 및 데이터 배포
  • 소립자 물리학 시뮬레이션
  • 생물 정보학
  • 분자 모델링
  • 인공 지능 연구
  • 신약 개발
  • 과학 협업 및 중앙 집중식 데이터 관리

AWS는 자체 IT 인프라를 설정하고 관리해야 하는 부담을 최소화하도록 설계되었습니다. AWS Management Console, 다양한 타사 관리 도구 또는 설명이 잘 되어 있는 AWS 웹 서비스 API를 사용하여 클라우드 인프라를 관리하고 유지할 수 있습니다.

실제 사용한 컴퓨팅 파워, 스토리지 및 기타 리소스에 대해서만 종량 과금제로 청구되고, 장기 약정이나 사전 확약금도 없습니다.

AWS에서는 운영 체제, 프로그래밍 언어, 소프트웨어 도구, 애플리케이션 플랫폼 및 기타 서비스를 필요에 따라 선택할 수 있습니다. 덕분에 새로운 애플리케이션 구축을 위한 선택의 폭은 그대로 가져가면서 기존 애플리케이션도 쉽게 마이그레이션할 수 있습니다.

AWS를 사용하면 필요한 리소스를 확보하기 위해 기다릴 필요 없이 몇 분 내에 용량을 늘리거나 줄일 수 있습니다. 하나, 수백 개 또는 수천 개의 서버 인스턴스를 프로비저닝할 수 있으므로 인스턴스를 추가하여 워크로드 처리 속도를 높이고 작업이 완료되면 인스턴스를 종료할 수 있습니다.

동료들과 데이터, 결과, 방법을 공유할 수 있는 공동의 공간을 만듭니다.

AWS는 인프라를 보호하고 강화하기 위해 물리적 수단, 운용상의 수단 그리고 소프트웨어 측면의 수단까지 포괄적인 접근법을 활용하고 있습니다. 자세한 정보는 AWS 보안 센터를 참조하십시오.

스팟 인스턴스를 사용하면 미사용 Amazon EC2 용량에 입찰할 수 있습니다. 이러한 인스턴스에는 스팟 가격이 적용되는데, 스팟 가격은 Amazon EC2에서 책정하고 스팟 인스턴스 용량에 대한 수요와 공급에 따라 주기적으로 변경됩니다. 스팟 인스턴스를 사용하려면 인스턴스 유형, 원하는 리전, 실행할 스팟 인스턴스 수, 인스턴스 시간당 지불할 최고 가격을 지정하여 스팟 인스턴스를 요청해야 합니다. 과거의 스팟 가격과 비교하여 최고 가격을 결정할 수 있도록 Amazon EC2 API와 AWS Management Console을 통해 스팟 가격 기록이 제공됩니다. 최대 입찰 가격이 현재 스팟 가격을 초과할 경우 요청이 승인되어 사용자가 종료를 선택하거나 스팟 가격이 최고 가격보다 높아질 때까지(더 빠른 날짜가 적용됨) 인스턴스가 실행됩니다.

다음 표는 가장 저렴한 가용 영역의 인스턴스 유형별 스팟 가격을 나타내며 5분 간격으로 업데이트됩니다.


별도의 언급이 없는 한, 요금에는 VAT 및 해당 판매세를 비롯한 관련 조세 공과가 포함되지 않습니다. 청구지 주소가 일본으로 되어 있는 고객의 경우 AWS 사용 시 일본 소비세의 적용을 받게 됩니다. 자세히 알아보기.

스팟 인스턴스는 AWS Management Console 또는 Amazon EC2 API를 통해 요청할 수 있습니다. AWS Management Console을 시작하려면 다음을 수행하십시오.

  1. AWS Management Console에 로그인한 다음 “Amazon EC2” 탭을 클릭합니다.
  2. 왼쪽의 탐색 창에서 “Spot Requests”를 클릭합니다.
  3. “Pricing History”를 클릭하여 인스턴스 유형별로 선택할 수 있는 요금 기록 보기를 엽니다. 이렇게 하면 귀하의 요청에 대한 최고 가격을 선택하는 데 도움이 됩니다. 요금 표시는 가용 영역 선택에만 적용됩니다. 어떠한 가용 영역도 선택하지 않은 경우 해당 지역에 대한 각 가용 영역의 가격을 확인하게 됩니다.
  4. “Request Spot Instances”를 클릭하고 AMI 및 인스턴스 유형을 선택하여 인스턴스 실행 마법사 프로세스를 계속해서 진행합니다. 요청할 스팟 인스턴스의 수, 최고 가격, 요청이 지속적인지 여부를 입력합니다. 키 쌍과 보안 그룹을 선택하면 스팟 인스턴스 요청을 제출할 수 있습니다.
video-thumb-spot-instances-getting-started
4:13
Getting Started with Spot Instances

Amazon EC2 API를 통해 스팟 인스턴스를 요청하는 방법에 대해 자세히 알아보려면 최신 EC2 기술 문서에서 Amazon EC2 API Reference를 확인하십시오.

스팟 인스턴스 사용법에 대한 자세한 내용과 스팟 인스턴스를 최대한 활용하는 방법에 대한 자세한 내용은 주요 설명서 및 자습서를 참조하십시오.

스팟 인스턴스상에 실행되도록 애플리케이션을 구축 또는 마이그레이션하는 것은 쉽습니다. 아래 섹션에서는 스팟 인스턴스를 사용하도록 애플리케이션을 구축, 마이그레이션 및 테스트하는 방법을 간략하게 설명합니다.

새로운 애플리케이션 구축
애플리케이션을 처음부터 설계할 수 있는 경우, 시간을 내어 이 웹 페이지의 일반적인 아키텍처 및 모범 사례 섹션(이전에 다른 고객이 스팟 인스턴스를 사용하도록 설계한 아키텍처를 설명)을 읽어보시기 바랍니다.

기존 애플리케이션 마이그레이션
많은 애플리케이션이 이미 내결함성을 갖추도록 설계되었으므로 애플리케이션을 스팟 인스턴스에서 실행되도록 상당히 손쉽게 마이그레이션할 수 있습니다. 마이그레이션 프로세스 도중, 다음 모범 사례를 통합하는 것이 좋습니다.

  • 스팟 인스턴스 시작 및 종료 시간을 추적: 스팟 인스턴스는 동시에 시작하고 스팟 가격이 입찰 가격을 초과할 때 중단될 수 있습니다. 따라서 입찰 및 인스턴스 상태를 추적하는 것이 매우 중요합니다. 현재 스팟 인스턴스 상태를 파악할 수 있는 가장 간단한 방법은 AWS Management Console 또는 Amazon EC2 API를 통해 스팟 요청과 실행 중인 인스턴스를 모니터링하는 것입니다.
  • 인스턴스에 대한 최고 가격 선택: 요청의 일부로 제출하는 최고 가격은 시간당 반드시 지불해야 하는 가격이 아니라 인스턴스를 계속 실행하기 위해 지불하고자 하는 최고 가격입니다. AWS Management Console 또는 Amazon EC2 API를 통해 스팟 가격 기록을 사용하면 최고 가격을 설정하는 데 도움이 됩니다.
  • 애플리케이션의 내결함성 확인: 스팟 인스턴스는 경고 없이 종료될 수 있으므로 애플리케이션이 중단되어도 작업 중이던 것은 계속 진행되도록 애플리케이션을 구축하는 것이 중요합니다. 애플리케이션에 체크포인트를 추가하거나 작업을 작은 증분으로 분할하는 등 여러 가지 방법으로 이를 실현할 수 있습니다. 데이터를 보호하는 손쉬운 방법은 Amazon EBS 볼륨에 데이터를 저장하는 것입니다.

일반적인 아키텍처 및 모범 사례 섹션에서 아키텍처와 관련된 구체적인 또 다른 팁이 있는지 확인해보시기 바랍니다.

설정 테스트
스팟 인스턴스를 사용할 때에는 애플리케이션에 결함 방지 기능이 있어서 중단을 올바르게 처리할 수 있는지 확인하는 것이 중요합니다. 인스턴스를 확실히 종료하는 동안 애플리케이션은 즉각적인 중단을 처리할 준비가 되어 있어야 합니다. 온 디맨드 인스턴스를 실행한 다음 애플리케이션을 갑자기 종료하여 애플리케이션을 테스트할 수 있습니다. 이렇게 하면 애플리케이션에서 결함 방지 능력이 제대로 작동하고 예기치 않은 중단을 처리할 수 있는지를 파악하는 데 도움이 됩니다.

video-thumb-manage-spot-interruption
3:59
How to Manage Spot Instance Interruption

스팟 인스턴스는 경고 없이 종료될 수 있으므로 애플리케이션이 중단되어도 작업하던 것은 계속 진행되도록 애플리케이션을 구축하는 것이 중요합니다. 작업을 작은 증분(그리드, 하둡 기반 또는 대기열 기반 아키텍처를 통해)으로 분할하거나 애플리케이션에 체크포인트를 추가하는 등 여러 가지 방법으로 이를 실현할 수 있습니다. 아래 섹션에서는 기존 스팟 인스턴스 고객이 활용한 일반적으로 사용되는 아키텍처의 개요를 제공합니다.

Apache 하둡은 데이터 집약적 분산 애플리케이션을 지원하는 오픈 소스 소프트웨어 프레임워크입니다. 이를 통해 애플리케이션은 수천 개의 노드를 사용하여 두 가지 주요 구성 요소 즉, (1) 내결함성을 갖춘 분산 스토리지 시스템 및 (2) 대용량 분산 데이터 세트에 대한 효율적이고 철저한 분석을 지원하는 MapReduce라는 기술을 통해 페타바이트 규모의 데이터를 처리할 수 있습니다. 하둡은 상용 하드웨어용으로 개발되어 스키마 유무와 관계없이 데이터를 저장할 수 있고 페타바이트 규모의 선형적 확장성을 제공합니다. BacktypeFliptop과 같은 고객은 스팟 인스턴스와 함께 하둡 클러스터 프로비저닝, 구성 및 관리를 간소화하는 관리형 하둡 서비스인 Amazon Elastic MapReduce를 사용하여 대규모 데이터 처리 비용을 크게 줄입니다.

Amazon Elastic MapReduce는 같은 데이터 처리 클러스터 내에서 손쉽게 스팟 인스턴스와 온디맨드 또는 예약 인스턴스를 혼합할 수 있게 해줍니다. 이를 통해 비용을 줄이고 처리 시간을 가속화하면서 스팟 시장 변동으로 인한 클러스터 오류의 위험을 제거할 수 있습니다. 스팟 가격 변동으로 스팟 인스턴스가 중단되는 경우, 이러한 인스턴스에서 실행되던 작업은 남아있는 온디맨드 인스턴스에서 처리하도록 데이터 처리 대기열에 다시 추가됩니다. 고객은 감소된 클러스터 규모로 데이터를 계속 처리하거나 중단된 인스턴스를 대체하도록 인스턴스를 클러스터에 동적으로 추가할 수 있습니다.

video-thumb-emr-spot
3:27
Using Spot Instances with EMR

Elastic MapReduce를 스팟 인스턴스에서 사용하기에 적합한 몇몇 사용 사례 예제에는 실행 속도를 높이기 위해 고객이 확장할 수 있고, 상당한 비용 절감을 위해 작업 완료 시 유연성을 활용할 수 있는 애플리케이션, 로드에 변동이 많아 크기를 자주 변경해야 하고 하둡 애플리케이션 테스트 비용을 절감하기 위한 영구 하둡 클러스터가 포함됩니다.

예를 들어, 일반적으로 4개의 온디맨드 인스턴스에서 14시간 동안 실행되는 작업이 있다면 비용은 28 USD가 소요될 것입니다. 이제 5개의 스팟 인스턴스를 추가할 수 있고(작업 규모가 비선형적이므로) 작업은 7시간 만에 완료된다고 가정해보겠습니다. 스팟 가격이 온디맨드 가격과 비교하여 90% 저렴하다고 가정하면 작업을 실행하는 데 드는 비용은 15.75 USD가 될 것입니다. 스팟 인스턴스를 추가함으로써 다음과 같이 시간은 50% 절약하고 비용은 44% 절약할 수 있습니다.

emr

시나리오 #1: 스팟 인스턴스가 없는 경우
온디맨드 인스턴스 4개 * 14시간 * 0.50 USD = 28 USD

시나리오 #2: 온디맨드에 스팟 인스턴스를 추가하는 경우
온디맨드 인스턴스 4개 * 7시간 * 0.50 USD = 14 USD
스팟 인스턴스 5개 * 7시간 * 0.05 USD = 1.75 USD
합계 = 15.75 USD

시간 절약: 50%
비용 절감: ~44%

Amazon Elastic MapReduce에 대해 자세히 알아보려면, Amazon Elastic MapReduce 웹 페이지 또는 Amazon Elastic MapReduce Getting Started Guide를 참조하십시오.

그리드는 사용자가 여러 인스턴스를 사용하여 병렬 컴퓨팅을 수행할 수 있게 해주는 분산 컴퓨팅의 형태입니다. 이러한 유형의 아키텍처는 스팟 인스턴스의 기본 탄력성과 낮은 가격을 활용하여 좀 더 비용 효과적인 가격으로 작업을 더 빠르게 완료할 수 있으므로 NumerateScribd과 같은 고객은 스팟 인스턴스와 함께 그리드 컴퓨팅을 사용합니다.

시작하려면 사용자는 일을 작업이라는 개별 단위로 나눈 다음 해당 작업을 “마스터 노드”에 제출해야 합니다. 이러한 작업은 대기열에 있다가 "스케줄러"라는 프로세스를 통해 해당 작업이 “작업자 노드"라는 그리드의 다른 인스턴스로 배포됩니다. 작업자 노드에서 결과가 계산되면, 마스터 노드는 알림을 전달받고, 작업자 노드는 대기열의 다음 작업을 수행할 수 있습니다. 작업에 오류가 있거나 인스턴스가 중단되는 경우, 스케줄러 프로세스를 통해 작업이 자동으로 다시 대기열에 추가됩니다.

grid_computing

애플리케이션을 설계할 때 작업에 포함할 일의 양을 적절히 선택하는 것이 중요합니다. 처리에 걸리는 시간을 기준으로 작업을 논리적 그룹으로 나누는 것이 좋습니다. 워크로드를 다시 처리해야 하는 경우 추가 비용이 들지 않도록 일반적으로 워크로드 크기를 1시간 미만으로 생성하는 것이 좋습니다(AWS에서 인스턴스를 중단하는 경우 해당 시간에 대해서는 비용이 부과되지 않습니다).

video-thumb-launching-cluster-spot
7:50
Launching a Cluster on Amazon Ec2 Spot Instances Using StarCluster

많은 클러스터에서 Oracle Grid Engine 또는 UniCloud 같은 그리드 스케줄러를 사용하여 클러스터를 설정합니다. 장기 실행 워크로드가 있는 경우, 모범 사례는 마스터 노드를 온디맨드 또는 예약 인스턴스에서 실행하고 작업자 노드를 스팟 인스턴스 또는 온디맨드, 예약 및 스팟 인스턴스의 조합에서 실행하는 것입니다. 또는 1시간 미만의 워크로드가 있거나 테스트 환경을 실행 중인 경우, 모든 인스턴스를 스팟에서 실행할 수도 있습니다. 설정 형태와 관계없이 중단되는 인스턴스를 자동으로 다시 추가하는 스크립트를 생성하는 것이 좋습니다. StarCluster 등 몇몇 기존 도구는 이러한 프로세스를 관리하는 데 도움이 됩니다.

자체 그리드를 생성하는 방법을 자세히 알아보려면 StarCluster 동영상 자습서 또는 Grid Computing Getting Started Guide를 참조하거나, StarCluster CloudFormation 템플릿을 시작하십시오. 지금 시작!

DNAnexus 등 많은 고객이 작업 실패 가능성을 처리하는 기능이 탑재된 대기열 기반 아키텍처를 구축했습니다. 이러한 유형의 애플리케이션 대부분은 스팟 프로비저닝 API를 통합함으로써 스팟을 활용하도록 쉽게 확장할 수 있습니다.

예를 들어, Amazon EC2 스팟 인스턴스과 Amazon SQS를 활용하는 애플리케이션이 있다고 가정해보겠습니다 이 애플리케이션에는 To-Process, Processed 및 Exception이라는 3개의 SQS 대기열이 있습니다. 대기열 깊이에 따라 마스터 노드가 스팟 프로비저닝 API를 사용하여 스팟 인스턴스 작업자 노드를 확장하거나 축소합니다. 또는, 스팟 인스턴스가 영구 입찰로 시작될 수 있으므로 스팟 인스턴스 중단 시 자동으로 다시 시작됩니다. 스팟 인스턴스가 시작되면, 시작 시 인스턴스에 전달된 사용자 정보 또는 Amazon SimpleDB나 Amazon S3에 원격으로 저장된 구성을 애플리케이션에서 읽어 어떤 대기열을 활용할지 결정합니다. 그런 다음 스팟 인스턴스에서 실행 중인 작업자 노드가 To-Process 대기열에서 다음 작업을 선택하고 해당 작업을 잠급니다. 작업을 잠그면 지정된 시간이 경과하거나 작업이 완전히 처리될 때까지 다른 작업자 노드가 같은 작업을 컴퓨팅하려고 시도하는 것을 방지할 수 있습니다. 작업이 성공적으로 처리되는 경우, 작업자 노드는 마스터 노드가 추가 로직을 수행할 수 있는 Processed 대기열에 결과와 함께 회신을 게시하게 됩니다. 또한, 작업이 너무 오래 걸리거나 작업자 노드가 중단되어 작업 처리에 실패한 경우, 작업은 Exception 대기열로 이동되어 마스터 노드가 작업을 다시 대기열에 올리는 등 추가적인 특수 로직을 수행할 수 있습니다. 스팟 인스턴스가 중단되어 작업이 실패한 경우, 필요하면 마스터 노드가 새로운 스팟 인스턴스를 시작하도록 선택할 수도 있습니다.

queue

대기열 기반 접근 방식을 사용할 경우 중단된 작업을 재개할 때 문제가 발생하지 않도록 작업 단위의 처리가 idempotent(여러 번 처리 시에도 안전하게 처리되는)여야 합니다.

이와 같은 아키텍처 구축에 대해 자세히 알아보려면 Building Scalable Amazon EC2 Applications with Amazon SQS Guide 또는 Amazon SQS & Amazon EC2 Job Processor 예제를 참조하십시오. 또는, 대기열을 관리하는 템플릿을 시작하는 데 관심이 있는 경우 비동기식 대기열 기반 처리 템플릿을 확인해 보시기 바랍니다. 지금 시작!

스팟 용량의 수요/공급의 변화로 인한 스팟 가격의 변동에 따라, 스팟 인스턴스 요청은 즉시 이행되지 않거나 경고 없이 종료될 수 있습니다. 갑작스러운 중단으로부터 작업을 보호하기 위해 정기적 체크포인트를 삽입하여 주기적으로 작업을 저장하는 것이 좋습니다.

BrowserMob 같은 고객은 데이터를 체크포인팅하여 이러한 중단을 관리합니다. 모범 사례는 다시 처리할 최대 시간을 선택하고 최소한 해당 주기로 체크포인트합니다.

다음과 같이 여러 가지 방법으로 애플리케이션을 체크포인트할 수 있습니다.

  • Amazon EBS: 고객이 추가 Amazon EBS 볼륨을 스팟 인스턴스에 매핑하고 애플리케이션 상태를 볼륨에 정기적으로 출력합니다. 이러한 방법을 활용하는 경우, 버퍼를 정기적으로 플러시하여 모든 상태가 Amazon EBS 볼륨상에 있도록 해야 합니다.
  • Amazon S3: Amazon S3는 고객이 데이터를 작성할 수 있는 안정적인 스토어입니다. 데이터를 처리할 때 애플리케이션에서 별도 파일의 형태로 결과를 출력할 수 있는 경우, Amazon S3를 사용하여 결과를 저장할 수 있습니다. 그러면 결과를 읽어야 하는 프로세스 어디에나 버킷 URL을 전달하기만 하면 됩니다.
  • Amazon RDS: 정형 데이터 스토어가 필요한 경우, Amazon RDS를 활용하여 모든 결과를 저장할 수 있습니다. Amazon RDS를 활용하면 MySQL 또는 Oracle 데이터베이스를 사용할 수 있으므로, 명시적으로 "커밋" 명령을 실행할 때까지는 작업을 커밋하지 않도록 쿼리를 설정할 수 있습니다. 이러한 방법을 통해 프로세스가 중단된 경우 롤백할 수 있습니다.

체크포인팅 기반 접근 방식을 사용할 때는 중단된 작업을 재개하는 경우 워크로드가 여러 번 처리되더라도 안전하게 처리될 수 있도록 워크로드가 체크포인트 간에 idempotent해야 합니다.

스팟 인스턴스를 사용하는 동안 중단을 관리하는 새로운 방법을 추천하시겠습니까?

DNAnexus
DNAnexus는 DNA 시퀀싱 센터와 연구자에게 데이터 관리 및 시퀀스 분석에 대한 통합 시스템을 제공합니다. DNAnexus는 Amazon Elastic Compute Cloud(EC2) 스팟 인스턴스를 사용하여 모든 DNA 분석을 수행하고 Amazon EC2 온 디맨드 인스턴스를 사용하여 클라이언트 프런트 엔드 포털 및 시각화 도구와 같은 기업의 대화형 서비스를 처리합니다. 또한, DNAnexus는 Amazon Simple Storage Service(S3)를 사용하여 데이터 용량이 테라바이트에서 페타바이트로 증가하는 등, 광범위하게 늘어난 기업의 스토리지 수요를 충족할 수 있습니다.

BioTeam
BioTeam Inc.는 과학자가 소유하고 운영하는 독립적인 컨설팅 회사로서 과학과 고성능 IT 간의 "차이를 좁히는" 데 주력합니다. 깊이 있고 폭넓은 직원의 전문성을 통해 다양한 전문 서비스를 제공합니다. BioTeam Inc.는 2007년부터 Amazon AWS를 사용하여 고객의 당면 과제를 해결해 왔습니다. 기존 HPC, 클러스터 및 그리드 컴퓨팅 환경에서 작업해온 오랜 경험을 통해 BioTeam은 클라우드 컴퓨팅을 고려하는 고객에게 실질적인 서비스를 제공할 수 있습니다. BioTeam에 대해 자세히 알아보기.

CycleComputing
Cycle Computing은 Amazon EC2에서 개방형 기술을 사용하여 고성능 및 높은 처리량의 컴퓨팅 클러스터를 실행하는 소프트웨어 분야의 선두주자입니다. Cycle의 솔루션은 과학, 금융, 비즈니스 및 엔지니어링 애플리케이션을 지원합니다. Fortune 500 기업은 Condor, SGE, 하둡 등 오픈 소스 프레임워크와 결합된 CycleCloud™ 오퍼링 및 CycleServer™ 소프트웨어를 사용하여 Amazon EC2과 같은 퍼블릭 클라우드와 내부 리소스 상에 신약 개발, 위험 관리 계산, 생물 정보학, 컴퓨터 유체 역학을 비롯한 미션 크리티컬 비즈니스 애플리케이션을 배포합니다. CycleComputing에 대해 자세히 알아보기.

Eagle Genomics
Eagle Genomics는 명령줄 도구를 비롯해 Amazon의 EBS, EC2, RDS, S3, Load Balancing 및 Auto Scaling을 사용하여 학문 연구 기관은 물론 제약, 농업 및 동물 보건 기업에서 게놈 데이터를 처리하고 분석합니다. Eagle Genomics에서는 최근에 영국 에딘버러에 소재한 Roslin Institute에서 ARK Genomics에 대한 새로운 microRNA 발견 파이프라인을 개발하는 데 스팟 인스턴스를 사용했습니다.

video-thumb-spot-instances-getting-started
4:13
Getting Started with Spot Instances

동영상 자습서: 스팟 인스턴스를 시작하는 방법
이 동영상 자습서를 시청하여 처음으로 스팟 인스턴스를 시작하는 방법을 학습하십시오. 이 자습서에서는 입찰, 인스턴스 실행 시기 결정 및 인스턴스 취소/종료에 대해 다룹니다.

안내서: 스팟 인스턴스 시작하기
스팟 인스턴스 사용법에 대한 자세한 내용과 스팟 인스턴스를 최대한 활용하는 방법에 대한 자세한 내용은 이 안내서를 참조하십시오.

video-thumb-when-to-use-spot-instances
6:02
Amazon 스팟 인스턴스 사용 예시

동영상 자습서: 일반적인 스팟 사용 사례
이 동영상에서는 스팟 인스턴스 사용 사례에 대한 예를 살펴볼 것입니다. 이 동영상 중 일부에서는 Numerate, Clarity Solutions, Ooyala 및 BrowserMob을 포함하는 몇 가지 고객 사례와 이 회사들이 자사의 아키텍처에서 어떻게 스팟 인스턴스를 최대한 활용하고 있는지 다루고 있습니다.

video-thumb-manage-spot-interruption
3:59
How to Manage Spot Instance Interruption

동영상 자습서: 중단 관리 방법
이 동영상을 시청하여 일부 고객이 어떻게 스팟 인스턴스의 중단을 관리했는지를 학습하십시오.

안내서: Getting Started Programming Guide for Spot Instances
이 코드 자습서는 스팟 인스턴스를 프로그래밍 방식으로 입찰, 설명 및 취소하는 방법에 대한 간략한 개요를 제공합니다.

안내서: Advanced Programming Guide for Spot Instances
이 코드 자습서는 스팟 인스턴스의 고급 프로비저닝 주제 및 중단 관리 기술에 대한 간략한 개요를 제공합니다.

안내서: How to Track Spot Instance Activity with the Spot Notifications Sample Application
이 코드 자습서 및 샘플을 통해 Amazon EC2 인스턴스 상태, 현재 스팟 인스턴스 요청 및 특정 지역의 스팟 가격에 대한 변경 사항이 있을 경우 Amazon SNS 알림을 생성하고 관리할 수 있습니다. 이제 이 코드 샘플을 활용하여 스팟 인스턴스에서 실행 중인 애플리케이션이 중단 가능성을 보다 쉽게 관리하도록 설정할 수 있습니다.

video-thumb-spot-bidding-strategy
4:34
스팟 입찰 전략 결정

동영상 자습서: 스팟 입찰 전략 결정
이 동영상을 시청하여 스팟 인스턴스에 입찰하는 것과 관련된 팁과 요령을 학습하십시오. 고객이 성공적으로 활용했던 여러 입찰 전략을 다룹니다.

video-thumb-spot-emr
3:27
Using Spot Instances with EMR

동영상 자습서: 스팟 인스턴스로 Amazon Elastic MapReduce 작업 흐름 시작
이 동영상을 시청하여 스팟 인스턴스에서 Amazon Elastic MapReduce 작업 흐름을 시작하는 방법을 학습하십시오. AWS Management Console에서 스팟 클러스터를 시작하고 중단하는 방법도 다룹니다.

video-thumb-launching-cluster-spot
7:50
Launching a Cluster on Amazon Ec2 Spot Instances Using StarCluster

동영상 자습서: 스팟에서 클러스터를 시작하는 방법
BioTeam의 Chris Dagdigian이 StarCluster를 사용하여 맨 처음부터 Amazon EC2 스팟 인스턴스에서 약 10~15초 내에 클러스터를 시작하는 방법을 간단하게 설명합니다. StarCluster는 MIT 실험실에서 제작된 오픈소스 도구로, 신형 Oracle Grid Engine Cluster를 쉽게 설치할 수 있습니다. 이 프레젠테이션에서 Chris는 클러스터에서 설치, 설정, 간단한 작업 실행 등의 과정을 차례로 보여줍니다. 여기서 Chris는 스팟 인스턴스를 활용해 잠재적으로 작업을 더욱 신속하게 완료하고 온 디맨드 가격의 최대 93%까지 비용을 절감할 수 있게 해줍니다. 이 자습서에 관심이 있는 경우 StarCluster CloudFormation Template도 참조할 수 있습니다.

video-thumb-launching-spot
7:40
Amazon VPC에서 스팟 인스턴스 시작

동영상 자습서: Amazon VPC에서 스팟 인스턴스 시작
이 동영상을 시청하여 Amazon VPC에서 스팟 인스턴스를 시작하는 방법을 학습하십시오. 이 자습서에서는 입찰, 인스턴스 실행 시기 결정 및 인스턴스 취소/종료에 대해 다룹니다.

AWS 퍼블릭 데이터 세트는 데이터를 공유하고 AWS 클라우드 기반 애플리케이션과 원활하게 통합할 수 있는 중앙 집중식 리포지토리를 제공합니다. 예에는 현재까지 가장 상세한 인간 유전 변이 지도를 구축하는 국제 퍼블릭/프라이빗 컨소시엄인 1000 게놈 프로젝트, 인간 게놈을 비롯한 50개 이상의 게놈을 포함하는 Ensembl 의 MySQL용 주석이 달린 인간 게몬 데이터, 간 샘플의 유전자 발현을 특징짓는 Sage Bionetwork의 인간 간 코호트 등이 있습니다. 자세한 내용은퍼블릭 데이터 세트 웹 페이지를 참조하십시오.

AWS 에듀케이션의 경우 교육자, 대학 연구원 및 학생은 Amazon Web Services의 온디맨드 인프라를 활용하여 고급 과정을 가르치고, 연구 과정에 착수하고, 새로운 프로젝트를 탐색하도록 무료 사용 크레딧을 신청할 수 있습니다. 이 프로그램에 대해 자세히 알아보려면 AWS 에듀케이션 웹 페이지를 참조하십시오.