Category: Events*


Amazon Rekognition – 딥러닝을 기반한 이미지 탐지 및 인식 서비스

아래 사진이 무엇으로 보이시나요?

당연히 여러분은 동물이라고 인지하실 겁니다. 또한, 애완견으로서 골드리트리버 종이죠. 위의 그림과 이러한 메타 정보가 결합되는 것은 여러분의 뇌에서 바로 인지하기 때문입니다. 이는 여러분이 이미 수백 수천번 이러한 이미지와 데이터 간의 훈련을 통해 학습을 한 것입니다. 이런 방식으로 식물과 동물의 차이, 개와 고양이의 차이 그리고 골드 리트리버와 다른 견종과의 차이를 인지하는 것입니다.

이미지 인식을 위한 딥러닝(Deep Learning)
컴퓨터를 통해 인간과 동일한 수준의 이해력을 요구하는 것은 매우 어려운 작업임이 입증되었습니다. 수십 년 동안 컴퓨터 과학자들이 이 문제에 대해 여러 가지 다른 접근 방식을 취해 왔습니다. 오늘날 이 난제를 해결할 수 있는 가장 좋은 방법은 딥러닝 학습(deep learning)이라는 점에 공감대가 형성되었습니다. 딥러닝은 추상화와 신경망 결합을 사용하여 (Arthur C. Clarke가 말한 것처럼) 마술과 구별할 수 없는 결과를 산출합니다. 그러나 상당한 비용이 듭니다. 첫째, 데이터 훈련 단계에 많은 작업을 투입해야 합니다. 학습 네트워크에 다양한 텍스트 예제 (“this is a dog”, “this is a pet” 등)를 표시하여 이미지의 특징을 라벨과 연관 지어야 합니다. 이 단계에서 신경망의 크기와 다층 적 특성으로 인해 계산 비용이 많이 들게 되는 거죠. 트레이닝 단계가 완료된 후, 트레이닝 네트워크에서 새 이미지가 들어왔을 때 평가하기가 용이합니다. 쉽습니다. 그 결과는 일반적으로 신뢰 수준 (0-100%)으로 표현됩니다. 이를 통해 응용 프로그램에 적합한 정밀성 정도를 결정할 수 있습니다.

Amazon Rekognition 서비스 소개
오늘 Amazon Rekognition 서비스를 공개합니다. 딥러닝 기술을 이용하여 컴퓨터 비전 연구팀이 수 년에 거쳐 수십 억장의 이미지를 매일 훈련 시키는 완전 관리형 서비스입니다. 정확히 훈련된 수 천개의 객체와 장면에 대한 정보를 여러분의 애플리케이션에 사용할 수 있습니다. Rekognition 데모를 통해 사용 방법 및 샘플 코드를 보실 수 있고, 더 자세한 사항은 Rekognition API를 참고하실 수 있습니다.

Rekognition은 확장성을 고려해서 설계되었습니다. 각종 장면, 객체, 얼굴 등을 인식하여 이에 해당하는 레이블(Lavel) 정보를 반환해 주게 됩니다. 이미지에 하나 이상의 얼굴이 포함되어 있다면, 각 얼굴 경계선에 대한 정보를 제공합니다. 아래는 위의 골드 리트리버 이미지에 대한 정보입니다.

보시다시피 Rekognition을 통해 animal, dog, pet, golden retriever 등의 높은 신뢰 수준의 정보를 제공합니다. 이러한 정보들은 독립적이고 서로 명시적 관계성 없이 각자 딥러닝 모델을 통해 생성되는 것입니다. 예를 들어 개와 동물은 완전히 다른 트레이닝 결과입니다. 다만, Rekognition 결과 중 두 레이블이 동시에 강아지 중심의 훈련 자료에 동시에 나타나기도 합니다.

이제 제 와이프와 제가 찍은 사진을 한번 올려 보겠습니다.

Amazon Rekognition를 통해 두 사람의 얼굴과 경계선을 얻을 수 있습니다. 와이프가 행복한 표정을 짓고 있다는 것도 알려주네요. (이 사진은 와이프 생일날 찍은 것입니다.)

또한, Rekognition는 얼굴을 비교하고 해당 이미지 인식을 요청한 많은 얼굴 중 하나가 포함되어 있는지 확인합니다.

모든 기능은 API 함수를 통해 더 자세하게 제공됩니다. (콘솔에서는 간단한 데모를 보시는데 좋습니다.) 예를 들어, DetectLabels로 첫 번째 예제를 프로그래밍으로 처리하고, 두번째로 DetectFaces를 실행합니다. Rekognition에서 IndexFaces을 여러 번 호출해서 인식할 이미지를 준비시킬 수도 있습니다. 실행 할 때마다, 몇 기지 주요 정보(face vectors)를 이미지에서 추출해서 벡터로 저장하고 이미지를 없앱니다. 하나 이상의 인식용 모음을 만들어서 각각 페이스 벡터의 관련 그룹에 저장할 수 있습니다.

RekognitionAmazon Simple Storage Service (S3)에 있는 이미지를 직접 가져올 수도 있습니다. AWS Lambda 함수를 통해 새로 업로드 되는 이미지 인식 작업을 수행할 수 있는데, 이 때 AWS Identity and Access Management (IAM)으로 Rekognition API 접근을 하게 하고 AWS CloudTrail로 API 사용 로그를 남길 수도 있습니다.

Rekognition 애플리케이션
이미지 인식 서비스에 대한 응용 분야는 무궁무진합니다. 만일 많은 사진 정보가 있다면 Amazon Rekognition를 통해 태깅 및 색인 작업을 할 수 있습니다. Rekognition은 클라우드 서비스로서 저장 인프라 설치와 처리 그리고 확장성에 염려할 필요가 없기 때문입니다. 이미지 검색 기능, 태그 기반 브라우징 등 어떤 종류의 대화형 검색 서비스에 적합니다.

또한, 다양한 인증 및 보안 서비스에도 활용할 수 있습니다. 웹캠을 통해 신분증 정보를 확인하거나, 사무실 출입이나 보안 영역 출입 허가를 할 수도 있고, 시각적 감시를 수행하고, 관심 있는 대상 및 사람들을 위해 안면 검사를 할 수도 있습니다. 궁극적으로 영화에 나오는 것 같은 얼굴 인식 정보를 통한 “스마트” 광고판을 만들어 볼 수도 있을 것입니다.

정식 출시
Rekognition은 오늘 부터 US East (Northern Virginia), US West (Oregon), EU (Ireland) 리전에서 서비스를 시작합니다. AWS 프리티어(무료 체험판)을 통해 한달에 5,000개의 이미지는 비용 없이 분석 가능하고 일년에 1,000 개의 페이스 벡터를 저장할 수 있습니다. 그 이상에 대해서는 이미지량과 저장 볼륨에 따라 금액이 책정됩니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Amazon Rekognition – Image Detection and Recognition Powered by Deep Learning의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

Amazon Polly – 클라우드 기반 24개 언어 47개 음성 합성 서비스

어린 시절 (TV를 많이 보던 때)로 돌아가면, 1960년대와 70년대 매우 유명한 로봇 소리가 다시 기억이 납니다. 특히, HAL-9000, B9 (Lost in Space), 오리지널 Star Trek Computer, 밋 Rosie (The Jetsons)과 같은 영화에서 익숙한 음성이 생각나실 것입니다. 그 때는 기계적으로 생성된 음성이 인간의 감정과 표현을 그대로 재현한다는 것은 불가능하다고 생각했습니다.

세월이 흘러 이제는 컴퓨터가 생성하는 음성을 사용하는 다양한 애플리케이션과 사용 사례가 있고, 흔히 TTS(Text-to-Speech)라고 알려진 음성 합성은 게임, 알림, 이러닝, 화상 통화 및 고객 센터 응대 등에서 많이 활용되고 있습니다. 이러한 애플리케이션 중 상당수는 연결성이 뛰어나고, 로컬 프로세싱 성능 및 스토리지가 최상의 수준인 모바일 환경에 매우 적합합니다.

Amazon Polly 서비스 소개
이러한 사용 사례를 지원하기 위해 오늘 Amazon Polly 서비스를 출시합니다. Polly는 여러분의 애플리케이션 및 도구에서 활용가능한 클라우드 기반 음성 합성 서비스입니다. 현재 47개의 남성 혹은 여성 목소리와 24개 언어를 지원하고, 추가적으로 더 다양한 언어 및 음성을 서비스할 계획입니다.

Polly는 다양한 음성 합성의 기술적 도전을 극복하고 있습니다. 예를 들어, “I live in Seattle”에서 live(리브)와 “Live from New York.”에서 Live(라이브)를 구별합니다. 같은 단어가 다른 맥락에서 사용될 때의 발음 방식에 대해 정보를 가지고 있습니다. “St.”의 경우도 맥락에 따라 “street” 또는 “saint.”로 발음됩니다. 또한, Polly는 단위, 약자, 화폐 단위, 날짜, 시간 등 언어별로 다른 부분에 대해 유연하게 처리합니다.

이를 위해 전문적인 모국어 구사자들과 함께 작업을 하고, 각 언어 구사자들에게 개별 언어 내 무수히 많은 대표적인 단어와 어구를 발음하도록 요청한 다음, 그 오디오를 diphone이라고하는 음원으로 분해합니다.

Polly는 일반 텍스트를 전달 받아, 문맥과 내용에 따라 가장 정확하고 자연스러운 음성을 오디오 파일로 전환하여 스트리밍으로 제공하게 됩니다. 좀 더 다양한 기능을 추가하고 싶다면, SSML (Speech Synthesis Markup Language) 정보를 제공할 수 있습니다. 예를 들어, 하나의 문장에 영어와 프랑스어 단어가 섞여 있다던지, 어구 강조를 한다던지 하는 부분에 대한 SSML 의미적 태깅을 통해 음성이 달리 변환됩니다.

본 블로그에 음성 파일을 임베딩할 수 없지만, Polly Console에 가셔서,  여러분이 원하는 텍스트를 직접 입력 한 후 Listen to speech를 눌러 들을 수 있습니다.

MP3 파일로 저장하여 애플리케이션에서 사용할 수 있습니다.

Language and Region 메뉴를 누르면, 지원 하는 언어 및 국가를 보실 수 있습니다.

API 및 기술적 세부 정보
Polly 콘솔 뿐만 아니라 다양한 방식으로 자유롭게 서비스를 이용하려면, 텍스트 및 SSML을  SynthesizeSpeech API로 호출 하면 됩니다. 결과를 사용자에게 스트리밍으로 전달하거나, MP3 혹은 OGG 파일로 생성해서 원할 때 제공할 수 있습니다. MP3 또는 Vorbis 포맷의 고품질 오디오 (최대 22 kHz 샘플링) 및 PCM 포맷의 전화 음성 (8 kHz)을 지원합니다.

AWS Command Line Interface (CLI) 를 사용할 수도 있습니다.

Bash
$ aws polly synthesize-speech \
  --output-format mp3 --voice-id Joanna \
  --text "Hello my name is Joanna." \
  joanna.mp3

Polly는 모든 전송 데이터를 SSL을 통해 암호화 합니다. 제공된 텍스트는 Polly의 성능을 유지하기 위해 6개월까지 암호화 된 상태로 저장됩니다.

정식 출시 및 가격
Amazon Polly는 월 5백만자 까지 무료로 제공됩니다. 그 이상의 경우, 한 자당 $0.000004 per 또는 제작된 오디오 분당 $0.004로 과금 됩니다.  본 블로그의 영문 포스트의 경우, 약 $0.018 이고,  Adventures of Huckleberry Finn이라는 책 원문 전체는 약$2.4 정도 됩니다.

PollyUS East (Northern Virginia), US West (Oregon), US East (Ohio), EU (Ireland) 리전에서 지금 바로 사용할 수 있습니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Polly – Text to Speech in 47 Voices and 24 Languages의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

Amazon Lex – 대화형 음성 및 텍스트 인터페이스 개발 서비스

컴퓨터를 통해 말하도록 하는 것도 좋지만, 사람의 소리를 듣고 반응하는 것은 훨씬 색다릅니다. Amazon Echo를 사용해 보셨다면, Alexa 기반 상호 작용 모델이 얼마나 간단하고, 유용하며, 강력한지 알 수 있습니다.

저희는 대화형 프로그램에서 Amazon Alexa를 사용할 수 있도록 동일한 딥러닝 기술 즉 ASR(자동 음성 인식) 및 NLU(자연어 이해) 등을 만들고 있습니다. 오늘 공개하는 Amazon Lex 를 사용하여 채팅봇 및 다양한 유형의 모바일 웹앱을 제작할 수 있습니다. 매력적이고 생생한 상호 작용을 지원하는 모바일 애플리케이션. 채팅봇을 통해 정보를 제공하고, 애플리케이션과 업무 환경에 상호 소통 기능 추가, 로봇, 드론 및 장난감에 대한 제어 메커니즘을 제공 할 수 있습니다.

Amazon Lex를 통해 바로 시작할 수 있습니다. Lex Console에서 대화 방식을 설계하고, Lex에 자연어 처리 모델을 작성하는 데 필요한 몇 가지 샘플 구문을 제공합니다. 그런 다음 Amazon Lex봇을 공개하여 사용자와 텍스트 또는 음성 대화를 처리할 수 있습니다. Amazon Lex는 완전 관리형 서비스이므로 모든 인프라를 설정하고 관리 또는 확장하는 데 시간을 낭비 할 필요가 없습니다.

여러분이 챗봇을 만들면 Facebook Messenger 에 오늘 바로 연결할 수 있습니다. SlackTwilio와의 통합도 마찬가지입니다. AWS 측면에서는 AWS Lambda, AWS Mobile Hub, Amazon CloudWatch를 사용합니다. 또한 데이터 저장 및 인증을 위해 Amazon DynamoDB, Amazon Cognito 및 기타 서비스를 이용할 수 있습니다.

Amazon Lex를 사용하면 AWS Lambda 함수를 사용하여 엔터프라이즈급 응용 프로그램 및 데이터 연결을 포함하여 챗봇용 비즈니스 로직을 구현할 수 있습니다. 얼마전 공개한 AWS Mobile Hub의 SaaS 통합 방식과 함께, 이미 사용중인 SaaS 애플리케이션에 저장된 계정, 연락처, 리드(Lead) 정보 및 기타 엔터프라이즈 데이터에 대하여 대화식 인터페이스를 제공하는 높은 생산성을 제공하는 채팅봇을 구축 할 수 있습니다.

이들을 통합하여 모바일 응용 프로그램에서 시작하여 비지니스 로직까지 완벽히 조합된 통합 솔루션을 구축하는 데 필요한 모든 레고 블럭을 사용할 수 있습니다.

Amazon Lex의 기본 개념
잠시 Amazon Lex에서 사용하는 기본 개념들을 알아보겠습니다.

  • Bot – 봇은 대화의 모든 구성 요소를 포함합니다.
  • Intent – 봇 사용자가 달성하고자 하는 목표를 나타냅니다 (예를 들어, 비행기 표를 구입하거나, 예약하거나 일기 예보를 받기 등.)
  • Utterance – 의도를 실행하도록 하는 단어 또는 입력된 구문 입니다. “호텔을 예약하고 싶어”또는 “꽃 주문해줘”는 와 같은 것입니다.
  • Slots – 각 슬롯은 사용자 의도를 수행하기 위해 제공해야 하는 작은 데이터입니다. 여행용 봇이라면 도시, 주 또는 공항 정보를 목록화 한 후 이용할 수 있습니다.
  • Prompt – 사용자가 의도를 수행하는 데 필요한 일부 데이터 (슬롯 용)를 제공하도록 요청하는 질문입니다.
  • Fulfillment – 사용자의 의도를 전달하는 비즈니스 로직입니다. Lex 결과 제공을 위해 람다 함수 사용을 지원합니다.

Bots, intents, slots은 여러 개발 환경에서 코딩, 테스트, 스테이지 서버 배포 및 정식 서비스 간에 명확한 선을 그릴 수 있도록 각각 버전을 지정할 수 있습니다. 각 봇에 대해 여러 개의 별칭을 만들어 특정 버전의 구성 요소에 매핑 할 수 있습니다.

채팅 봇 만들어 보기
Lex 봇을 정의하고 Lex 콘솔에서 모든 구성 요소를 설정할 수 있습니다. 샘플 중 하나를 시작하거나 사용자 정의 봇을 만들 수 있습니다.

원하는 utterances 및 관련 slots을 설정할 수 있습니다.

각종 맞춤 설정을 할 수 있습니다.

대화 방식으로 잘 작동하는지 봇을 테스트하고 수정할 수 있습니다.

Facebook (및 기타 연결 앱)에서 사용할 콜백 URL을 생성 할 수 있습니다.

좀 더 자세한 사항은 re:Invent 행사가 끝나고 나서 좀 더 자세하게 알려드리겠습니다.

정식 출시 및 가격
Amazon LexUS East (Northern Virginia) 리전에서 미리 보기 기능으로 오늘 출시합니다.

미리 보기 등록 후, 첫 12개월 동안 월 10,000번의 텍스트 요청 및  5,000회 음성 요청을 프리티어로 제공합니다. 그 이후 부터는 1,000 음성 요청 당 $4.00와 1,000 텍스트 요청당 $0.75 입니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Amazon Lex – Build Conversational Voice & Text Interfaces의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

Amazon Athena – 초단위 페타바이트급 동적 데이터 질의 서비스

(과거 1.44MB 플로피 디스크를 썼던 경험이 무색하게) 매일 우리는 매우 빠른 데이터량 성장에 놀라게 됩니다. 일상적으로 대량의 로그를 쌓고 질의하는 작업과 정형 혹은 반정형 데이터의 크기는 이미 페타바이트 규모입니다. 우리는 데이터의 위치를 찾아 로딩한 후 인덱싱을 통해 검색하는 일련의 과정을 빠르게 작업할 수 있는 방법을 찾고 있습니다. 이를 위해 높은 수준의 클라우드 솔루션을 가지고 있으며 모든 것이 수 분안에 처리될 수 있습니다.

Amazon Athena 소개
Amazon Athena는 Amazon S3에 저장되어 있는 페타데이터 규모의 데이터를 별도의 클러스터 구성 및 관리를 하지 않더라도 동적 질의를 할 수 있는 신규 서비스입니다. Amazon S3에 위치한 데이터를 지정만 하면, 내부 필드를 자동으로 인지해서 질의를 수행할 수 있습니다. 데이터를 옮기거나 별도 인덱스를 구성할 필요 없이 한 곳에서 할 수 있습니다.

Athena는 동적 질의 편집기를 통해 여러분이 손쉽게 작업을 할 수 있도록 도움을 주고 있으며, 표준 ANSI SQL 및 JOIN, 윈도 함수 등 고급 기능을 수행할 수 있습니다. Athena는 페이스북이 공개한 Presto를 기반으로 대부분 DDL (Data Definition Language)을 포함하는 PrestoSQL 역시 지원합니다.

Athena 서비스에 이면에서는 여러분이 보낸 질의를 병렬적으로 수백 또는 수천개의 코어를 통해 작업하여 결과를 (동적 혹은 JDBC/ODBC 커넥터를 통해) 초단위로 제공합니다.

Athana가 S3에 저장된 데이터를 직접 참조함으로서, 확장성 및 유연성 그리고 데이터 내구성, 데이터 보호 관점에서 이점을 얻을 수 있습니다. 예를 들어 KMS를 기반한 서버사이드 암호화를 통해 데이터 접근을 위해 IAM 정책을 정할 수 있습니다.

또한, Apache 로그, CSV, TSV, 일반 텍스트, JSON, Orc, Parquet 등 다양한 데이터 포맷을 지원할 뿐만 아니라 하나 이상의 S3 객체를 테이블로 지정할 수 있습니다. 각 Athena 데이터베이스는 하나 이상의 테이블로 구성되어 있는데 카탈로그 매니저를 통해 데이터 소스를 파악하고 추적할 수 있습니다.

Athena 사용해 보기
AWS 관리 콘솔을 통해 Amazon Athena 서비스를 선택하면, 아래와 같이 질의 편집기를 처음 보실 수 있습니다.

저의 계정은 이미 샘플 데이터베이스를 설정을 하였고, 데이터 베이스 내에는 elb_logs라는 테이블이 있습니다. 이제 간단한 질의문를 선택해서 Run Query를 누르면 됩니다. 몇 초 안에 결과가 바로 콘솔에 보이는 것을 보실 수 있습니다. 이제 결과를 CSV 파일 형태로 다운로드 할 수도 있습니다.

샘플 테이블은 Elastic Load Balancing의 로그 파일로서 HTTP 상태 코드로 분석할 수 있습니다.

URL은 아래와 같습니다.

테이블 정의 지점은 S3 버킷이고 버킷 내 모든 객체를 encompass 합니다. 만일 새로운 로그 파일이 동적 세션에 들어오게 되면, 자동으로 순서에 따라 질의가 포함됩니다. (테이블 정의에 대해서는 아래에서 설명하겠습니다.)

콘솔에서 테이블 설명을 하기 위한 질의문을 실행 해보겠습니다. 그리고, 테이블과 필드명을 선택해서 질의에 값을 넣을 수 있습니다.

질의문을 저장하여 제가 원하는 작업을 마칩니다.

다음으로는 어떻게 데이터베이스를 만들고, 직접 데이터를 참조시키는지에 대해 배워 보겠습니다. 여기에는 두 가지 방법이 있습니다. 하나는 DDL 정의를 하는 것과 단계적 마법사 기능입니다. 동료로 부터 아래와 같은 간단한 샘플 DDL을 받았습니다.

더 관심 있는 것은 질의문이구요. 아래와 같이 구성할 수 있습니다.

PARTITIONED BY (year STRING)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
    ESCAPED BY '\\'
      LINES TERMINATED BY '\n'
      LOCATION 's3://us-east-1.elasticmapreduce.samples/flights/cleaned/gzip/';

데이터는 연간으로 분리되어 있기 때문에, 메타 데이터 설정을 마무리하기 위해 아래 부속 질의를 하나 더 해야 합니다.

MSCK REPAIR TABLE flights_csv;

위 예제는 2000년 부터 지금까지 가장 인기 있는 출발 공항이 있는 도시 10개를 추출하는 질의문입니다.

또한, Athena가 제공하는 테이블 마법사를 통해 (Catalog Manager에서 접근 가능) 테이블을 생성할 수 있습니다. 이 경우, 테이블 이름과 원하는 위치를 지정해주면 됩니다.

그다음 포맷을 지정합니다.

각 컬럼의 이름과 형식을 지정합니다.

파티션 모델을 지정합니다.

Athena는 그 밖에도 많은 신선한 기능이 있는데, 향후에 더 자세히 알려드릴려고 합니다. 우선 그 중에서도 질의 저장 기능, 질의 기록, 및 Catalog Manager에 대해서만 잠깐 살펴 보겠습니다.

앞에서 보셨다시피 Saved Queries를 누르면, 질의 시 저장했던 질의문을 모두 보실 수 있습니다.

그대로 사용할 수도 있고, 편집해서 다시 질의할 수도 있습니다.

History를 누르면, 이전 질의 기록 뿐만 아니라 생성된 데이터 다운로드도 가능합니다.

Catalog Manager에서는 기존 데이터베이스 및 신규 데이테베이스 및 테이블 생성이 가능합니다.

이 블로그 글에서 주로 화면으로 보이는 동적 기능 측면만 언급했지만, JDBC나 ODBC 커넥터를 통해 여러분이 지금 사용중인 비지니스 인텔리전스 분석 도구와 결합할 수 있다는 점을 염두해 주시기 바랍니다.

정식 출시
Amazon Athena는 US East (Northern Virginia), US West (Oregon), EU (Ireland)에 오늘 정식 출시합니다. (다른 AWS 리전에 대해서는 가능한 빠르게 출시가 가능하도록 지속적으로 확대해 나갈 예정입니다.)

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Amazon Athena – Interactively Query Petabytes of Data in Seconds의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

개발자 미리보기 – F1, 프로그래밍 기반 하드웨어를 위한 EC2 인스턴스

일반적인 도구와 특별한 목적의 도구를 선택해야 하실 때가 있으셨나요? 일반 도구는 많은 문제들을 범용적으로 풀기에 좋지만 항상 최선의 선택은 아닙니다. 반대로 특정 목적의 도구는 하나의 업무에는 좋지만, 이런 특정 작업은 자주 있으면 안되겠지요.

컴퓨팅 엔지니어들은 다양한 IT 워크로드에 대해 높은 성등을 달성하기 위해 아키텍처를 설계 및 가이드 마련 시 항상 이러한 선택의 문제에 봉착하게 됩니다. 시간이 흐름에 따라 새로운 형태의 업무와 작업 상태가 출현하고 이는 특정 하드웨어로 처리하는게 최선일 때가 있습니다. 이러한 점은 또 다른 실행 시 균형을 요구합니다. 즉, 높은 성과를 위한 가능성에 투자하느냐 아니면 분기별 측정하는 개발 주기에 맞추느냐의 상충되는 부분을 선택해야 합니다

FPGA 소개
또 하나의 흥미로운 선택은 FPGA(field programmable gate array, 필드 프로그래머블 게이트 어레이)라고 부르는 하드웨어 기반 맞춤형 솔루션입니다. 특정 기능 목적으로 만들어 하드웨어에 장착되는 일반 칩과는 달리 FPGA는 유연합니다. 즉, FPGA는 PC 보드 소켓에 연결 한 후 현장에서 프로그램을 할 수 있습니다. FPGA는 고정된 유한 논리 게이트를 포함합니다. FPGA 프로그래밍은 단순 논리 기능 (AND, OR, XOR 등) 또는 저장 요소 (플립 플롭 및 시프트 레지스터)를 연결하는 방식입니다. 일반적으로 시리얼 (몇 개의 병렬 요소)과 고정 크기의 명령어 및 데이터 경로 (일반적으로 32 또는 64 비트)를 가진 CPU와는 달리, FPGA는 많은 연산을 병렬로 수행하도록 프로그래밍 할 수 있으며 연산 자체는 크거나 작거나 모든 영역에 적용할 수 있습니다.

계산 집약적인 문제를 처리하기 위한 맞춤 가속기를 개발하는 데 이러한 병령 모델이 이상적입니다. FPGA 프로그래밍 모델을 통해 유전학, 지진 분석, 금융 위험 분석, 대용량 데이터 검색, 암호화 알고리즘 및 애플리케이션 등에 30배 이상의 속도 향상을 제공 할 잠재력을 가지고 있습니다.

FPGA를 사용하여 여러분 만의 애플리케이션 속도 향상을 해보시길 바랍니다. 물론 몇 가지 관심을 가져야할 도전 과제가 있습니다. 첫째, FPGA는 전통적으로 사실 더 큰 목적 지향 시스템의 구성 요소였습니다. 단순히 하나를 사서 데스크톱에 연결할 수 없습니다. 대신 FPGA 기반 솔루션을 통해 하드웨어 프로토 타이핑, 하드웨어 어플라이언스 구축, 대량 생산 및 장기 판매 및 배포 주기 등을 만들 수 있습니다. 해당 적용 시간에 따라 FPGA 적용 가능성을 제한 할 수 있으며, 무어의 법칙이 CPU 기반 솔루션을 보다 비용 효율적으로 만들 시간을 제공한다는 점입니다.

여기서 좀 더 자세하 알아보겠습니다.

신규 F1 인스턴스 타입
오늘 신규 F1 인스턴스에 대한 개발자 미리보기를 시작합니다. 직접 원하는 서비스나 애플리케이션을 만들 수도 있고, 여러분이 만든 패키지를 AWS Marketplace를 통해 재판매를 할 수도 있습니다. 다양한 소프트웨어에 사용하는 비지니스 모델에 맞는 FPGA 기반 애플리케이션을 만들기 위한 기본 요구 사항을 충족함으로서 막대한 비용 및 시간 투자를 피할 수 있게 됩니다. 여러분이 직접 자신의 로직을 기반으로 클라우드 기반 도구를 만들어 시험해 봄으로서, 수일 만에 시장에 선보일 수 있게 됩니다.

F1 인스턴스는 Intel Broadwell E5 2686 v4 프로세서 (2.3 GHz 기본 속도, 전체 코어 당 2.7 GHz Turbo 모드, 하나의 코어에 3.0 GHz Turbo 모드)와 최대 976 GiB 메모리, 최대 4TB의 NVMe SSD 스토리지와 하나에서 8개까지의 FPGA를 가진 인스턴스입니다. 이를 통해 FPGA 기반 로직 구현을 충분히 해 볼 수 있는 자원을 제공 받아, 전용 하드웨어에서 운용되기에 멀티 테넌트 환경에서 분리되어 서비스 됩니다.

아래는 FPGA의 기본 스펙으로, 하나의 F1 인스턴스에서 8개까지 늘릴 수 있습니다.

  • Xilinx UltraScale+ VU9P fabricated using a 16 nm process.
  • 64 GiB ECC-protected memory on a 288-bit wide bus (four DDR4 channels).
  • Dedicated PCIe x16 interface to the CPU.
  • Approximately 2.5 million logic elements.
  • Approximately 6,800 Digital Signal Processing (DSP) engines.
  • Virtual JTAG interface for debugging.

하나 이상의 FPGA가 있는 인스턴스에서 전용 PCIe 패브릭을 사용하면 FPGA가 동일한 메모리 주소 공간을 공유하고 각 방향으로 최대 12Gbps의 PCIe 패브릭을 통해 서로 통신 할 수 있습니다. 인스턴스 내의 FPGA는 낮은 지연 속도 및 높은 대역폭 통신을 위한 400Gbps 양방향 네트워크를 공유합니다 (이러한 고급 기능을 사용하려면 자체 프로토콜을 정의해야 합니다.)

FPGA 개발 과정
개발자 미리보기에서는 FPGA 개발자를 위한 AMI를 제공합니다. 이 AMI를 메모리 또는 컴퓨팅 최적화 인스턴스에 실행하여 개발 및 실험을 해 보고 난 뒤 F1 인스턴스에서 마지막 테스트 및 디버깅을 하면 됩니다.

AMI에는 AWS 클라우드에서 사용할 수 있는 개발자 도구를 (추가 비용 없이) 포함하고 있습니다. VHDLVerilog를 통해 FPGA 코드를 작성한 후, 컴파일 및 시뮬레이션을 해볼 수 있고, Xilinx Vivado Design Suite (서드파티 시뮬레이터, 고 수준 언어별 컴파일러, 그래픽 프로그래밍 도구, FPGA 지적 재산권 정보 사용 가능) 등을 통해 검증할 수 있습니다.

아래는 간단한 8비트 카운터를 위한 Verilog 코드입니다.

module up_counter(out, enable, clk, reset);
output [7:0] out;
input enable, clk, reset;
reg [7:0] out;
always @(posedge clk)
if (reset) begin
  out <= 8'b0;
end else if (enable) begin
  out <= out + 1;
end
endmodule

C언어 문법과 유사하게 표현하는 언어들로서

이러한 언어는 C와 유사한 문법을 가지고 있는 것 같지만, 기존 코드를 가져 와서 FPGA에서 사용할 수 있도록 다시 컴파일 할 수있는 것은 아닙니다. 대신 FPGA 프로그래밍 모델에 대해 깊이 이해한 뒤 부울 대수(Boolean algebra)를 배우고, 전파 지연 및 클럭 에지와 같은 문제를 신경 써야합니다. 이를 통해 FPGA를 사용자 환경에 어떻게 사용할 수 있을까 하는 방법을 생각할 수 있습니다. 너무 간단하게 설명을 했다면, 고급 합성 도구나 FPGA를 프로그래밍을 위한 OpenCL을 사용할 수 있습니다.

인스턴스를 띄운 후, 로그인 한 뒤 패키지를 설치하고 Vivado 도구를 실행하기 위한 라이선스 매니저를 설정합니다. 데스크톱에서 RDP로 연결한 후 터미널 윈도를 열어서 Vivado를 GUI 모드로 실행합니다.

우선 샘플 프로젝트(counter.xpr)를 열어 어떻게 FPGA 프로그램을 할 수 있는 지 살펴 볼 수 있습니다.

잠시 살펴 본 후, 첫 번째 FPGA를 조합해 봅니다. (이 시점에서 흥미로운 것을 좀 더 클릭함으로서 초보자를 벗어나고 있다는 점입니다.)

여기서 부터 내가 만든 디자인 패키지를 Amazon FPGA Image (AFI)로 테스트하고, 이를 직접 애플리케이션으로 만들거나 AWS Marketplace에 올릴 수 있습니다. 이러한 일련의 개발 및 서비스 개시를 몇 주 안에 모두 할 수 있을 것이라 생각합니다.

The F1 하드웨어 개발 도구
F1 인스턴스에서 대해 공부 한 후 드는 첫번째 질문은 아마 FPGA와 CPU, 메모리 사이의 인터페이스를 어떻게 할 것인가 하는 점일 것입니다. F1 하드웨어 개발 도구 (HDK)를 통해 I/O 인터페이스와 호스트-FPGA간, FPGA-메모리간, FPGA-FPGA간 등 멀티 통신 방법을 미리 설정할 수 있는 샘플 애플리케이션을 제공합니다. 여기에는 전체 통합 스크립트, 참조 예제 및 실무 디버그 도구를 포함하고 있습니다.

The Net-Net
이제 F1 인스턴스와 클라우드 기반 개발 도구를 결합하고, FPGA 기반 애플리케이션을 판매할 수 있다는 것은 매우 독특하고 강력한 서비스 모델이 될 것 입니다. FPGA 모델의 강점과 유연성을 이제 모든 AWS 고객이 이용해 볼 수 있게 되었고, 향후 새로운 형태의 애플리케이션과 비즈니스가 출현할 것으로 전망합니다.

미리보기 출시
개발자 미리보기는 US East (Northern Virginia) 리전에서 먼저 시작합니다.(향후 2017년 초에 정식 출시될 때, 여러 리전에서 사용 가능할 것입니다.) 여러분이 이전에 FPGA 프로그래밍 경험이 있고, 지금 시작해 보시려면 미리 보기 이용 신청을 해 주시기 바랍니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Developer Preview – EC2 Instances (F1) with Programmable Hardware의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

Amazon EC2 Elastic GPUs 계획 발표

얼마 전 16 GPU까지 지원하는 P2 인스턴스 출시 때, GPU 기반 컴퓨팅에 대한 이점에 대해 설명하였습니다. 이전 글에서 이야기했듯이 GPU를 통해 엄청난 컴퓨팅 용량을 처리하면서도 시간 대비 비용을 획기적으로 줄일 수 있습니다.

오늘 GPU 기반 기능에 대해 저희가 개발하고 있는 기능을 좀 더 발표하고자 합니다. 곧 여러분의 기존 EC2 인스턴스에 그래픽 가속 기능을 추가할 수 있게 됩니다. G2 또는 P2 인스턴스를 사용할 때 GPU 숫자에 따라 인스턴스 크기를 정하게 되어 있습니다. 대부분 애플리케이션에서는 잘 적용되지만, 특정 맞춤형 애플리케이션을 위해 유연한 성능 모델을 지원할 수 있게 됩니다.

Amazon EC2 Elastic GPUs 소개
앞으로 출시될 Amazon EC2 Elastic GPUs를 통해 여러분의 애플리케이션에 적합한 EC2 인스턴스 타입을 선택할 수 있고, 인스턴스 실행시에 아래의 4가지 타입 중 GPU를 선택하여 추가할 수 있습니다.

이름 GPU 메모리
eg1.medium 1 GiB
eg1.large 2 GiB
eg1.xlarge 4 GiB
eg1.2xlarge 8 GiB

Elastic GPU는 M4, C4, X1 인스턴스에 추가할 수 있습니다. 새 인스턴스를 시작할 때 새로 만든 EBS 볼륨을 설정할 수 있습니다. 인스턴스 실행 중에 원하는 크기를 지정하고, 변경을 위해 실행 중인 인스턴스를 중지, 수정 및 시작하는 옵션을 사용하여 Elastic GPU와 비슷한 작업을 수행 할 수 있습니다.

OpenGL 시작해보기
Amazon 최적화 OpenGL 라이브러리를 통해 Elastic GPU를 자동으로 탐지하고 사용할 수 있습니다. Open GL 윈도우 지원, Amazon Linux AMI 지원을 제공 한 후, 다른 OpenGL 버전 역시 지원할 예정입니다. DirectXVulkan 같은 다른 3D API 역시 지원을 검토하고 있습니다. (관심 있는 분들 많이 알려주세요.) Amazon 최적화 OpenGL 라이브러리는 기존 Microsoft Windows AMI에 지원할 예정입니다.

OpenGL은 그래픽 렌더링에는 최고이지만, 어떻게 렌더링되었는지 알 수 있으려면 NICE Desktop 클라우드 가상화 같은 도구를 쓰는 것이 좋습니다.(올해 초 Amazon Web Services to Acquire NICE 소식 참고). 이를 통해 렌더링된 콘텐트를 HTML5 호환 웹 브라우저나 디바이스에서 스트리밍으로 볼 수 있습니다. 최신 버전의 Firefox나 Chrome 브라우저, 그리고 다양한 모바일 기기에서도 사용 가능합니다.

이러한 클라우드 기반 하드웨어와 소프트웨어를 조합하여 모든 3D 시각화 및 기술적 컴퓨팅 애플리케이션에 맞는 도구가 될 것으로 기대합니다. 이미 이를 직접 사용해 본 AWS 고객 중 아래와 같은 피드백을 공유해 주셨습니다.

Ray Milhem (VP of Enterprise Solutions & Cloud, ANSYS)

ANSYS Enterprise Cloud는 AWS에 최적화된 가상 데이터센터 시뮬레이션을 제공하고 있습니다. 혁신적인 제품 디자인 기능을 고객에게 주기 위해서는 시뮬레이션 과정에서 처음부터 끝까지 풍부한 인터랙티브 그래픽 경험을 제공해야 합니다. Elastic GPU를 통해 ANSYS는 좀 더 쉽게 합리적인 가격과 성능을 기반으로 고객의 요구를 충족시킬 수 있었습니다. Elastic GPU 기반 ANSYS 애플리케이션 인증을 통해 고객 들이 혁신적이고 효과적으로 클라우드를 활용할 수 있도록 도울 것입니다.

Bob Haubrock (VP of NX Product Management, Siemens PLM)

Elastic GPU는 클라우드 기반 Computer Aided Design (CAD)의 게임을 바꾸고 있습니다. Elastic GPU를 통해 우리 고객은 Siemens PLM NX를 Amazon EC2 위해서 최고의 그래픽 성능과 AWS가 제공하는 유연성, 보안 및 글로벌 서비스를 함께 얻을 수 있게 되었습니다. Siemens PLM은 EC2 Elastic GPU 기반 NX를 인증하여 고객이 디자인과 기술 혁신을 이룰 수 있도록 할 것입니다.

신규 인증 프로그램
Elastic GPU와 GPU 기반 기능을 최대로 활용하는 소프트웨어를 만드는 개발자와 소프트웨어 개발사를 위한 AWS Graphics Certification Program을 오늘 공개합니다. 이 프로그램을 통해 GPU 기반 인스턴스를 통해 다양한 애플리케이션을 개발 및 테스트 할 수 있도록 크레딧과 개발 도구를 제공할 예정입니다.

잠시만 기다려주세요!
본 소식에 대한 추가 정보는 앞으로 블로그를 통해 곧 알려드리도록 하겠습니다!

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 In the Works – Amazon EC2 Elastic GPUs의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

Amazon Lightsail – 간편한 가상 사설 호스팅(VPS) 서비스

알파 유저, 즉 고급 사용자는 주택, 컴퓨터 또는 가구를 직접 부품으로 조립하는 것을 좋아합니다. 이 분들은 스스로 과정을 즐기면서, 각 부분을 깊게 공부하여 스스로 조립하는 이른바 DIY (do-it-yourself)를 통해 보람을 얻습니다.

유사한 방식을 시스템 아키텍처 및 시스템 구축에도 적용할 수 있습니다. 개별 AWS 구성 요소(서버, 스토리지, IP 주소 등)를 직접 선택하여 구축할 수도 있고, 사전에 구성 설정이 완료된 시스템을 통해 별도 구축 노력 없이 웹 애플리케이션을 바로 실행할 수 있기도 합니다.

대부분의 경우, 후자를 원하는 분들은 가상 사설 호스팅(VPS, Virtual Private Server)을 이용합니다. VPS를 사용하면, 데이터 전송량 등 몇 가지 옵션에 따른 월별 요금으로 서비스를 이용 가능합니다.

초기에 VPS는 완벽하지만 시간이 지남에 따라 서비스 환경에 따라 제약을 받을 수도 있습니다. 특정 시점에서 서비스가 성장하면, 더 필요한 자원을 얻을 수 없을 뿐 아니라 점진적으로 추가하거나 갑자기 많은 트래픽에 필요한 선택 사항도 없습니다. 자동 확장 또는 장애 조치(failover) 옵션이 제한되어 있어, 이를 별도로 설정해야 할 수도 있습니다.

Amazon Lightsail 서비스 소개
오늘 Amazon Lightsail을 정식 출시합니다. 몇 번 클릭만으로도 SSD기반 스토리지, DNS 관리, 정적 IP 주소를 포함한 가상 서버를 바로 만들 수 있습니다. 여러분이 원하는 운영 체제(Amazon Linux AMI, Ubuntu, CentOS, FreeBSD, Debian), 개발 플랫폼 (LAMP, LEMP, MEAN, or Node.js), 애플리케이션 (Drupal, Joomla, Redmine, GitLab 등)을 선택할 수 있고, 합리적인 데이터 전송량을 기반하여 월 5달러부터 서비스를 제공하게 됩니다.

아래는 신규 서비스 종류입니다.

AWS가 제공하는 신뢰성 및 보안성을 기반으로 VPS의 장점을 함께 얻을 수 있습니다. 여러분의 서비스가 점점 성장하면, 서비스 경계에 도달 한 후 추가적인 AWS 데이터베이스, 메시징 및 콘텐츠 배포 서비스를 이용하게 됩니다.

Amazon Lightsail는 AWS 입문자로서 개인 클라우드 프로젝트를 빠르게 시작할 수 있고, 향후 서비스가 커질 경우에도 유연한 플랫폼입니다.

Amazon Lightsail 살펴 보기
우선 AWS 관리 콘솔을 통해 Lightsail을 들어가면 Quick Assist 탭이 각 페이지 마다 보입니다. 여기를 클릭해서 필요한 문서와 도움을 얻을 수 있습니다.

이제 홈 페이지에 가 보겠습니다. 아직 만들어진 인스턴스와 자원이 없습니다.

먼저 Create Instance을 눌러서, 서버 이미지(앱과 운영체제, 운영체제 중 택일)를 선택하고, 인스턴스 사용 계획과 인스턴스 이름을 넣습니다. (모두 한 페이지에 있습니다.)

한번에 여러 서버를 설치할 수도 있고, 환경 설정 스크립트 및 SSH 키페어를 정할 수도 있습니다. 가용 영역(AZ)를 선택해서 서버의 위치를 선택합니다. 저는 우선 WordPress의 월 10달러 서비스를 선택하고  Create를 클릭합니다. 몇 초 안에 시스템이 올라오게 됩니다.

이제 바로 관리를 할 수 있습니다.

인스턴스는 정적 IP를 가지고 있기 때문에 웹 브라우저에서 바로 접속이 가능합니다. 워드 프레스가 이미 설치되어 운용되고 있습니다.

설정을 완료하려면 WordPress 암호가 필요합니다. 인스턴스 관리 화면에서 Connect using SSH을 눌러 별도의 SSH 키를 저장하거나 관리할 필요 없이 웹 기반으로 이용하게 됩니다. 워드프레스 관리자 암호는 ~bitnami 디렉토리의 bitnami_application_password 파일에 저장 되어 있습니다.

터미널 윈도를 북마크해놓고 나중에 손쉽게 접속이 가능합니다.

메뉴에서 인스턴스 관리를 위한 다양한 기능을 사용할 수 있습니다.

예를 들어 성능 통계치 등을 보실 수 있습니다.

방화벽 설정도 가능합니다.

스냅샷을 통해 특정 시점의 백업본 생성도 가능합니다.

향후에 스냅샷을 통해 새로운 인스턴스를 만들 수도 있습니다.

정적 IP 주소 뿐만 아니라 도메인명을 사용할 수도 있습니다.

고급 Lightsail 기능 – API 및 VPC 피어링
마지막으로 Lightsail의 주요 고급 기능은 API 지원 및 VPC 피어링에 대해 소개합니다.

다른 AWS 서비스 처럼  콘솔에서 제공하는 기능 포함 전체 API 세트를 제공하고 있으며, 아래는 그 중에 대표적인 기능입니다.

  • GetBundles – (서버 설정) 목록 가져오기
  • CreateInstances – Lightsail 인스턴스 생성하기
  • GetInstances – 모든 인스턴스 목록 가져오기
  • GetInstance – 특정 인스턴스 정보 가져오기
  • CreateInstanceSnapshot – 인스턴스 스냅샷 만들기
  • CreateInstanceFromSnapshot – 스냅샷에서 인스턴스 만들기

더 자세한 것은 Lightsail API 문서를 참고하세요.

모든 Lightsail 인스턴스는 “숨겨진(Shadow)” VPC(가상 사설 클라우드) 내에 있으며, 콘솔에서는 보이지 않습니다. 만일 여러분이 애플리케이션을 서버에서 동작시켜, 다른 AWS  자원에 접속을 하고 싶다면 현재 Shadow VPC와 계정의 다른 VPC 사이에 피어링이 필요합니다. 상단 오른쪽 Account을 눌러 스크롤 하시면 Advanced features에서  VPC peering를 확인 하시면 됩니다.

VPC 기반의 다른 AWS와도 쉽게 연동이 가능해졌습니다.

정식 출시 및 가격
Amazon Lightsail는 오늘 부터 US East (Northern Virginia) 리전에서 사용 가능하며, 점차로 제공 리전을 확대할 예정입니다. 가격은 월 5달러로 부터 시작하며, 더 자세한 가격 및 선택 사항은 Lightsail 요금표를 참고하시기 바랍니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 Amazon Lightsail – The Power of AWS, the Simplicity of a VPS의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

EC2 인스턴스 업데이트 – T2, R4, F1, Elastic GPU, I3, C5 등

오늘 오전에 AWS의 CEO인 re:Invent 기조 연설에서 Andy Jassy는 EC2 인스턴스 로드맵에 대한 다음 업데이트를 발표했습니다. 우리는 고성능 I/O, 컴퓨팅 및 메모리 최적화 인스턴스, 버스팅 가능 T2 인스턴스 범위 확대, FPGA 기반 컴퓨팅을 포함한 새로운 하드웨어 가속 영역에 대한 인스턴스 지원을 소개하였습니다. 이 블로그 게시물에는 오늘 공지 사항과 추가 정보가 포함 된 몇 가지 다른 게시물에 대한 링크를 요약하였습니다.

새로운 인스턴스를 위한 계획을 할 때, 저희는 고객이 직면 한 과제와 향후 EC2에서 실행할 작업들을 더 많이 이해하고자 많은 시간을 고객과 논의하였습니다. 다양한 피드백을 받았지만, 그중에서도 인 메모리 기반 분석, 멀티미디어 처리, 기계 학습 (최신 AVX-512 지침 지원) 및 대규모 스토리지 집약적 ERP(Enterprise Resource Planning) 애플리케이션 등이 자주 언급되었습니다.

신규 F1 인스턴스– F1 인스턴스를 사용하면 FPGA(Field-Programmable Gate Array)로 알려진 기법을 통해 하드웨어를 프로그래밍 가능하도록 할 수 있습니다. FPGA에서 실행되는 코드를 작성하여, 다양한 유형의 특정 작업, 즉 유전학 분석, 지진 분석, 금융 위험 분석, 대용량 데이터 검색 및 암호화 알고리즘을 최대 30배까지 가속화 할 수 있습니다. 오늘 F1 인스턴스와 하드웨어 개발 킷(Hardware Development Kit)에 대한 개발자 미리보기를 시작했으며, FPGA 기반 애플리케이션 및 서비스를 구축하고  AWS Marketplace에서 이를 판매 할 수 있습니다. 자세한 내용은 개발자 미리보기 – F1, 프로그래밍 기반 하드웨어를 위한 EC2 인스턴스를 참고하십시오.

신규 R4 인스턴스– R4 인스턴스는 메모리 집약형 비즈니스 인텔리전스, 메모리 내 캐싱 및 데이터베이스 애플리케이션을 위해 설계되었으며 최대 488 GiB 메모리를 지원합니다. R4 인스턴스는 기존 R3 인스턴스 보다 큰 L3 캐시와 더 높은 메모리 속도를 제공합니다. 네트워크 측면에서 R4 인스턴스는 배치 그룹 내에서 사용될 때 최대 20Gbps의 ENA 전원 네트워크 대역폭과 EBS 전용 처리량 12Gbps를 지원합니다. 인스턴스는 최대 64 개의 vCPU 및 488GB의 메모리가 포함 된 6 가지 크기로 제공됩니다. 자세한 내용은 차세대 (R4) 메모리 최적화 신규 EC2 인스턴스 출시를 참고하십시오.

T2 인스턴스 크기 확대– T2 인스턴스는 전체 CPU를 사용할 필요가 없는 작업 부하에 대해 뛰어난 성능을 제공합니다. 고객은 애플리케이션 서버, 웹 서버, 개발 환경, 지속적 통합 서버 및 소규모 데이터베이스와 같은 범용 작업 부하에 많이 사용합니다. 오늘 좀 더 많은 선택을 위해 t2.xlarge(16 GiB 메모리)와 t2.2xlarge(32 GiB 메모리)를 추가합니다. 기존 T2 인스턴스와 마찬가지로 신규 인스턴스 타입은 더 많은 컴퓨팅 성능이 필요할 때, 전체 코어로 버스팅 할 수 있을 뿐 아니라 기본 성능 (기본 인스턴스의 최대 4 배)을 충분히 제공합니다. 자세한 내용은 신규 T2.Xlarge 및 T2.2Xlarge 인스턴스출시를 참고하시기 바랍니다.

또한, 아래의 신규 인스턴스 타입도 새롭게 추가됩니다.

신규 Elastic GPU–  기존 EC2 인스턴스 타입에 원할 때 고성능 그래픽 가속 기능을 추가할 수 있게 됩니다. GPU 메모리와 일치하는 컴퓨팅 성능을 1 GiB에서 8 GiB 중에서 선택할 수 있습니다. Amazon에서 최적화 된 OpenGL 라이브러리 역시 자동으로 Elastic GPU를 감지하여 사용할 수 있습니다. 신규 EC2 기능을 AWS 그래픽 인증 프로그램과 함께 미리보기로 제공합니다. 자세한 내용은 Amazon EC2 Elastic GPUs 계획 발표를 참고하시기 바랍니다.

신규 I3 인스턴스– I3 인스턴스에는 빠르고 대기 시간이 짧은 비 휘발성 메모리 익스프레스(NVMe) 기반 솔리드 스테이트 드라이브(SSD)가 장착됩니다. 최대 4GB의 블록 크기와 최대 초당 16GB의 디스크 처리량에서 최대 330만 개의 임의적인 IOPS를 제공합니다. 이러한 인스턴스는 I/O 집약적 관계형 데이터베이스나 NoSQL, 트랜잭션 및 분석 워크로드에서 사용 가능합니다. I3 인스턴스는 최대 64개의 vCPU, 488 GiB의 메모리, 15.2TB의 스토리지(ERP 애플리케이션에 이상적임) 등 6 가지 사이즈로 제공됩니다. 저장된 모든 데이터는 암호화 된 상태로 유지되며, 새로운 EC2 고성능 네트워크 인터페이스(ENA)를 지원합니다.

신규 C5 인스턴스– C5 인스턴스는 인텔의 새로운 Xeon “Skylake” 프로세서가 장착되어, 다른 EC2 인스턴스 프로세서 보다 빠르게 실행됩니다. Broadwell의 후계자 인 Skylake는 컴퓨터 학습, 멀티 미디어, 과학 및 금융 서비스 운영을 위해 높은 부동 소수점 계산을 위한 지원을 제공하는 AVX-512를 지원합니다. 인스턴스는 최대 72 개의 vCPU와 144GB의 메모리가 포함 된 6 가지 사이즈로 제공됩니다. 네트워크 측면에서, ENA를 지원하고 기본적으로 EBS 최적화를 지원하게 될 것입니다.

이들 인스턴스가 사용 가능해지면, 각 인스턴스에 대한 자세한 정보를 계속 공유 할 예정이므로 본 블로그를 지켜봐 주시기 바랍니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 EC2 Instance Type Update – T2, R4, F1, Elastic GPUs, I3, C5의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

차세대 (R4) 메모리 최적화 EC2 인스턴스

인-메모리 기반 서비스는 큰 이슈입니다. 지속적으로 대량화 되는 작업 부하와 CPU 성능 증가와 아울러 메모리에 최적화 기법은 고품질 비즈니스 인텔리전스, 데이터 분석 기술 활용의 전제 조건이 되었습니다. 인 메모리 기반 데이터 마이닝 및 대기 시간에 민감한 기타 실시간 작업 부하를 처리 할 수 있습니다. 분산 캐싱 및 일괄 처리 작업 역시 많은 메모리에 빠르게 사용해야 합니다.

이러한 요구 사항에 맞추어 오늘 차세대 메모리 최적화 EC2 인스턴스를 출시합니다.  기존 보다 큰 L3 캐시, 높은 메모리 속도 및 클라우드 작업 부하에 최적화 된 마이크로 아키텍처를 지원하며, 기존의 R3 인스턴스를 성능을 개선하였습니다.  EC2 포트폴리오 내에서 GiB 당 최적의 가격을 갖는 것 외에도 EBS에 전용 처리량 12Gbps와 함께 배치 그룹 내에서 사용할 경우 최대 20Gbps의 ENA 네트워크 대역폭을 지원합니다.

R4 인스턴스의 사양은 아래와 같습니다.

  • 고성능 Intel Xeon E5-2686 “Broadwell” 프로세서
  • DDR4 메모리
  • Hardware Virtualzation (HVM)만지원

아래는 인스턴스 사이즈별 정보입니다.

모델 vCPUs 메모리 (GiB) 네트워크 대역폭
r4.large 2 15.25 Up to 10 Gigabit
r4.xlarge 4 30.5 Up to 10 Gigabit
r4.2xlarge 8 61 Up to 10 Gigabit
r4.4xlarge 16 122 Up to 10 Gigabit
r4.8xlarge 32 244 10 Gigabit
r4.16xlarge 64 488 20 Gigabit

R4 인스턴스는 온디멘드와 예약 인스턴스 타입으로 US East (Northern Virginia), US East (Ohio), US West (Oregon), US West (Northern California), EU (Ireland), EU (Frankfurt), Asia Pacific (Sydney), China (Beijing), AWS GovCloud (US) 리전에 출시됩니다. 자세한 것은 EC2 요금표를 참고하시기 바랍니다.

Update. 2017년 1월 19일 Asia Pacific (Seoul) 리전에 출시하였습니다.

Jeff;

이 글은 AWS re:Invent 2016 신규 출시 소식으로 New – Next Generation (R4) Memory-Optimized EC2 Instances의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.

신규 T2.Xlarge 및 T2.2Xlarge 인스턴스 출시

많은 AWS 고객들이 비용 효율적이면서 필요시에만 컴퓨팅 용량을 이용할 수 있는 T2 인스턴스를 사용하고 있습니다. 컴퓨팅 용량이 일상적인 업무 즉, 일반적인 웹 서버, 개발 서버, 개발 통합 및 테스트 서버 그리고 작은 데이터베이스 서버 등에 활용하고 있습니다. T2 인스턴스 타입은 적정량의 기본 성능을 보장하고, 갑작스런 트래픽에 맞추어 자동으로 일정량의 컴퓨팅 용량을 추가 사용할 수 있습니다. (자세한 것은 저가 T2 인스턴스 출시 – 급격한 트래픽 처리 가능을 참고하세요.)

오늘 추가로 두 개의 신규 대용량 T2 인스턴스 타입을 소개합니다. – t2.xlarge는 16 GiB 메모리를 가지고 t2.2xlarge는 32 GiB 메모리를 제공합니다. 신규 인스턴스 타입을 통해 T2 용량 버스팅 모델을 그대로 따르면서 메모리를 더 필요로 하는 애플리케이션에 최적화할 수 있습니다. (t2.large 인스턴스를 2016년 6월, t2.nano인스턴스를 2015년 12월에 선보인 바 있습니다.)

아래는 T2 인스턴스 타입의 모든 스펙입니다. (가격은 최근 EC2 가격 할인을 반영하였습니다.)

인스턴스 타입 vCPUs 기본성능 플랫폼 메모리(GiB) CPU크레딧/시간당 시간당  가격
(리눅스)
t2.nano 1 5% 32-bit or 64-bit 0.5 3 $0.0059
t2.micro 1 10% 32-bit or 64-bit 1 6 $0.0120
t2.small 1 20% 32-bit or 64-bit 2 12 $0.0230
t2.medium 2 40% 32-bit or 64-bit 4 24 $0.0470
t2.large 2 60% 64-bit 8 36 $0.0940
t2.xlarge 4 90% 64-bit 16 54 $0.1880
t2.2xlarge 8 135% 64-bit 32 81 $0.3760

기존 업무를 새로운 인스턴스 타입에 이전하기 위한 몇 가지 전략을 소개해 드립니다.

  • t2.large 애플리케이션 중 좀 더 많은 메모리가 필요하다면, t2.xlarget2.xlarge로 이전합니다.
  • c4.2xlarge를 중간 정도 사용하는 애플리케이션이라면 t2.xlarge로 이동하면 비슷한 컴퓨팅 용량에 획기적인 가격 인하 효과를 볼 수 있습니다.
  • m4.xlarge를 중간 정도 사용하는 t2.xlarge로 이전 하면 비슷한 컴퓨팅 용량에 약간의 가격 할인 효과를 볼 수 있습니다.

새로운 인스턴스 타입은 오늘 부터 모든 온디멘드 및 예약 인스턴스에 대해 전체 AWS 리전에서 사용 가능합니다.

Jeff

이 글은 AWS re:Invent 2016 신규 출시 소식으로 New T2.Xlarge and T2.2Xlarge Instances<의 한국어 번역입니다. re:Invent 출시 소식에 대한 자세한 정보는 12월 온라인 세미나를 참고하시기 바랍니다.