AWS re:Invent 2019 12월 3일 출시 소식 요약 – 앤디 제시 AWS CEO 기조 연설

오늘은 AWS CEO인 Andy Jassy의 기조 연설이 있는 날입니다. 3시간 동안 고객들이 어떻게 클라우드로 이전하고 있는지 동향과 사례, 이로 부터 나온 다양한 고객의 요구 사항의 새로운 서비스들을 소개합니다.

기조 연설 중 나온 출시 서비스에 대한 요약을 먼저 소개해 드립니다.

정식 출시 서비스

AWS Inferentia 기반 고성능 비용 효율적 추론용 EC2 인스턴스 Inf1 출시
기계 학습 시 빠른 추론 가속화를 위해 AWS Inferentia 칩으로 구동 되는 4 가지 크기로 Inf1 인스턴스를 출시합니다.  16 비트 부동 소수점 (FP16 및 BF16) 및 혼합 정밀도 데이터의 64 teraOPS 및 8 비트 정수 (INT8) 데이터의 128 teraOPS 성능을 자랑하는 전용 칩에는 고속 상호 연결 및 많은 메모리가 포함됩니다. 가장 큰 인스턴스에 16 개의 칩이있는 기존 및 새로운 TensorFlow, PyTorch 및 MxNet 추론 워크로드는 2 페타 OPS 이상의 추론 성능을 활용할 수 있습니다. G4 인스턴스와 비교할 때 Inf1 인스턴스는 최대 3 배의 추론 처리량을 제공하고 최대 40 %의 추론 당 비용을 절감합니다.

Amazon EKS on AWS Fargate 정식 출시
Amazon Elastic Kubernetes Service를 사용하여 AWS Fargate에서 Kubernetes 포드를 실행할 수 있습니다. Amazon EKS와 Fargate를 사용하면 쿠버네티스 컨테이너 인프라를 프로비저닝하고 관리 할 필요가 없어서 AWS에서 Kubernetes 기반 애플리케이션을 간단하게 실행할 수 있습니다. AWS Fargate를 사용하면 비용 최적화되고 고 가용성 클러스터를 운영하기 위해 Kubernetes 운영 전문가가 될 필요가 없습니다. Fargate는 고객이 Amazon EKS 클러스터에 대한 EC2 인스턴스를 생성하거나 관리 할 필요가 없습니다.

Amazon S3 Access Points – 손쉬운 공유 데이터셋 관리하기
Amazpn S3 액세스 포인트는 해당 엔드 포인트를 사용하여 데이터에 접근하는 방법을 설명하는 전용 액세스 정책이 있는 고유 한 호스트 이름입니다. S3 액세스 포인트 이전에는 데이터에 대한 공유 액세스가 버킷에서 단일 정책 문서를 관리하는 것을 의미했지만, 이제 다양한 권한을 가진 수백 개의 애플리케이션을 조사하여 시스템에 영향을 줄 수있는 병목 현상을 업데이트할 수 있습니다.

Amazon Redshift – 차세대 인스턴스 타입 및 분석 최적화 스토리지
새로운 RA3 인스턴스는 새로운 관리 형 스토리지 모델과 함께 작동하도록 설계되었습니다. ra3.16xlarge 인스턴스에는 vCPU 48 개, 384GiB 메모리 및 최대 64TB 스토리지가 있습니다. 2 ~ 128 개의 인스턴스로 클러스터를 생성하여 8PB 이상의 압축 스토리지를 제공합니다. 새로운 관리형 스토리지는 규모, 성능 및 내구성을 위해 각 인스턴스에 S3가 지원하는 대용량 고성능 SSD 기반 스토리지 캐시를 제공합니다. 데이터는 자동으로 적절한 계층에 배치되므로 캐싱 또는 기타 최적화의 이점을 얻기 위해 특별한 작업을 수행 할 필요가 없습니다. SSD 및 S3 스토리지에 대해 동일한 저렴한 비용을 지불하면 추가 인스턴스를 추가하거나 지불하지 않고도 데이터웨어 하우스의 스토리지 용량을 확장 할 수 있습니다.

Amazon Managed Apache Cassandra Service (MCS) 출시 – 확장 가능하고 가용성이 높으며 관리되는 Apache Cassandra 호환 데이터베이스 서비스입니다. MCS는 서버리스이므로 사용하는 리소스에 대해서만 비용을 지불하면 서비스는 애플리케이션 트래픽에 따라 자동으로 테이블을 확장 및 축소합니다. 거의 무제한의 처리량과 스토리지로 초당 수천 건의 요청을 처리하는 애플리케이션을 구축 할 수 있습니다.

Amazon Redshift – 신규 통합 질의 기능 및 데이터 레이크 내보내기 기능 출시
Amazon Redshift 클러스터에서 클러스터, S3 데이터 레이크 및 PostgreSQL 및 Amazon Aurora PostgreSQL 데이터베이스 용 하나 이상의 Amazon Relational Database Service (RDS)에 저장된 데이터를 통합적으로 질의할 수 있습니다. Data Lake Export 기능은 분석에 최적화 된 효율적인 오픈 컬럼 스토리지 형식인 Apache Parquet 형식으로 Redshift 클러스터에서 S3로 데이터를 내보낼 수 있습니다.

Amazon SageMaker Studio – 기계 학습 모델을 위한 통합 개발 환경
Amazon SageMaker Studio는 모든 ML 개발 단계를 수행 할 수있는 단일 웹 기반 비주얼 인터페이스를 제공합니다. SageMaker Studio는 모델을 구축, 훈련 및 배포하는 데 필요한 각 단계에 대한 완벽한 액세스, 제어 및 가시성을 제공합니다. 데이터를 빠르게 업로드하고, 새로운 노트북을 만들고, 모델을 학습 및 조정하고, 단계를 앞뒤로 이동하여 실험을 조정하고, 결과를 비교하고, 모델을 생산에 배치하여 한 곳에서 훨씬 생산성을 높일 수 있습니다. 노트북, 실험 관리, 자동 모델 생성, 디버깅 및 프로파일 링, 모델 드리프트 감지를 포함한 모든 ML 개발 활동은 통합 SageMaker Studio 비주얼 인터페이스 내에서 수행 할 수 있습니다.

Amazon SageMaker Experiments –기계 학습 훈련 과정 추적 및 관리 서비스
Amazon SageMaker Experiments를 사용하면 기계 학습 모델에 대한 반복을 구성하고 추적 할 수 있습니다. ML 모델 훈련에는 일반적으로 변화하는 데이터 세트, 알고리즘 버전 및 모델 매개 변수의 영향을 분리하고 측정하기 위해 많은 반복이 수반됩니다. 이러한 반복 중에 모델, 훈련 데이터, 플랫폼 구성, 매개 변수 설정 및 훈련 지표와 같은 수백 개의 아티팩트가 생성됩니다. 스프레드 시트와 같은 성가신 메커니즘이 종종 이러한 실험을 추적하는 데 사용됩니다. SageMaker Experiments는 입력 매개 변수, 구성 및 결과를 자동으로 캡처하고이를 ‘실험’으로 저장하여 반복을 관리하는 데 도움이됩니다. SageMaker Studio의 시각적 인터페이스에서 작업하여 활성 실험을 탐색하고 특성별로 이전 실험을 검색하고 결과와 이전 실험을 검토하고 실험 결과를 시각적으로 비교할 수 있습니다.

Amazon SageMaker Debugger – 기계 학습 모델 성능 추적 기능
기계 학습 훈련 과정은 대체로 불투명하며 모델 훈련에 소요되는 시간이 길고 최적화하기가 어려울 수 있습니다. 결과적으로 모델을 해석하고 설명하기가 어려운 경우가 많습니다. Amazon SageMaker 디버거는 모델 훈련 및 검증, 혼동 매트릭스 및 학습 그래디언트와 같은 훈련 중 실시간 지표를 자동으로 캡처하여 모델 정확도를 개선하는 데 도움이 되어 훈련 프로세스를 더욱 투명하게 만듭니다. SageMaker 디버거의 통계를 SageMaker Studio에서 시각화하여 쉽게 이해할 수 있습니다. SageMaker Debugger는 일반적인 훈련 문제가 감지 될 때 경고 및 치료 조언을 생성 할 수도 있습니다. SageMaker 디버거를 사용하면 모델 설명 방법의 초기 단계를 나타내는 모델 작동 방식을 해석 할 수 있습니다.

Amazon SageMaker Model Monitor – 완전 관리형 자동 기계 학습 모델 모니터링
Amazon SageMaker Model Monitor는 개발자가 모델의 개념 편차를 감지하고 변경할 수 있습니다. 현재 배포 된 모델의 정확도에 영향을 줄 수있는 가장 큰 요소 중 하나는 예측 생성에 사용되는 데이터가 모델 학습에 사용 된 데이터와 다른 경우입니다. 예를 들어, 경제 상황이 변하면 주택 구매 예측에 영향을 미치는 새로운 금리가 발생할 수 있습니다. 이를 개념 드리프트 (concept drift)라고하며, 이로 인해 모델이 예측을 더 이상 적용하지 않는 패턴이 사용됩니다. SageMaker Model Monitor는 배포 된 모델에서 개념 편차를 자동으로 감지하고 문제의 원인을 식별하는 데 도움이되는 자세한 경고를 제공합니다. SageMaker에서 훈련 된 모든 모델은 SageMaker Studio에서 수집하고 볼 수있는 주요 지표를 자동으로 생성합니다. SageMaker Studio 내부에서 수집 할 데이터, 보는 방법 및 경고 수신시기를 구성 할 수 있습니다.

Amazon SageMaker Autopilot – 고품질 기계 학습 모델 자동 구축 기능
Amazon SageMaker Autopilot은 ML 모델에 대한 완벽한 제어 및 가시성을 제공하는 업계 최초의 자동 기계 학습 기능입니다. 자동화 된 기계 학습에 대한 일반적인 접근 방식은 모델 생성에 사용 된 데이터 또는 모델 생성에 사용 된 논리에 대한 통찰력을 제공하지 않습니다. 결과적으로 모델이 평범하더라도 진화 할 방법이 없습니다. 또한 일반적인 자동화 된 ML 솔루션은 하나의 모델 만 선택할 수 있기 때문에 지연 시간이 짧은 예측을 위해 정확도를 희생하는 등의 절충안을 융통성있게 사용할 수 없습니다.

SageMaker Autopilot은 기초 데이터를 자동으로 검사하고, 기능 프로세서를 적용하고, 최상의 알고리즘 세트를 선택하고, 여러 모델을 학습 및 조정하고, 성능을 추적 한 다음, 몇 번의 클릭만으로 성능을 기준으로 모델 순위를 지정합니다. 그 결과 일반적으로 모델을 훈련시키는 데 필요한 시간의 짧은 시간에 배포 할 수있는 최상의 성능의 모델입니다. 모델이 생성 된 방식과 모델에 포함 된 내용을 완벽하게 파악할 수 있으며 SageMaker Autopilot은 Amazon SageMaker Studio와 통합됩니다. SageMaker Studio에서 SageMaker Autopilot으로 생성 된 최대 50 개의 서로 다른 모델을 탐색하여 사용 사례에 가장 적합한 모델을 쉽게 선택할 수 있습니다. SageMaker Autopilot은 기계 학습 경험이없는 사람들이 쉽게 모델을 생성하거나 숙련 된 개발자가 팀이 추가 반복 할 수있는 기준선 모델을 신속하게 개발하는 데 사용할 수 있습니다.

Amazon SageMaker – Deep Graph Library 지원 시작
2018 년 12 월 Github에서 처음 출시 된 DGL (Deep Graph Library)은 연구원과 과학자가 데이터 세트에서 Graph neural networks (GNN) 모델을 빠르게 구축, 훈련 및 평가할 수 있도록 해주는 Python 오픈 소스 라이브러리입니다.  이를 잘 활용하려면, 도메인 지식 (소매, 재무, 화학 등), 컴퓨터 과학 지식 (Python, 딥 러닝, 오픈 소스 도구) 및 인프라 지식 (훈련, 배포 및 스케일링 모델)이 필요합니다. 이러한 기술을 모두 습득하는 사람은 거의 없으므로 Deep Graph Library 및 Amazon SageMaker와 같은 도구가 필요합니다.

Amazon SageMaker Processing – 완전 관리형 데이터 프로세싱 및 기계학습 모델 평가 기능
Amazon SageMaker Processing에는 데이터 과학자와 ML 엔지니어가 Amazon SageMaker에서 사전 처리, 사후 처리 및 모델 평가 워크로드를 쉽게 실행할 수 있는 새로운 Python SDK입니다. 본 SDK는 SageMaker의 내장 컨테이너 인 scikit-learn을 사용하며 데이터 세트 변환에 가장 인기있는 라이브러리입니다. 다른 것이 필요한 경우 Docker 이미지 사양을 준수하지 않고도 고유 한 Docker 이미지를 사용할 수 있습니다. 이는 SageMaker Processing에서  AWS 컨테이너 서비스에서 원하는 코드를 실행하는 데 최대한의 유연성을 제공합니다.

Amazon CodeGuru – Amazon CodeGuru는 자동화 된 코드 검토 및 애플리케이션 성능 권장 사항을 위한 기계 학습 서비스입니다. 서비스 성능을 저하시키고 가장 비싼 코드 라인을 찾은 다음 코드 수정 또는 개선을 위한 특정 권장 사항을 제공합니다. CodeGuru는 수백만 개의 코드 검토와 오픈 소스 프로젝트 및 Amazon 내부에서 프로파일 링 된 수천 개의 애플리케이션에 대한 기계 학습, 모범 사례 및 습득한 정보를 기반으로 합니다. CodeGuru를 사용하면 리소스 누수, 잠재적 동시성 경쟁 조건 및 CPU주기 낭비와 같은 코드 문제를 찾아 수정할 수 있습니다.

AWS 로컬 영역(Local Zone) 출시 – 미국 로스 엔젤레스 지역
오늘 부터 캘리포니아 로스 앤젤레스 지역에서 로컬 영역(Local Zone)을 시작합니다. 로컬 영역은 새로운 유형의 AWS 인프라 배포 방식으로 특정 AWS 서비스를 특정 지역에 빠르게 제공합니다. 로컬 영역은 남부 캘리포니아 리전 내부에 로스 앤젤레스와 가용 영역에서 세분화 되어, LA 지역 사용자가 접근하는 서비스에 대해 매우 낮은 대기 시간 (1 자리 밀리 초)을 제공하도록 설계되었습니다. 지연 시간에 민감한 트래픽이 높은 애플리케이션에 도움이 됩니다.

AWS Outposts 정식 출시 – 오늘 주문하세요!
AWS Outposts는 네이티브 AWS 서비스, 인프라 및 운영 모델을 사실상 모든 데이터 센터, 코로케이션 공간 또는 온프레미스 시설로 옮길 수 있습니다. 온프레미스 및 클라우드에 걸쳐 동일한 API, 동일한 도구, 동일한 하드웨어 및 동일한 기능을 사용하여 일관된 하이브리드 환경을 제공할 수 있습니다. Outposts는 짧은 지연 시간 또는 로컬 데이터 처리 필요성에 따라 온프레미스에 유지되어야 하는 워크로드를 지원하는 데 사용할 수 있습니다. 오늘 부터 서울 리전을 포함해서 주문 가능합니다.

미리 보기 출시 예고

아래는 오늘 공개 한 미리 보기 출시 기능에 대한 개요와 자세한 내용을 볼 수 있는 링크입니다. (대부분 Andy의 기조 연설에 있음)

Graviton2기반 EC2 인스턴스 (M6g, C6g, R6g)  – 새로운 Graviton2 프로세서로 구동되는 새로운 Arm 기반 범용, 컴퓨팅 최적화 및 메모리 최적화 EC2 인스턴스를 출시 예고합니다. 이 인스턴스는 5 세대 (M5, C5 및 R5) 인스턴스에 비해 상당한 성능 이점을 제공하며 보안에 대한 기준을 높입니다.

UltraWarm for Amazon Elasticsearch Service – 대용량 로그 분석을 위한 스토리지
Amazon Elasticsearch Service를 위한 완전 관리 형 저비용 스토리지 계층 UltraWarm은 기존 옵션에 비해 거의 90 %의 비용 절감으로 최대 900TB의 스토리지를 제공합니다. UltraWarm은 Amazon Elasticsearch Service 환경을 완벽하게 확장하여 익숙한 Kibana 인터페이스에서 자주 사용하는 데이터를 쿼리하고 시각화 할 수 있습니다. UltraWarm 데이터는 현재 사용하는 것과 동일한 API 및 도구를 사용하여 쿼리 할 수 있으며, 휴지 및 비행 중 암호화, 통합 경고, SQL 쿼리 등과 같은 널리 사용되는 Amazon Elasticsearch Service 기능도 지원합니다.

Amazon Kendra – Amazon Kendra는 기계 학습을 기반으로하는 매우 정확하고 사용하기 쉬운 엔터프라이즈 검색 서비스입니다. Kendra는 웹 사이트 및 응용 프로그램에 강력한 자연어 검색 기능을 제공하므로 최종 사용자는 회사 전체에 퍼져있는 방대한 양의 컨텐츠에서 필요한 정보를보다 쉽게 찾을 수 있습니다.

Contact Lens for Amazon Connect – 기계 학습을 사용하여 고객 센터의 고객 대화 내 감정과 추세를 이해하는 Amazon Connect 용 분석 기능 세트입니다.  고객과의 통화 기록이 기계 학습 기술을 사용하여 자동으로 인식 및 저장되고, 자연어 처리 엔진을 통해 감정을 추출하고 검색을 위해 색인화됩니다. 고객 센터 수퍼바이저와 분석가는 상담원을 효과적으로 교육하고 성공적인 상호 작용을 복제하며 중요한 회사 및 제품 피드백을 식별하기 위해 호출에서 언급 된 특정 단어와 문구를 기반으로 트렌드, 컴플라이언스 위험을 감지할 수 있습니다.

Amazon Fraud Detector – Amazon Fraud Detector는 온라인 결제 사기 및 가짜 계정 생성과 같은 사기성 온라인 활동을 쉽게 식별 할 수 있는 완전 관리형 서비스입니다. 온라인 비즈니스를 수행하는 회사는 특히 가짜 계정을 만들고 도난 된 신용 카드로 지불하는 등 다양한 전술을 악용하는 악의적 인 공격자의 공격을 받기 쉽습니다.  본 서비스는 사기 수법의 변화를 고정된 규칙이 아니라 기계 학습을 사용하여 분석하여, 비즈니스와 관련된 데이터 세트 및 사기 행위를 기반으로 정확도를 높이고 있습니다.

AWS Wavelength – 5G 네트워크 엣지에있는 통신 제공 업체의 데이터 센터에 AWS 컴퓨팅 및 스토리지 서비스를 포함하는 AWS 인프라 배포는 개발자에게 한 자리 밀리 초의 지연 시간으로 최종 사용자에게 서비스를 제공하는 애플리케이션을 구축 할 수 있는 기능을 제공합니다. 기존 VPC를 파장 영역으로 확장 한 다음 EC2, EBS, ECS, EKS, IAM, CloudFormation, Auto Scaling 및 기타 서비스를 활용할 수 있습니다. AWS에 대한 지연 시간이 짧은이 액세스는 차세대 모바일 게임, AR / VR, 보안 및 비디오 처리 애플리케이션을 가능하게 합니다.  한국에서는 SK텔레콤이 버라이존, KDDI, 보다폰과 함께 파트너로 선정되었습니다.

우선 Andy Jassy 기조 연설에 나온 서비스를 중심으로 전해 드렸으며, 오늘 나오는 추가적인 신규 출시 기능도 계속 추가로 이 글 안에 업데이트 해드리겠습니다.

— Channy (윤석찬);