AWS re:Invent 2019 12월 5일 출시 소식 요약 – 버너 보겔스 박사 기조 연설 등

오늘은 Amazon.com의 CTO이시자 AWS 분산 아키텍처를 입안하고 설계해 오신 Dr. Werner Vogel의 기조 연설이 있습니다.

작년 부터 마지막날 기조 연설에는 서비스 출시 보다는 AWS 내면 기술에 대한 좀 더 심도 있는 내용을 공개하고, 향후 클라우드 기술의 미래 방향에 대한 비전 키노트 성격이 짙어졌습니다. 덕분에 많은 개발자들이 교수님 수업을 듣는 느낌으로 클라우드의 과거, 미래, 현재를 조망할 수 있는 중요한 시간이 되었습니다.

“경험에 대한 압축 알고리즘은 없다(There’s no compression algorithm for experience)”이라는 말과 함께 등단하신 버너 보겔스 박사님의 기조 연설을 주요 부분만 간단하게 요약해 드리겠습니다.

상세한 것은 기조 연설 동영상을 참고하세요!

새로운 가상화 환경 – AWS Nitro System
AWS는 수년 전 부터 기존 하이퍼바이저 기반의 가상화 방식이 보안 패치 같은 하이퍼바이저 재부팅을 통한 고객 경험 저하 등의 이유로 Nitro라는 새로운 가상화 시스템을 개발해 왔습니다. 기조 연설 초기에는 Nitro로 이전한 이유와 어떻게 네트워크,  스토리지 볼륨 및 관리 도구들을 순차적으로 분리했는지 소개하고, 이를 통해 고객 서비스 중단 없는 라이브 업데이트, 새로운 인스턴스 유형의 빠른 출시,  VMWare on AWS, 베어메탈, AWS Outpost 같은 새로운 서비스를 만들 수 있었는지 공유하였습니다.

특히, AWS Nitro Enclaves는 EC2 인스턴스 내의 컨테이너와 유사하도록 만들어 더 격리되어 있으며 특정 인터페이스를 통해 해당 인스턴스에서 실행되는 권한 있는 애플리케이션에 대해서만 액세스 할 수 있는 기능을 추가하여, 특정 SDK를 사용하여만 상호 작용합니다. 이러한 추가 격리 시스템을 통해 고객의 요구에 따라 일부 워크로드에 필요한 훨씬 안전한 컴퓨팅을 가능하게 합니다. 예를 들어, Amazon EC2 인스턴스 내에서 개인 식별 정보 (PII), 건강 관리, 재무 및 지적 재산권 데이터와 같은 매우 민감한 데이터를 추가로 보호하고 안전하게 처리 할 수 ​​있습니다.

무장애를 향한 분산 시스템 – Physalia
분산 시스템은 필연적으로 장애를 피하기 어렵습니다. 특히, 데이터를 저장하는 Elastic Block Store 같은 스토리지의 경우 데이터 일관성, 내구성을 지키면서도 확장성을 높이는 것은 CAP 이론에 따르면 매우 어렵습니다. 이러한 문제를 해결하기 위해 AWS는 리전 내에서 가용 영역(AZ) 단위, 혹은 셀(Cell) 단위 등으로 구성해 왔습니다.

하지만, 장애 과정에서 분산 시스템 운영의 현실 상 대한 1, 2 또는 4 개의 데이터스토어를 운영하는 것으로는 문제를 해결할 수 없다는 점을 깨닫고, 자연의 교훈을 얻었습니다. 포르투갈 해안가에 사는 Physalia는 해파리처럼 보이지만 실제로는 다세포 유기체입니다. 이 유기체는 같은 특정의 많은 특수 동물로 구성되어 있습니다.

Physalia 체계를 대규모 클라우드 제어 시스템에 사용하도록 최적화 된 트랜잭션 키-값 저장소를 만들어 트랜잭션 패턴 및 인프라 설계에 대한 지식을 활용하여 수백만 명의 고객에게 높은 가용성과 강력한 일관성을 제공합니다. Physalia는 모든 클라이언트가 모든 키에 대해 고 가용성을 제공하는 대신 해당 클라이언트의 관점에서 각 클라이언트가 필요로 하는 키에 대한 가용성에만 중점을 두는 방식을 사용합니다.

Physalia 시스템은 현재 모든 가용 영역(AZ)에 운영하면서 AWS의 프로덕션 환경에 배포되었습니다. 이를 통해 EBS 볼륨 가용성을 향상시켰습니다. 예를 들어, Physalia를 사용하면 기존 3천개 정도에서 한 번에 5만개의 볼륨에 대한 이벤트를 동시에 처리 할 수 ​​있고, 결과적으로 장애 발생시 복구 시간이 단축됩니다. ‘단일 구성 시, 해당 구성에서 장애가 발생하면 전체 가용 영역 (100 %)에 영향을 미치는 대신, Physalia 셀 기반 아키텍처에서는 유사한 서비스 결함에 대해 3 % 미만으로 영향을 제한 할 수 있었다고 합니다.

아마존의 기술을 공유하다 – Amazon Builders Library
이러한 AWS 아키텍처의 혁신 사례를 넘어서 많은 AWS  고객들이 Amazon.com의 최근 기술 혁신 사례 예를 들어, Amazon 물류센터의 로봇 기술, Amazon Go에 적용된 인공 지능 기술에 궁금해 하는 고객이 늘어났습니다. 또한, 어떻게 그렇게 빠르게 서비스 혁신할 수 있는지 기업 문화에 대한 궁금증도 많이 가지고 있습니다. 이를 해소할 수 있는 방편 중 하나로 Amazon Builders Library를 공개하였습니다.

본 웹 페이지에는 분산 시스템, 애플리케이션 배포 등 아마존이 어떻게 시스템을 구축하고 운영하는 방법을 정확하게 설명하는 상세한 기술 정보 모음으로 시작합니다. 해당 사례는 비즈니스의 해당 부분에 대해 깊은 전문 지식을 보유한 선임 기술 리더가 작성했습니다.  더 자세한 것을 블로그 글을 참고하시기 바랍니다.

그 밖에 폭스바겐의 자동차 제조 사례, 아마존의 물류 사례 등을 통해 어떻게 산업혁명 4.0에서 데이터를 기반으로 새로운 비즈니스 구조를 바꿀 수 있는지 각 기업들의 클라우드 활용 사례를 소개하였습니다. 좀 더 상세한 것은 기조 연설 동영상을 참고하세요!

re:Invent rePlay 파티 현장
AWS re:Invent의 대단원의 막은 역시 대규모 플레이그라운드인 rePlay 파티입니다. 음악, 놀이, 음식, 네트워킹이 한군데 모여 있는 장소에서 수만명이 즐길 수 있습니다. 유명 DJ의 EDM 공연, 인텔 드론 시연, 다양한 게임 등 멋진 저녁을 보낸 현장을 잠깐 담았습니다.

더 자세한 현장 분위기는 #reInvent #replay 태그를 참고하시기 바랍니다.

rePlay 파티를 마지막으로 금요일 오전에 세션 등이 끝나면 AWS re:Invent를 마무리하게 됩니다. 일주일 동안 다양한 소식을 매일 전해 드렸지만, 그 보다 더 많은 것들을 경험하실 수 있습니다. 다음 편에는 한국 고객을 위한 AWS re:Invent의 비하인드 스토리를 전해드리도록 하겠습니다.

— Channy (윤석찬);