Amazon Web Services 한국 블로그

Amazon FreeRTOS 소개 – 마이크로콘트롤러 기반 IoT 운영 체제

ReadWrite.com에서 “IoT 디바이스의 수가 2021년에는 200%까지 급증“한다는 제목의 뉴스 기사에서 두 가지 사실이 고무적이었습니다. 첫 번째는 “연구자들은 IoT 기술의 급증으로 새로운 문제가 발생한다고 경고했습니다. 특히 최종 사용자와 공급업체 모두에 대한 대규모 IoT 배포가 문제가 될 것입니다.” 두 번째는 보안 문제가 증가할 수 있다는 대목이었습니다.

이 기사에서 언급한 이슈를 해결 하기 위해 AWS 클라우드에 손쉽게 연결할 수 있는 안전한 운영 체제를 갖춘 저비용의 효율적인 마이크로컨트롤러를 사용하여 멋진 IoT 솔루션을 만들 수 있다는 아이디어를 통해 기술 개발 단계에 있는 Amazon FreeRTOS를 소개합니다.

Amazon FreeRTOS는 마이크로컨트롤러 기반 엣지 디바이스의 개발, 보안, 배포 및 유지 관리를 간소화하는 IoT 마이크로컨트롤러 운영 체제입니다. Amazon FreeRTOS는 인기 있는 운영 체제인 FreeRTOS 커널을 확장하며, 로컬 및 클라우드 연결, 보안, 무선 업데이트(추가 예정)를 지원하는 라이브러리를 포함합니다.

이 운영 체제의 주요 이점은 다음과 같습니다.

  • 손쉽게 저전력 커넥티드 디바이스에 대한 솔루션 개발: 디바이스에 대한 공통 IoT 기능 개발을 손쉽게 하는 공통 운영 체제(OS)와 라이브러리를 제공합니다. 예를 들어 무선(OTA) 업데이트(지원 예정)와 디바이스 구성을 들 수 있습니다.
  • 안전한 데이터 및 디바이스 연결: 디바이스는 Code Signing 서비스를 사용하여 신뢰할 수 있는 소프트웨어만을 실행합니다. Amazon FreeRTOS는 TLS를 사용한 안전한 AWS 연결은 물론 디바이스에 키와 민감한 데이터를 안전하게 저장하는 기능을 제공합니다.
  • 광범위한 개발 생태계: 광범위한 하드웨어와 기술 에코시스템이 포함되어 Texas Instruments, Microchip, NXP Semiconductors 및 STMicroelectronics와 같은 다양한 공인된 칩셋을 선택할 수 있습니다.
  • 클라우드 또는 로컬 연결: 디바이스를 AWS 클라우드에 직접 또는 AWS Greengrass를 통해 연결할 수 있습니다. Amazon FreeRTOS 콘솔을 통해 솔루션에 필요한 소프트웨어를 선택하고 다운로드할 수 있습니다. 선택한 마이크로컨트롤러가 여러 하드웨어 옵션에 걸쳐 지속적으로 실행되도록 하는 데 도움을 주는 자격 프로그램이 있습니다. Amazon FreeRTOS 커널은 GitHub에서 무료 다운로드할 수 있는 오픈 소스 FreeRTOS 운영 체제입니다.

Amazon FreeRTOS 콘솔의 스냅샷 몇 장을 안 보여드리고 넘어갈 수는 없겠네요. 콘솔 내에서 사용하고자 하는 사전 정의된 소프트웨어 구성을 선택할 수 있습니다.

더욱 사용자 지정된 소프트웨어 구성을 원한다면 Amazon FreeRTOS를 통해 라이브러리를 추가 또는 삭제하여 실제 사용을 대상으로 하여 솔루션을 사용자 지정할 수 있습니다.

요약

Amazon FreeRTOS 제품 페이지를 방문하시면, 자세한 정보와 고객 사례등을 살펴 보실 수 있습니다. 이를 통해 더 새롭고 뛰어난 IoT 시스템이 지원 및 개발되기를 기대합니다! 즐겁게 코딩합시다.

Tara;

이 글은 AWS re:Invent 2017 신규 서비스 소식으로 New- AWS IoT Device Management의 한국어 번역입니다.

 

AWS IoT Device Management 출시 – 대량 디바이스 관리 및 모니터링 서비스

AWS IoTAWS Greengrass는 IoT 디바이스 및 애플리케이션을 위한 견고한 토대와 프로그래밍 환경을 제공합니다.

IoT의 성격상, 대규모 디바이스 배포는 종종 수백 또는 수천 군데에 수백만 또는 수천만 개의 장치가 배포되는 것을 의미합니다. 이러한 규모에서 각 디바이스를 개별적으로 취급하는 것은 불가능합니다. 대량으로 또한 집합적으로 디바이스를 설정, 모니터링, 업데이트 및 최종적으로 사용 중지하면서도 다양한 배포 구성, 디바이스 모델 등을 수용하는 유연성도 유지할 수 있어야 합니다.

AWS IoT Device Management 출시
오늘 Amazon에서는 이 과제를 해결해 줄 AWS IoT Device Management를 출시합니다. 이 서비스는 제조에서 사용 중지까지 디바이스 수명 주기의 각 단계를 지원합니다. 다음은 제공되는 기능입니다.

  • 온보딩 – 제조 상태의 디바이스에서 시작하여 프로비저닝 워크플로를 제어할 수 있습니다. IoT Device Management 템플릿을 사용하여 몇 번의 클릭으로 전체 디바이스 집합을 빠르게 온보딩할 수 있습니다. 템플릿은 디바이스 인증서 및 액세스 정책에 대한 정보를 포함할 수 있습니다.
  • 조직 – 막대한 수의 디바이스를 처리하기 위해, AWS IoT Device Management는 기존 IoT Device Registry를 확장하고 사용자가 디바이스 집합의 계층 모델을 생성하고 계층을 기반으로 정책을 설정할 수 있게 해줍니다. 개별 디바이스를 찾기 위해 계층을 따라 드릴다운할 수 있습니다. 또한 디바이스 집합에 대해 다비이스 유형 또는 펌웨어 버전과 같은 속성을 쿼리할 수도 있습니다.
  • 모니터링 – 디바이스로부터 원격 측정을 사용하여 실시간 연결, 인증 및 상태 지표를 수집하며, 이들 지표는 Amazon CloudWatch에 게시됩니다. 지표를 검사하고 추가 조사를 위해 특이값의 위치를 확인할 수 있습니다. IoT Device Management는 각 디바이스 그룹에 대해 로그 수준을 구성하도록 해주며, 사용자는 모니터링을 위해 Registry 및 Jobs의 변경 이벤트를 게시할 수도 있습니다.
  • 원격 관리AWS IoT Device Management를 사용하면 디바이스를 원격으로 관리할 수 있습니다. 디바이스에 새 소프트웨어 및 펌웨어를 푸시하고, 공장 기본값으로 재설정하고, 리재부팅하고, 대량 업데이트를 원하는 속도로 설정할 수 있습니다.

AWS IoT Device Management 살펴보기
AWS IoT Device Management 콘솔이 둘러보기를 통해 서비스의 각 기능에 액세스하는 방법을 소개했습니다.

저에게는 이미 대규모의 디바이스 세트(압력 게이지)가 있습니다.

이들 게이지는 새로운 온도 기반 대량 등록 기능을 사용해 생성된 것입니다. 다음은 제가 템플릿을 생성하는 방법입니다.

게이지는 그룹으로 정리됩니다(이 경우 미국 주).

다음은 콜로라도 주에 위치한 게이지입니다.

AWS IoT 그룹 정책을 통해 특정 IoT 리소스와 그룹의 모든 멤버에 대한 작업에 대한 액세스 권한을 제어할 수 있습니다. 이 정책은 IAM 정책과 거의 동일하게 구성되며 콘솔에서 생성할 수 있습니다.

작업은 선택적으로 디바이스를 업데이트하는 데 사용됩니다. 다음은 작업을 생성하는 방법입니다.

위의 [Job type]에 표시되었듯이, 작업은 한 번만 또는 지속적으로 실행될 수 있습니다. 다음은 업데이트할 디바이스를 선택하는 방법입니다.

Lambda 함수를 사용하는 사용자 지정 권한 부여자를 생성할 수 있습니다.

이 게시물에서는 AWS IoT Device Management의 사용 방법을 자세히 보여드렸습니다. 더 자세한 사항은 AWS 관리 콘솔설명서를 참고하세요.

Jeff;

이 글은 AWS re:Invent 신규 서비스 출시 소식으로 New- AWS IoT Device Management의 한국어 번역입니다.

AWS IoT Device Defender 출시 예고 – 대량 디바이스 공격 방어 및 모니터링 서비스

서물 인터넷에서 대량 기기를 배포하는 것은 흥미로운 경험입니다. 얼마 전 평균 제곱 미터당 1개의 환경 센서를 보유한 거대한 공장을 방문할 기회가 있었는데, 센서들은 온도, 습도 및 공기 순도를 초당 수 차례 측정하고, 오염의 초기 경고 시스템 역할을 했습니다.

고객에게 있어 지리적으로 분산된 곳에 대량 디바이스가 배포되는 가운데 보안 관리 문제는 매우 중요합니다. 제한적인 로컬 컴퓨팅 파워와 메모리의 양으로 인해 암호화와 기타 다른 형태의 데이터 보호 기능에 제한이 걸릴 때가 있습니다.

이러한 문제를 해결하고 고객이 규모에 따라 IoT 디바이스를 안심하고 배포할 수 있도록 새롭게 AWS  IoT Device Defender를 개발하고 있습니다.

세부 사항은 출시 전 변경될 수 있기는 하지만, 아래는 몇 가지 고객에게 장점이 되는 설계 계획입니다.

  • 지속적인 감사AWS IoT Device Defender는 디바이스 관련 정책을 모니터링하여 원하는 보안 설정이 적용되도록 합니다. 모범 사례로부터 벗어나는 것을 찾고 사용자 지정 감사 규칙을 지원하여 배포에 관련된 조건을 확인할 수 있습니다. 예를 들어 손상된 디바이스가 다른 디바이스로부터 센서 데이터를 구독했는지 여부를 확인할 수 있습니다. 일정에 따라 또는 필요에 따라 감사를 실행할 수 있습니다.
  • 실시간 감지 및 알림AWS IoT Device Defender는 손상된 디바이스로부터 발생할 수 있는 비정상적인 동작을 감지 후 빠르게 알림을 보냅니다. 시간에 따라 유사한 디바이스의 동작을 모니터링하고, 권한이 없는 액세스 시도와 연결 패턴의 변화 및 트래픽 패턴의 변화(인바운드 또는 아웃바운드)를 찾음으로써 이를 수행합니다.
  • 빠른 조사와 완화 – 비정상적인 무언가가 일어나고 있다는 알림을 받을 경우 AWS IoT Device Defender가 컨텍스트 정보를 포함한 도구를 제공하여 문제 조사 및 완화에 도움을 줍니다. 디바이스 정보, 디바이스 통계, 진단 로그 및 이전 알림을 모두 손끝에서 확인할 수 있습니다. 디바이스 재부팅, 권한 취소, 공장 기본값으로의 재설정, 보안 픽스 푸시와 같은 옵션이 있습니다.

출시 예고
곧 더 많은 정보를 알려드릴 예정입니다. 더 자세한 것은 제품 페이지를 참고해 주시기 바랍니다!

Jeff

AWS IoT Analytics 소개: 신속한 대규모 IoT 데이터 분석 기능 제공

최근 각광 받고 있는 기술 분야 중 하나가 사물인터넷(IoT)입니다. 하지만, IoT 디바이스 및 솔루션에서 수집되는 모든 데이터에서 변칙적으로 발생하는 수 많은 이상 데이터를 검색하고 쿼리할 수 있는 능력이 매우 중요해진 상황입니다. 기업이 정확한 의사 결정 및 예측을 바탕으로 조직의 방향을 설정하기 위한 분석의 중요성은 사물 인터넷 분야에서도 마찬가지이며, 누구나 IoT 메시지와 디바이스 데이터를 보다 쉽게 처리하고 분석할 수 있는 기능이 필요합니다.

AWS IoT Analytics는 IoT 디바이스로부터 수집되는 데이터에 대한 고급 데이터 분석을 제공하는 AWS IoT의 완전 관리형 서비스입니다.  AWS IoT Analytics 서비스를 사용하면 메시지를 처리하고, 대량의 디바이스 데이터를 수집 및 저장하고, 데이터를 쿼리할 수 있습니다. 또한 새로운 AWS IoT Analytics 서비스 기능은 데이터 시각화를 위해 Amazon Quicksight와 통합되며, Jupyter Notebooks과 통합을 통해 기계 학습을 활용합니다.

AWS IoT Analytics의 이점

  • 사전 빌드된 분석 함수에 대한 액세스를 제공하여 예측적 데이터 분석을 지원
  • 서비스의 분석 출력을 시각화하는 기능을 제공
  • 데이터 정리 도구를 제공
  • 수집된 데이터에서 패턴 식별을 지원

살펴보기: IoT Analytics 개념

  • 채널: 처리되지 않은 원시 메시지를 보관하고 MQTT 주제로부터 데이터를 수집합니다.
  • 파이프라인: 채널로부터 메시지를 사용하고 메시지 처리를 허용합니다.
    • 작업: 속성 필터링, Lambda 함수 고급 처리 기능 호출 등 메시지에 대한 변환을 수행합니다.
  • 데이터 스토어: 처리된 메시지의 쿼리 가능한 리포지토리로 사용됩니다. 다양한 디바이스 또는 위치에서 전송되는 메시지 또는 메시지 속성으로 필터링되는 메시지를 저장하기 위해 복수의 데이터 스토어를 사용할 수 있습니다.
  • 데이터 세트: 데이터 스토어의 데이터 검색 보기로, 반복되는 일정으로 생성될 수 있습니다. 

AWS IoT Analytics 시작하기

먼저 들어오는 메시지를 수신할 채널을 생성합니다.  이 채널을 사용하여 MQTT를 통한 채널로 전송되는 데이터 또는 Rules Engine으로부터 유도되는 메시지를 사용할 수 있습니다. 채널을 생성하기 위해 [Channels] 메뉴 옵션을 선택하고 [Create a channel] 버튼을 클릭합니다.

채널 이름으로 [TaraIoTAnalyticsID]를 지정하고 채널에 [MQTT topic filter]로 [Temperature]를 지정하겠습니다. [Create Channel] 버튼을 클릭하여 채널 생성을 완료합니다.

이제 채널을 생성했으므로 IoT 디바이스로부터 채널을 통해 수신되는 메시지를 수신 및 저장할 데이터 스토어를 생성해야 합니다. 보다 복잡한 솔루션에는 복수의 데이터 스토어를 설정할 수 있지만, 이 예제에서는 데이터 스토어를 하나만 생성하겠습니다. 메뉴 패널에서 [Data Stores]를 선택하고 [Create a data store]를 클릭합니다.

데이터 스토어 이름으로 TaraDataStoreID를 지정하고 [Create the data store]를 클릭하면 제 채널에서 들어오는 메시지를 저장할 데이터 스토어가 설정됩니다.

이제 채널데이터 스토어를 생성했으므로 파이프라인을 사용해 둘을 연결해야 합니다. 여기서는 그냥 채널과 데이터 스토어를 연결하는 간단한 파이프라인을 생성할 텐데, Lambda 작업 같은 파이프라인 작업을 추가하여 메시지를 처리하고 필터링하는 보다 강력한 파이프라인을 생성할 수 있습니다.

파이프라인을 생성하기 위해 [Pipelines] 메뉴 옵션을 선택하고 [Create a pipeline] 버튼을 클릭합니다.

이 파이프라인에 속성은 추가하지 않겠습니다. [Next ] 버튼을 클릭합니다.

앞서 설명했듯이 메시지 처리 및 변환을 위해 파이프라인에 추가할 수 있는 파이프라인 작업이 있지만, 첫 번째 파이프라인은 간단하게 유지할 생각이므로 [Next] 버튼을 클릭합니다.

파이프라인을 생성하기 위한 마지막 단계는 앞서 생성한 데이터 스토어를 선택하고 [Create Pipeline]을 클릭하는 것입니다.

이제 남은 작업은 AWS IoT Analytics 서비스를 활용하여 AWS IoT Analytics 채널로 데이터를 전송하는 IoT 규칙을 생성하는 것입니다. IoT 디바이스용 분석을 설정하는 과정이 정말 쉽지 않나요?

만약 Amazon Quicksight를 사용한 시각화를 위해 데이터에 대해 실행한 쿼리의 결과로 데이터 세트를 생성하거나 Jupyter Notebooks 와 통합하여 더 많은 고급 분석 기능을 수행하기를 원한다면 [Analyze] 메뉴 옵션을 선택하여 데이터 세트를 생성하고 Juypter Notebook 인스턴스에 액세스하기 위한 화면을 불러올 수 있습니다.

요약

이제 AWS IoT용으로 고급 데이터 분석을 설정하는 과정은 매우 간단합니다. AWS IoT Analytics를 사용하면 AWS IoT 연결 디바이스로부터 생성되는 대량의 데이터를 수집, 시각화, 처리, 쿼리, 저장할 수 있습니다. 또한 AWS 명령줄 인터페이스(AWS CLI), AWS IoT API, 언어별 AWS SDK, AWS IoT Device SDK 등 매우 다양한 방법으로 AWS IoT Analytics 서비스에 액세스할 수 있습니다.

지금 AWS IoT Analytics를 이용하여 IoT 데이터 분석을 탐색할 수 있습니다. AWS IoT와 AWS IoT Analytics를 사용하시려면, 미리 보기에 등록하시면 됩니다. 더 자세히 알아보려면 AWS IoT Analytics 제품 페이지를 참조하세요.

Tara;

이 글은 AWS re:Invent 2017의 신규 서비스 소식으로 Presenting AWS IoT Analytics: Delivering IoT Analytics at Scale and Faster than Ever Before의 한국어 번역입니다.

떠오르는 스타트업 소개 – 데이블, 스푼(마이쿤), 숨고

AWS는 스타트업을 사랑합니다!

세상을 변화시키기 위한 열정과 창의력으로 새롭고 흥미 진진한 비즈니스와 애플리케이션을 만들어 가는 스타트업을 위해 AWS는 다양한 프로그램을 제공하고 있습니다. 앞으로 좋은 서비스로 국내외에서 주목 받고 있는 스타트업 서비스와 그들이 AWS를 어떻게 활용하고 있는 지에 대해 연재로 전해 드리고자 합니다. (해외의 주요 스타트업은 영문 블로그 시리즈를 참고하세요.)

 

이번에는 아래 스타트업을 소개합니다.

데이블은 빅데이터 처리 및 개인화 기술을 바탕으로, 사용자에게 개인 맞춤형 콘텐츠와 광고를 추천하는 기술 기반 스타트업입니다. 세계 탑 기업들과의 기술경쟁에서 항상 승리할 정도로, 고도화된 개인화 추천 기술력을 갖고 있는 데이블은 이 같은 기술력을 강점으로 조선, 중앙, 한겨레, YTN 등 국내 주요 언론사 600여 개를 비롯해 총 1,200여 매체사 확보, 국내 1위 입지를 탄탄히 다지고 있습니다.

데이블의 주요 서비스로는 1,200여 제휴사의 데이터 수집 및 분석을 통해 실시간으로 개별 사용자들의 관심사에 맞는 콘텐츠를 제공하는 ‘데이블 뉴스’, 사용자의 지역, 행동 패턴, 관심사 등을 기반으로 타겟팅된 광고를 서비스하는 ‘데이블 네이티브 애드’ 등이 있습니다. ‘데이블 뉴스’ 적용 후, 동일한 영역에서 모두에게 동일한 인기 기사를 보여줬을 때 보다 독자의 현재 관심사에 기반해 모두 다른 실시간 개인 맞춤형 기사를 제공했을 때, 독자들이 읽은 평균 기사 수가 웹에서는 8%, 모바일에서는 평균 17% 증가했습니다. 또 언론사 사이트에서 하루 동안 노출된 총 기사 수가 18% 증가하는 등 독자들에게 읽히는 기사의 다양성이 증가하는 결과를 가져왔습니다.

데이블 네이티브 애드’는 사용자가 소비한 콘텐츠를 분석해 사용자의 관심사를 찾아내고, 해당 관심사를 바탕으로 관련된 광고 콘텐츠를 자동으로 노출하는 등 사용자의 관심사, 이용 매체, 이용시간, 지역 등을 반영해 광고를 추천하는 디지털 광고 플랫폼입니다. ‘데이블 네이티브 애드’를 통해, 인지도 향상을 목표로 하는 한 관광사의 경우 2주간 콘텐츠 도달이 5,100 만에 이르렀고, 한 자동차 제조사의 경우 목표 대비 2.8배 추가 도달 및 평균 6분 이상의 체류 시간을 기록했습니다. 또 회원가입을 KPI로 둔 자동차 보험사의 경우, 포털에서 진행하는 디스플레이 광고 대비 약 30% 낮은 전환 비용을 나타냈으며, 한 세무 회계사는 SNS 캠페인 대비 1/3, 검색광고 대비 1/2 수준의 전환 비용을 보였습니다. 데이블은 2017년 일본, 대만에 이어 인도네시아에도 진출, ‘아시아 No.1 콘텐츠 디스커버리 플랫폼’을 위해 노력하고 있습니다.

 

데이블의 서비스, 제휴, 채용 등 더 자세한 내용은 웹사이트에서 확인하실 수 있습니다!

 

마이쿤은 누구나 쉽게 편안하게 서로의 목소리로 소통할 수 있는 ‘오디오 계의 유튜브 ’ 목표로 스푼 서비스를 운영하고 있는 스타트업 입니다.

스푼은 국내 최초로 음성 라이브 서비스를 제공하고 있으며, 스마트폰을 이용하여 누구나 간편하게 오디오 라이브 방송을 진행할 수 있는 서비스 입니다.

실시간 음성 기반 오디오 플랫폼인 스푼은 라이브 방송을 통해 처음 시작한 라디오 BJ와 청취자들이 손쉽게 만나 빠르게 방송을 만들 수 있으며, 동일한 주제를 가지고 있는 사람들과 목소리를 통하여 공감대를 형성할 수 있도록 서비스 하고 있습니다. 현재 월 20만개 넘는 라이브 방송이 만들어지고 있으며, 성별 구별 없이 폭넓게 인기를 얻고 있습니다. 또한 방송 콘텐츠가 빠르게 증가함에 따라 다양한 콘텐츠들이 만들어지고 있어 사용자 만족도 또한 빠르게 증가하고 있습니다.

마이쿤 에서는 AWS의 다양한 서비스들을 활용해서 사용자에게 서비스를 제공하고 있습니다.

우선 EC2, S3, Route53, Cloudfront 등을 활용하여, 기본적인 서비스 인프라를 구성하고 있으며, S3Cloudfront의 글로벌 네트워크를 활용하여, 미디어 콘텐츠를 안정적으로 저장/전송하고 있으며, 또한 RDS, ElastiCache, ElasticSearch와 같은 Managed Service를 적극 활용함으로서 적은 인력으로 실시간 채팅 및 검색 등 사용자들에게 필요한 다양한 기능을 빠르게 개발 할 수 있어서 서비스를 확장하는데 많은 도움이 되었습니다.

그리고 스푼에서는 API GatewayLambda, DynamoDB와 같은 Managed 서비스의 장점을 적극 활용하여 실시간 라이브 서비스에 점진적으로 적용하기 위한 준비를 하고 있습니다.

AWS의 또 다른 장점은 고객의 니즈를 파악하여, 새롭게 출시되는 막강한 신규 기능들(ALB, ACM, WAF, Lambda등)과 활발한 국내 커뮤니티와 우수한 클라우드 전문가들의 막강한 지원이 아닐까 생각됩니다.

이러한 환경 속에서 스푼 서비스는 MVP 모델로 시작을 해서, 국내뿐만 아니라 동남아시아에서 새로운 도전을 시작하고 있습니다.

스푼에서 지금 바로 라이브 방송을 들어보세요!

 

숨고는 피아노 선생님, 이사 전문가, 웨딩플래너등 다양한 전문가들을 매칭해주는 서비스입니다. 서비스 출시 이후 현재까지 40만명의 요청과 8만여명의 고수와 매칭을 진행하였고, 런칭 첫 날부터 계속 폭발적으로 성장하고 있습니다.

숨고는 스타트업입니다. 런칭 첫날 한 개의 AWS EC2 인스턴스로 시작하였습니다. 런칭 후 점점 트래픽이 늘어나면서 다음과 같은 AWS 관리형 서비스들을 도입하였습니다.

  • 미리 빌드된 인스턴스 환경과 쉬운 배포를 위한, Elastic Beanstalk
  • 스케일 업과 아웃 및 백업이 쉬운, RDS
  • 관리가 쉬운 Redis를 위한, ElastiCache
  • 사용자 이미지 첨부파일 Static 파일들을 위한 스토리지, S3

 

전통적인 환경이지만 AWS에서 기본적인 운영/관리가 되기 때문에 적은 개발팀원으로도 크리티컬한 운영 이슈 없이 운영해 오고 있습니다.

숨고의 고객들을 위해서 새로운 기능과 현재 불편사항들을 우선사항으로 처리 하려고 노력하고 있습니다. 따라서, 인프라 이슈에 따른 운영관리 시간을 지속적으로 줄이려고 하고 있습니다. 그 솔루션 중 하나로 AWS Serverless architecture를 지속적으로 연구하며 도입 중입니다. 현재 일부 서비스에는 API Gateway, Lambda, CloudWatch등을 도입하였으며 전 서비스에 도입하도록 개발 중에 있습니다.

그리고 전문 AWS 엔지니어와 언제나 채팅이나 전화로 연락할 수 있다는 점이 매력적입니다. AWS Developer Support 이상의 플랜을 이용하면 Support Center에서 technical support 케이스를 열고 제목에 ‘Korean language support’이라고 적으면 한국 엔지니어에게 기술 지원을 받을 수 있습니다.

 

AWS는 위의 업체처럼 클라우드 기반으로 비즈니스 성공을 향해 나아가는 스타트업들과 이에 투자하는 액셀레이터, 벤처캐피털를 위해 AWS를 시작하는 데 필요한 리소스를 제공하기 위해 설계된 AWS Activate 스타트업 지원 프로그램을 운영하고 있습니다. 스타트업 지원에 대한 궁금한 점은 언제든지 알려주시기 바랍니다.

–  박세정, AWS코리아 스타트업 비지니스 개발 매니저;

AWS 중국(닝샤) 리전 오픈

오늘 우리는 전 세계에서 17번째이자 중국에서는 2번째로 리전을 선보였습니다. Ningxia Western Cloud Data Technology Co. Ltd.(NWCD)에서 운영하는 AWS 중국(닝샤) 리전은 현재 정식 출시되었으며 고객에게 중국의 AWS에서 애플리케이션을 실행하고 데이터를 저장할 수 있는 또 다른 옵션을 제공합니다.

세부 정보
시작 시 NWCD에서 운영하는 새로운 중국(닝샤) 리전은 Auto Scaling, AWS Config, AWS CloudFormation, AWS CloudTrail, Amazon CloudWatch, CloudWatch Events, Amazon CloudWatch Logs, AWS CodeDeploy, AWS Direct Connect, Amazon DynamoDB, Amazon Elastic Compute Cloud(EC2), Amazon Elastic Block Store(EBS), Amazon EC2 Systems Manager, AWS Elastic Beanstalk, Amazon ElastiCache, Amazon Elasticsearch Service, Elastic Load Balancing, Amazon EMR, Amazon Glacier, AWS Identity and Access Management(IAM), Amazon Kinesis Streams, Amazon Redshift, Amazon Relational Database Service(RDS), Amazon Simple Storage Service(S3), Amazon Simple Notification Service(SNS), Amazon Simple Queue Service(SQS), AWS Support API, AWS Trusted Advisor, Amazon Simple Workflow Service(SWF), Amazon Virtual Private Cloud, VM Import를 지원합니다. 이러한 서비스에 대한 자세한 내용은 AWS 중국 제품 페이지를 참조하십시오.

리전은 모든 크기의 C4, D2, M4, T2, R4, I3, X1 인스턴스를 지원합니다.

현재와 미래의 AWS 리전에 대해 자세히 알아보려면 AWS 글로벌 인프라 페이지를 확인하십시오.

운영 파트너
중국의 법률 및 규제 요구 사항을 준수하기 위해 AWS는 NWCD와 전략적 기술 협력을 통해 AWS 중국(닝샤) 리전의 서비스를 운영하고 제공합니다. 2015년에 설립된 NWCD는 라이선스가 있는 데이터 센터 및 클라우드 서비스 공급자로, 중국 닝샤에 본사를 두고 있습니다. NWCD는 AWS 중국(베이징) 리전의 운영자인 Sinnet을 중국의 AWS 운영 파트너로 참여시킵니다. 이러한 관계를 통해 AWS는 자사의 업계 최고 기술, 지침, 전문 지식을 NWCD 및 Sinnet에 제공하고 NWCD 및 Sinnet은 AWS 클라우드 서비스를 운영하고 현지 고객에게 제공합니다. 두 AWS 중국 리전에서 제공되는 클라우드 서비스는 다른 AWS 리전에서 사용 가능한 클라우드 서비스와 동일하지만 AWS 중국 리전은 다른 모든 AWS 리전과 분리되어 있으며 다른 모든 AWS 리전과 별도로 AWS의 중국 파트너가 운영한다는 점에서 다릅니다. AWS 중국 리전을 사용하는 고객은 AWS가 아닌 Sinnet 및 NWCD와 고객 계약을 체결합니다.

오늘부터 사용
NWCD에서 운영하는 AWS 중국(닝샤) 리전은 비즈니스용으로 제공되며 오늘부터 사용할 수 있습니다! 오늘부터 중국 개발자, 스타트업, 대기업뿐만 아니라 정부, 교육 기관, 비영리 단체는 AWS를 활용하여 NWCD에서 운영하는 새로운 AWS 중국(닝샤) 리전에서 애플리케이션을 실행하고 데이터를 저장할 수 있습니다. Sinnet에서 운영하는 AWS 중국(베이징) 리전을 이미 사용하고 있는 고객은 AWS Management Console에서 직접 AWS 중국(닝샤) 리전을 선택할 수 있으며, 신규 고객은 두 AWS 중국 리전을 사용할 수 있도록 www.amazonaws.cn에서 계정을 요청할 수 있습니다.

Jeff;

이 글은 Now Open – AWS China (Ningxia) Region 의 한국어 번역입니다.

Stephen Orban – 클라우드 기반 하이브리드 아키텍처에 대한 세 가지 오해

“인생에서 가장 배우기 어려운  것은건너야 하는 다리와 버려야 하는 다리를 구별하는 것이다.” –David Russell

 

저는 CIO로서 클라우드 서비스 외에 몇 가지 비즈니스 솔루션 개발을 진두지휘하면서 하이브리드 아키텍처에 대한 견해를 쌓기 시작했습니다. 운이 좋게도, 지난 5개월간 대기업의 CIO를 비롯한 CTO들을 만나 10여 차례 대화를 나누면서 하이브리드 아키텍처에 대한 사고를 더욱 구체화할 수 있었습니다. 그 밖에도 하이브리드 아키텍처에 관한 글이나 블로그들을 많이 읽었지만 클라우드 기반 하이브리드 아키텍처에 대한 업계의 공통된 이해에 석연치 않은 부분들이 있다고 생각합니다.

기업들이 클라우드 기술을 필요로하는 이유는 매우 다양합니다.그 예시로, 클라우드를 도입한 기업들은 대응 능력 강화, 비용 절감 및 글로벌 확장이라는 이점을 경험했습니다.실제로도 다수의 CIO들과 대화를 해보면 대부분 비즈니스 수익성이 없는 일로부터수익성이 있는 일로소중한 자원을 투입할 수 있게 된 것에 대한 얘기로 귀결됩니다.인프라 관리로 인해 겪게 되는 과중한 업무나 브랜드를 대표하는 제품 및 서비스 개발 활동 등이 여기에 해당합니다.

대부분 엔터프라이즈 IT 조직은 오늘날 운영 중인 인프라 및 통합 관리를 오랜 기간 사용해왔습니다. 이러한 인프라를 최대한 빠르게 클라우드로 이전하려고 하는 CIO들과 여러 차례 얘기해 보았는데, 클라우드 도입 여정이 유의미해지려면 오랜 시간이 필요하다는 것을 깨닫게 됩니다. 이러한 여정을 따라 기업은 자사 시스템을 그대로 운영하면서 기존 투자 자산을 최대한 이용할 수 있는 방법을 찾게 됩니다. 저는 엔터프라이즈 클라우드 여정에 관한 게시물에서 기업이 AWS Virtual Private Cloud(VPC) 및 Direct Connect를 사용하여 자체구축 인프라를 AWS까지 확장함으로써 하이브리드 아키텍처를 구현하는 방법에 대해서 얘기하였습니다. 위의 게시물에 언급한 하이브리드 아키텍처가 가장 의미있는 형태라고 생각할 뿐만 아니라 클라우드의 이점을 극대화하기때문에 이러한 단계를 따르고 있는 기업들이 많다고 생각합니다.

하지만 하이브리드에 대해 왜곡된 이야기들이 있습니다. 이 이야기들을 들어보면 처음에는 그럴 듯해 보이지만 자세히 알고나면 더 이상 동의하기 어려운 세 가지 속설이 존재합니다. 이러한 세 가지 오해는 다음과 같습니다.

오해 1: 하이브리드가 마지막 목적지(permanent destination)이다. 마지막(permanenet)이라는 단어는 이 관점을 설명하기에는 지나치게 거창한 단어입니다. 기간계 시스템을 충분히 보유하고 있는 대기업들은 보통은 연 단위로 일정 시간 하이브리드 클라우드 아키텍처를 운영할것입니다. 기업마다 클라우드 여정에 약간씩 차이가 있을것이고 누구나 자신에게 편안한 속도로 진행하려고 할것입니다. 그렇다고 해도 저는 미래에도 여전히 기업들이 자사 데이터 센터를 운영할 것이라 상상하기 어렵습니다. 아마도 3년 뒤에는 그렇겠지만 15년까지는 걸리지 않을 거라 확신합니다. 이렇게 전환 속도가 점차 빨라지는 요인은 다음과 같이 4가지 정도가 있습니다.
1. 클라우드 공급자가 원하는 규모의 경제가 클라우드 도입과 함께 계속해서 성장하고 있습니다. 이러한 이점은 어떤 식으로든 클라우드 소비자들에게도 긍정적인 영향을 미치기 마련입니다.
2. 클라우드 기술에서 비롯되는 혁신의 속도가 유례를 찾아보기 어려울 정도로 빠릅니다. AWS는 2014년에 515건이 넘는 기술 혁신을 선보임으로써 지난 3년간 매년 이룬 혁신의 속도를 거의 2배나 뛰어넘었습니다.
3. 기업이 비즈니스 운영을 위해 의존하는 기술(이메일, 생산성, HR, CRM 등)이 점차 클라우드를 기반으로 개발되고 있습니다.
4. 기업의 클라우드 마이그레이션을 지원하기 위해 존재하는 기술이나 비즈니스의 수가 빠른 속도로 증가하고 있습니다. 자세한 내용은 AWS Marketplace 및 AWS 파트너 네트워크를 참조하십시오.

오해 2: 하이브리드 아키텍처에서는 자체구축 인프라와 클라우드 사이에 애플리케이션을 원활하게 이전할 수 있다. 얼핏 들으면 매력적으로 들릴 수 있지만 이러한 전제에는 근본적으로 결함이 있습니다. 클라우드와 자체구축 인프라가 동일한 기능을 한다는 가정을 전제로 하기 때문입니다. 저는 많은 기업들이 자사의 인프라를 관리할 준비가 잘 되어 있는지 알고 있습니다. 동시에 기업들은 진정한 의미의 탄력성, 보안 강화, 종량 요금제, 끊임없는 혁신 등 데이터 센터에서 지원하지 않는 특징과 기능 때문에 클라우드로 이동하고 있습니다. 하지만 애플리케이션이 데이터 센터와 클라우드 모두에서 원활하게 실행되도록 설계하려면 최소 공통 분모의 기능으로 제한될 수 밖에 없습니다.

오해 3: 하이브리드 아키텍처에서는 다수의 클라우드 공급자 사이에 애플리케이션을 중개할 수 있다. 이 속설에는 사실과 미묘한 차이가 있습니다. 기업들은 자사의 비즈니스 요건에 따라 다양한 클라우드 솔루션을 사용하고 있습니다. 여기에는 일반적으로 서로 혼합된 인프라 서비스를 비롯해 기업의 데이터 센터가 아닌 다른 곳(대부분 AWS 기반)에서 실행되는 패키지 솔루션도 포함됩니다. IT 임원들은 해결하려고 하는 문제를 살펴본 후 제약 조건을 감안하여 가장 적합한 도구를 선택해야 하기 때문입니다.

제가 두려운 것은 바로 기업이 단일 애플리케이션을 다수의 클라우드 공급자 사이에 설계하려는 함정에 빠질 때입니다. 저는 엔지니어들이 이러한 유혹에 빠지는 이유를 잘 알고 있습니다. 그 이유는 바로 서로 다른 클라우드 솔루션이 연동하도록 설계하는 것이 엄청난 업적이기 때문입니다. 아쉽지만 이러한 노력은 기업이클라우드로 전환에 생기는 생산성의 이점을 잠식하고 맙니다. 원점으로 돌아가게되는것이죠. 이제는 기업이 자사의 인프라를 관리하지 않는 대신 여러 공급자 간 미묘한 차이를 관리합니다. 그러다 보니 속설 2와 마찬가지로 기능을 최소 공통 분모로 제한하게 됩니다.

저는 기업이 위와 같은 과정을 따라 가면 클라우드 공급자들이 솔직함을 유지할 뿐만 아니라 단일 공급자에게 종속되는 것을 피할 수 있다고 믿고 있습니다. 한편으로는 중요한 클라우드 공급자 중 한 곳을 잃을 수도 있다는 위험성에 대해서 곰곰이 생각해봤지만 앞으로 클라우드 컴퓨팅 업계의 향방이 가혹한 비즈니스 전술이 될 가능성은 없어 보입니다. 다른 한편으로는 이러한 우려를 완화할 수 있는 좋은 방법이 있다고 생각합니다. 알려진 자동화 기법을 사용해 애플리케이션을 설계하는 기업들은 자사의 환경을 안정적으로 복제할 수 있습니다. 기업이 클라우드의 탄력적 속성을 이용할 수 있는 이유도 이러한 모범 사례에서 찾아볼 수 있으며, 이를 통해 애플리케이션이 인프라에서 분리됩니다.어쩔 수 없이 클라우드 공급자를 바꿔야 하는 경우에도 부담이 줄어듭니다.

기술 선택은 언제나 쉬운 일이 아니며, 종종 실수가 나오기도 합니다. 하지만 하이브리드 아키텍처를 구현할 때는 그럴 필요가 없습니다. 여러분의 생각을 듣고 싶습니다.

– Stephen;
@stephenorban
http://aws.amazon.com/enterprise/

본 블로그 글은 Stephen Orban의 엔터프라이즈 클라우드 여정 시리즈 입니다. 더 자세한 것은 전체 목록을 참고하시기 바랍니다.

Amazon Comprehend – 딥러닝 기반 실시간 자연어 인식 서비스 출시

몇년 전 메릴랜드 대학교 CS 도서관을 돌아다니다가 컴퓨터가 할 수 없는 일(What Computers Can’t Do)과 그 후속작인 컴퓨터가 여전히 할 수 없는 일(What Computers Still Can’t Do)이라는 오래된 책을 발견했습니다. 이것은 컴퓨터 공학이 관심을 가지고 연구할 만한 분야라는 사실을 깨달았습니다. 이 게시물을 준비하는 동안 저는 첫 번째 책의 복사본을 찾았고, 아래와 같은 흥미로운 의견을 발견했습니다.

자연 언어의 문장을 사용하고 이해하는 인간에게는 문장의 맥락 의존성의 사용에 대한 암시적 지식이 필요합니다. 이는 Turing의 의문대로 컴퓨터가 자연 언어를 이해하고 번역할 수 있는 컴퓨터를 만드는 유일한 방법이자 세상을 학습하도록 프로그래밍하는 유일한 방법일 것입니다.

이는 통찰력 있는 의견이었고, 텍스트로 부터 새로운 의미와 가치를 발견할 수 있는 신규 서비스인 Amazon Comprehend 소개합니다.

Amazon Comprehend 소개
Amazon Comprehend는 영어 또는 스페인어 텍스트에서 다양한 유형의 엔터티(사람, 장소, 브랜드, 제품 등), 핵심 구절, 감정(긍정, 부정, 혼재 또는 중립)을 식별하고, 핵심 구절을 추출합니다. Comprehend의 주제 모델링 서비스는 분석 및 주제 기반 그룹화용 대량의 문서로부터 주제를 추출합니다.

이상 4개의 기능(언어 감지, 엔터티 범주화, 감정 분석 및 핵심 구절 추출)은 수백 밀리초 내에 응답이 가능한 대화식 사용을 위해 설계되었습니다. 주제 추출은 작업 기반 모델에서 작동하며, 응답은 컬렉션의 크기와 비례합니다.

Comprehend는 지속적으로 데이터 훈련을 하는 자연 언어 처리(NLP) 서비스입니다. AWS 엔지니어 및 데이터 과학자 팀이 계속해서 훈련 데이터를 확장 및 정제합니다. 시간이 흐름에 따라 서비스가 더욱 정확해지고 더욱 폭넓게 적용 가능하도록 하는 것이 목표입니다.

Amazon Comprehend 둘러보기
AWS 관리 콘솔을 사용하여 Amazon Comprehend를 둘러보고 Comprehend API를 사용하는 애플리케이션을 빌드할 수 있습니다. Direct Connect에 관한 제 최신 게시물의 첫 문단을 사용하여 Amazon Comprehend API 탐색기를 연습해 보겠습니다. 상자에 텍스트를 붙여넣고 [Analyze]를 클릭합니다.

Comprehend가 빠르게 텍스트를 처리하고, 식별한 엔터티(위에 나와 있습니다)를 강조 표시한 다음 모든 기타 정보를 클릭 한 번으로 사용할 수 있습니다.

결과의 각 부분을 살펴보겠습니다. Comprehend가 제가 입력한 텍스트의 엔터티의 여러 범주를 감지할 수 있습니다.

텍스트에서 발견된 모든 엔터티입니다(목록으로 또는 원시 JSON 형식으로도 표시될 수 있습니다).

첫 핵심 구절입니다(나머지는 [Show all]을 클릭하면 확인할 수 있습니다).

언어와 감정도 간단하게 파악할 수 있습니다.

그렇습니다. 이것은 대화형 함수입니다. 그럼 배치를 살펴보겠습니다. 이미 하나의 S3 버킷에는 수천 개의 제 이전 블로그 게시물이 포함되어 있고, 결과를 위해 마련한 빈 버킷, 그리고 Comprehend가 두 버킷 모두에 액세스할 수 있도록 하는 IAM 역할이 있습니다. 입력을 한 다음 [Create job]을 클릭하여 시작합니다.

콘솔에서 제 최근 작업을 볼 수 있습니다.

작업이 완료되면 버킷에 결과가 표시됩니다.

시연을 목적으로 저는 데이터를 다운로드하고 내부를 들여다 볼 수 있습니다(대부분의 경우 이를 시각화 또는 분석 도구에 저장합니다).

$ aws s3 ls s3://comp-out/348414629041-284ed5bdd23471b8539ed5db2e6ae1a7-1511638148578/output/
2017-11-25 19:45:09     105308 output.tar.gz
$ aws s3 cp s3://comp-out/348414629041-284ed5bdd23471b8539ed5db2e6ae1a7-1511638148578/output/output.tar.gz .
download: s3://comp-out/348414629041-284ed5bdd23471b8539ed5db2e6ae1a7-1511638148578/output/output.tar.gz to ./output.tar.gz
$ gzip -d output.tar.gz
$ tar xf output.tar
$ ls -l
total 1020
-rw-r--r-- 1 ec2-user ec2-user 495454 Nov 25 19:45 doc-topics.csv
-rw-rw-r-- 1 ec2-user ec2-user 522240 Nov 25 19:45 output.tar
-rw-r--r-- 1 ec2-user ec2-user  20564 Nov 25 19:45 topic-terms.csv
$

공통 주제 번호(첫 번째 열) 내에 있는 용어와 관련이 있는 topic-terms.csv 파일 클러스터입니다. 처음 25개의 행입니다.

topic,term,weight
000,aw,0.0926182
000,week,0.0326755
000,announce,0.0268909
000,blog,0.0206818
000,happen,0.0143501
000,land,0.0140561
000,quick,0.0143148
000,stay,0.014145
000,tune,0.0140727
000,monday,0.0125666
001,cloud,0.0521465
001,quot,0.0292118
001,compute,0.0164334
001,aw,0.0245587
001,service,0.018017
001,web,0.0133253
001,video,0.00990734
001,security,0.00810732
001,enterprise,0.00626157
001,event,0.00566274
002,storage,0.0485621
002,datar,0.0279634
002,gateway,0.015391
002,s3,0.0218211

doc-topics.csv 파일은 어떤 파일이 최초 파일의 주제를 참조하는지 나타냅니다. 이번에도 처음 25개의 행입니다.

docname,topic,proportion
calillona_brows.html,015,0.577179
calillona_brows.html,062,0.129035
calillona_brows.html,003,0.128233
calillona_brows.html,071,0.125666
calillona_brows.html,076,0.039886
amazon-rds-now-supports-sql-server-2012.html,003,0.851638
amazon-rds-now-supports-sql-server-2012.html,059,0.061293
amazon-rds-now-supports-sql-server-2012.html,032,0.050921
amazon-rds-now-supports-sql-server-2012.html,063,0.036147
amazon-rds-support-for-ssl-connections.html,048,0.373476
amazon-rds-support-for-ssl-connections.html,005,0.197734
amazon-rds-support-for-ssl-connections.html,003,0.148681
amazon-rds-support-for-ssl-connections.html,032,0.113638
amazon-rds-support-for-ssl-connections.html,041,0.100379
amazon-rds-support-for-ssl-connections.html,004,0.066092
zipkeys_simplif.html,037,1.0
cover_art_appli.html,093,1.0
reverse-dns-for-ec2s-elastic-ip-addresses.html,040,0.359862
reverse-dns-for-ec2s-elastic-ip-addresses.html,048,0.254676
reverse-dns-for-ec2s-elastic-ip-addresses.html,042,0.237326
reverse-dns-for-ec2s-elastic-ip-addresses.html,056,0.085849
reverse-dns-for-ec2s-elastic-ip-addresses.html,020,0.062287
coming-soon-oracle-database-11g-on-amazon-rds-1.html,063,0.368438
coming-soon-oracle-database-11g-on-amazon-rds-1.html,041,0.193081

애플리케이션 구축하기
대부분의 경우 Amazon Comprehend API를 사용하여 자연 언어 처리를 자체 애플리케이션에 추가할 것입니다. 주요 대화형 함수는 다음과 같습니다.

  • DetectDominantLanguage – 텍스트의 중심 언어를 감지합니다. 다른 함수들 가운데 이 정보를 입력해야 하는 경우도 있으니 이 함수를 먼저 호출해야 합니다.
  • DetectEntities – 텍스트의 엔터티를 감지하고 JSON 형식으로 이를 반환합니다.
  • DetectKeyPhrases – 텍스트의 핵심 구절을 감지하고 JSON 형식으로 이를 반환합니다.
  • DetectSentiment – 텍스트의 감정을 감지하고 POSITIVE, NEGATIVE, NEUTRAL 또는 MIXED로 반환합니다.

또한 이러한 함수에 4개의 변수가 있습니다(각각 다음 접두사가 포함됩니다). Batch따라서 최대 25개의 문서를 동시에 처리할 수 있습니다. 이들을 사용하여 처리량이 높은 데이터 처리 파이프라인을 빌드할 수 있습니다.

  • 주제 감지 작업을 생성 및 관리하는 데 사용할 수 있는 함수는 다음과 같습니다.
  • StartTopicsDetectionJob – 작업을 생성하고 실행을 시작합니다.
  • ListTopicsDetectionJobs – 현재 및 최근 작업의 목록을 가져옵니다.
  • DescribeTopicsDetectionJob – 단일 작업에 관한 세부 정보를 가져옵니다.

정식 출시
Amazon Comprehend는 현재 사용 가능하며, 오늘부터 이를 사용하여 애플리케이션에 적용할 수 있습니다! 자세한 사항은 요금 페이지고객 사례, 기술 문서를 참고하세요.

Jeff;

이 글은 AWS re:Invent 2017 신규 서비스 소식으로 Amazon Comprehend – Continuously Trained Natural Language Processing의 한국어 번역입니다.

Amazon Transcribe – 딥러닝 기반 자동 음성 인식 서비스 출시

오늘 음성을 인식하여 텍스트로 변환하는 기능을 애플리케이션에 쉽게 추가할 수 있도록 하는 ASR(자동 음성 인식) 서비스인 Amazon Transcribe 미리 보기 기능을 출시합니다.

인터넷 연결 및 사용량이 대역폭과 연결성이 개선되면서 점점 많은 비디오 및 오디오 형식이 만들어지고 유통되고 있습니다. 기업들이 이처럼 풍부한 멀티미디어 콘텐츠에서 가치를 도출하는 몇 가지 수단을 확보하는 건 중요합니다. Amazon Transcribe 서비스는 효율적이고 확장 가능한 API를 사용해 많은 비용이 소요되는 수동 텍스트 추출 업무를 생략할 수 있게 해줍니다.

API로 작업을 시작하여 다양한 일반 형식(WAV, MP3, Flac 등)으로 Amazon Simple Storage Service(S3)에 저장된 오디오 파일을 분석할 수 있습니다. 각 단어, 그리고 추론된 구두점에 대해 타임스탬프를 포함하여 세부적이고 정확한 트랜스크립션을 받게 됩니다. 미리 보기 기간 동안 비동기 트랜스크립션 API를 사용해 영어 또는 스페인어 음성을 트랜스크립션할 수 있습니다.

기업들은 기존의 음성 데이터로부터 가치를 도출하고자 합니다. 이러한 저장된 미디어를 트랜스크립션하여 기업은 다음 작업을 수행할 수 있습니다.

  • 고객 통화 데이터를 분석
  • 자막 생성을 자동화
  • 콘텐츠 기반 광고를 타겟팅
  • 오디오 및 비디오 콘텐츠의 아카이브에 대해 풍부한 검색 기능을 구현

AWS 명령줄 인터페이스(CLI), AWS SDK 또는 Amazon Transcribe 콘솔을 사용하여 간편하게 트랜스크립션 작업을 시작할 수 있습니다.

Amazon Transcribe는 현재 3가지 API 작업을 사용합니다(이름에서 기능을 알 수 있음).

  • StartTranscriptionJob
  • GetTranscriptionJob
  • ListTranscriptionJobs

다음은 작업을 시작하여 작업이 종료될 때까지 폴링하는 빠른 파이톤 스크립트입니다.

from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe')
job_name = "RandallTest1"
job_uri = "https://s3-us-west-2.amazonaws.com/randhunt-transcribe-demos/test.flac"
transcribe.start_transcription_job(
    TranscriptionJobName=job_name,
    Media={'MediaFileUri': job_uri},
    MediaFormat='flac',
    LanguageCode='en-US',
    MediaSampleRateHertz=44100
)
while True:
    status = transcribe.get_transcription_job(TranscriptionJobName=job_name)
    if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']:
        break
	print("Not ready yet...")
    time.sleep(5)
print(status)

완료된 작업의 결과는 트랜스크립션을 JSON 형식으로 저장하는 Amazon Simple Storage Service (S3) 미리 서명된 url로 연결됩니다.

{
  "jobName": "RandallTest1",
  "results": {
  	"transcripts": [{"transcript": "Hello World", "confidence": 1}],
    "items": [
      {
      	"start_time": "0.880", "end_time": "1.300",
        "alternatives": [{"confidence": 0.91, "word": "Hello"}]
      },
      {
        "start_time": "1.400", "end_time": "1.620",
        "alternatives": [{"confidence": 0.84, "word": "World"}]
      }
  	]
  },
  "status": "COMPLETED"
}

보시다시피 각 단어에 대해 타임스탬프와 신뢰도 점수가 표시됩니다.

단독으로 사용되든 다른 Amazon AI 서비스와 결합하든 이 서비스는 강력한 서비스이며, 고객들이 이 서비스를 사용하여 어떤 애플리케이션을 빌드하지 빨리 보고 싶습니다!

여러분은 AWS Lambda와 AWS Step Functions을 통해 다양한 Amazon AI 서비스와 연동할 수 있습니다. 예를 들어 아래 작업은 파일이 들어올 경우 Transcribe 서비스로 보내 작업이 완료되면 Amazon Elasticsearch Service로 보낼 수 있는 간단한 작업입니다.

Amazon Transcribe는 프리티어의 일환으로 12 개월 동안 매월 60분을 무료로 사용할 수 있습니다. 일반 요금은 API는 초당 $0.0004가 청구되며 최소 요청 당 15초입니다. 현재 Amazon Transcribe는 미리 보기로 제공하고 있으며, 좀 더 자세한 사항은 기술 문서를 참고하세요.

– Randall;

이 글은 AWS re:Invent 2017의 신규 서비스 소식으로Amazon Transcribe – Accurate Speech To Text At Scale 의 한국어 번역입니다.

 

Amazon Translate 출시 – 딥러닝 기반 실시간 언어 번역 서비스

인터넷과 함께 세계는 더욱 작아졌습니다. 눈 깜짝할 사이에 문화와 국가의 경계 사이에서 막대한 정보가 저장 및 전송되기 때문에 서로 학습하고 성장할 수 있는 능력을 얻게 되었습니다. 지식과 데이터 공유라는 강력한 수단을 모두 활용하려면 우선 정보 공유와 소통을 가로막을 수 있는 언어 장벽을 허물어야 합니다.

다국어를 학습하는 것 외에 이러한 장벽을 허물 수 있는 방법 중 하나가 있다면 기계 번역과 관련 기술을 활용하여 여러 언어를 자동으로 번역하는 것입니다. 기계 번역 기술은 소프트웨어를 활용하여 한 언어에서 다른 언어로 텍스트 또는 스피치를 번역하는 데 집중하는 컴퓨팅 언어 연구 분야입니다. 기계 번역의 개념은 1949년으로 거슬러 올라갑니다. 당시 미국의 과학자이자 수학자인 Warren Weaver는 언어 번역 아이디어를 공유하자는 록펠러 재단의 자연과학부 동료들의 요청에 따라 Memorandum on Translation이라는 책을 저술했습니다.

60년이 지난 최근에는 인공 신경망을 사용하여 번역 메서드의 효율성과 품질을 높이면서 기계 번역 분야는 눈부시게 발전시켰습니다. 따라서 이 분야의 최근의 기술적 진보로 인해 일반 개발자들도 이러한 혜택을 얻어 사용자들에게 멋진 언어 번역 서비스에 이르게 되었습니다.

Amazon Translate 서비스 출시

일반 개발자들에게 인공 지능을 통한 스마트 애플리케이션 개발에 도움이 되고자 Amazon Translate 서비스를 출시합니다. 고급 기계 학습 기술을 사용하여 텍스트 기반 콘텐츠의 빠른 번역을 제공하고 다국어 사용자 환경을 제공하는 애플리케이션의 개발을 지원하는 고품질 신경망 기계 번역 서비스입니다. 이 서비스는 현재 미리 보기로 제공되며, 영어에서 지원되는 언어로 텍스트를 번역하는 데 사용할 수 있습니다.

Translate를 통해 기업  내 비즈니스에서 고객이 자동 언어 번역을 사용하여 선호하는 언어로 웹 사이트, 정보 및 리소스에 액세스하도록 허용함으로써, 글로벌 기반 제품 및 서비스를 손쉽게 확장할 수 있는 능력을 보유하게 됩니다. 추가로 고객들은 멀티 플레이어 채팅에 참여하고, 고객 포럼으로부터 정보를 수집하고, 교육 문서를 파악할 수 수 있습니다.

Amazon Translate가 어떻게 작동하여 양질의 기계 언어 번역을 제공하는지 궁금할 것입니다. 바로 딥 러닝 기술을 바탕으로 Translate는 신경망 네트워크를 사용하여 언어 쌍 사이를 번역하도록 훈련된 모델을 표현합니다. 언어 모델에는 소스 언어의 문장을 읽고 제공된 텍스트의 의미를 포착하는 심볼을 생성하는 인코더 구성 요소가 포함되어 있습니다. 또한, 소스 언어에서 대상 언어로의 텍스트 번역을 생성할 때 사용되는 의미 심볼을 형성하는 디코더 구성 요소가 있습니다. 추가로 제공된 소스 텍스트의 각 단어로부터 컨텍스트를 생성하는 서비스가 주의 메커니즘을 사용하여 어떤 단어가 다음 대상 단어 생성에 있어 적절한지를 결정합니다. 딥 러닝에서 주의 메커니즘이란 개념은 이전에 생성했던 모든 것은 물론 소스 문장의 전체 컨텍스트를 고려하여 소스 입력의 관련 컨텍스트에 초점을 맞추는 신경망 네트워크를 의미합니다. 이러한 프로세스가 더욱 정확하고 유창한 번역을 생성하는 데 도움이 됩니다.

Amazon Translate는 다른 AWS 서비스와 함께 사용하여 다국어 환경을 빌드하거나 언어에 구애받지 않는 프로세스를 실행할 수 있습니다. 예를 들어 다음 서비스와 함께 Translate 서비스를 사용할 수 있습니다.

  • Amazon Polly: 번역된 텍스트를 이용하고 생생한 음성을 입력하여 말하는 애플리케이션을 만들도록 합니다.
  • Amazon S3: 번역된 문서의 리포지토리를 생성하는 기능을 제공합니다.
  • AWS Elasticsearch: 관리형 Elasticsearch 엔진을 사용하여 다국어 검색을 생성합니다.
  • Amazon Lex: 텍스트 및 음성을 사용하여 번역 챗봇을 빌드합니다.
  • AWS Lambda: 동적 웹 사이트 콘텐츠의 현지화를 활성화합니다.

예시는 몇 가지이지만 Translate를 다른 AWS 서비스와 연결할 수 있는 많은 솔루션이 있습니다. 콘솔을 잠시 살펴보고 서비스 미리 보기 기능을 테스트 해 보겠습니다.

콘솔에 로그인하면 많은 정보가 표시됩니다. 서비스와 API 관련 예제, 지침 및 리소스를 포함한 Amazon Translate 서비스가 어떻게 작동하는지 세부적으로 설명하는 정보를 검토할 수 있습니다.

[Try Translate] 버튼을 클릭하여 서비스의 [API Explorer] 섹션으로 이동하겠습니다.

[Source Language]를 프랑스어(fr), [Target Language]를 영어(en)로 변경하겠습니다. 몇 주 전에 벨기에에서 묵었던 호텔의 프랑스어 웹 사이트에서 문장을 가져오겠습니다.

웹 사이트에서 프랑스어 텍스트를 가져와 Translate 서비스에 붙여넣은 다음 영어로 번역하고 나니 번역이 빠를 뿐만 아니라 정확하기까지 해서 정말 놀랐습니다.

요약

새로운 신경망 기계 번역 서비스인 Amazon Translate를 통해 실시간으로 영어는 물론 폭넓은 지원 언어로 텍스트를 번역할 수 있습니다. 미리 보기에서는 Arabic, Chinese (Simplified), French, German, Portuguese, Spanish 언어가 지원되며, 향후 계속 추가될 예정입니다. 번역 서비스는 AWS API, CLI 및 SDK를 통해 직접 사용할 수 있을 것입니다.

Amazon Translate 미리 보기에 가입하고 번역 서비스를 사용해 보세요. 미리 보기 제품 페이지를 확인하거나 AWS 설명서에 제공된 기술 가이드를 검토하면 더 많은 내용을 알아볼 수 있습니다.

Tara;

이 글은 AWS re:Invent 2017 신규 서비스 소식으로 Introducing Amazon Translate – Real-time Language Translation 의 한국어 번역입니다.