게시된 날짜: Sep 20, 2018
이제 Amazon EMR 릴리스 5.17.0에서는 인기 있는 기계 학습 및 딥 러닝 프레임워크인 TensorFlow 1.9.0 그리고 S3 Select with Apache Spark를 사용할 수 있습니다. Tensorflow 라이브러리는 EMR에서 Spark와 같은 빅 데이터 처리 엔진과 결합하여 교육 파라미터 튜닝을 병렬화함으로써 모델 교육 프로세스의 속도를 높일 수 있습니다. 그러면 교육된 모델은 클러스터의 모든 노드로 브로드캐스트되어 단일 노드에서 실행하기에는 너무 큰 대규모 데이터에서 분산 추론을 수행할 수 있습니다. EMR에서 TensorFlow는 시각화 도구인 TensorBoard와 패키징되어 tensor 그래프의 흐름을 실시간으로 시각화 및 디버깅하고 선택한 디자인의 영향을 이해하고 모델을 추가로 최적화하는 데 도움이 됩니다. EMR에서 TensorFlow 빌드는 클러스터에 사용하는 인스턴스 유형에 따라 다릅니다.
EMR 릴리스 5.17.0에서는 S3 Select with Spark를 사용할 수 있습니다. 이 기능을 사용하면 Spark 애플리케이션이 S3에 있는 큰 객체의 하위 데이터 세트를 선택적으로 쿼리할 수 있습니다. 이를 통해 EMR 클러스터로 전송되고 EMR 클러스터가 처리해야 하는 데이터 양을 줄임으로써 성능이 향상됩니다. 또한, 이 릴리스에서는 EMR에서 JupyterHub를 구성하여 노트북을 S3에 직접 저장하고 유지할 수 있습니다. 업그레이드된 Apache Flink 1.5.2, Apache HBase 1.4.6 및 Presto 0.206 버전을 사용할 수도 있습니다.
AWS Management Console, AWS CLI 또는 SDK에서 릴리스 레이블 [emr-5.17.0]을 선택하면 릴리스 5.17.0으로 Amazon EMR 클러스터를 생성할 수 있습니다. TensorFlow, Flink, HBase 및 Presto를 선택하면 EMR 클러스터를 시작할 때 해당 애플리케이션을 설치할 수 있습니다. EMR 릴리스 5.17.0, TensorFlow 1.9.0, S3 Select with Spark, Flink 1.5.2, HBase 1.4.6 및 Presto 0.206에 대한 자세한 내용은 Amazon EMR 설명서를 참조하십시오.
이제 Amazon EMR이 지원되는 모든 리전에서 Amazon EMR 릴리스 5.17.0을 사용할 수 있습니다.
EMR 출시 정보 피드를 구독하면 최신 EMR 릴리스 소식을 받을 수 있습니다. EMR 릴리스 안내서의 상단에 있는 RSS 아이콘을 사용하여 피드 URL을 즐겨 찾는 피드 리더에 바로 연결하십시오.