投稿日: Nov 6, 2018
この度、Amazon EMR リリース 5.18.0 において、Apache Flink 1.6.0 、Apache Zeppelin 0.8.0、S3 Select と、Apache Hive および Presto の併用ができるようになりました。Flink 1.6.0 では複数の新機能が追加されたり更新されています。これには Flink ステートへのアクセス制御を可能にするステート TTL のネイティブサポートや、クラスター上のコンテナ環境との統合を改善する HTTP/REST ベースのジョブ送信に対するサポートが含まれます。また SQL やテーブル API に複数の改善が加えられ、ストリーミングとバッチのクエリ実行が簡素化されたほか、SQL が Avro データ形式にも対応するようになりました。Zeppelin 0.8.0 では、Apache Hadoop YARN クラスターモードで実行中の Spark インタープリタ と IPython インタープリタがサポートされ、また Zeppelin ノートブックファイルの保存と読み取りを行うバックエンドストレージとして Apache HDFS を使用できます。
EMR リリース 5.18.0 では、S3 Select を Hive および Presto と共にお使いいただけます。S3 Select では、アプリケーションは Amazon S3 に保存されたオブジェクトに含まれるデータのサブセットのみを取得できます。これにより、Hive および Presto のクエリ実行時に EMR クラスターに転送してプロセスされる必要のあるデータ量が減るため、パフォーマンスが向上します。これらの機能の詳細については、S3 Select with Hive および S3 Select with Presto のページをご覧ください。
また今回のリリースにより、アップグレードされたバージョンである Apache Spark 2.3.2、Apache HBase 1.4.7、Presto 0.210 も使えます。
AWS マネジメントコンソール、AWS CLI、または SDK からリリースラベル「emr-5.18.0」を選択することによって、リリース 5.18.0 で Amazon EMR クラスターを作成できます。EMR クラスターを起動する際に、Flink、HBase、Presto、Zeppelin を選択して、これらのアプリケーションをインストールすることができます。EMR リリース 5.18.0、Flink 1.6.0、HBase 1.4.7、Spark 2.3.2、Presto 0.210、Zeppelin 0.8.0 の詳細については、Amazon EMR ドキュメントをご覧ください。
Amazon EMR リリース 5.18.0 は、現在、Amazon EMR がサポートされているすべてのリージョンで利用できます。
EMR リリースの最新情報を得るには、EMR リリースノートの RSS フィードにサブスクライブしてください。EMR リリースガイドの上部にある RSS アイコンを使ってフィード URL をお使いのフィードリーダーに直接リンクしてください。