Amazon Web Services ブログ

re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第四弾

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019に向けて11月15日以降発表されたアップデートを、第一弾、第二弾、第三弾とお届けしてきました。今回は第四弾、11月26日(米国時間基準)分をお届けします。1日分ですが非常に多くのアップデートがありました。2018年はまとめが第三弾で終わったのですが、今年はまだ続きます。 reinvent2019 11月26日 Amazon RDS for SQL ServerからAmazon CloudWatchへログがPublishできるようになりました サポートされるログには、エージェントログとエラーログの両方が含まれます。これらのログをCloudWatchにパブリッシュすると、データベースのエラーとアクティビティに対する継続的な可視性を維持することができます。たとえば、CloudWatchアラームを設定して、エラーログに記録される頻繁な再起動について通知することができます。同様に、SQLエージェントジョブに関連するSQL Serverエージェントログに記録されたエラーまたは警告に対してアラームを作成することができます。 AWS IoT Greengrass 1.10が、Dockerコンテナのサポートとデータストリームの管理をリリースしました DockerコンテナをAWS IoT Greengrassデバイスにシームレスにデプロイして実行できるようになり、開発環境、エッジロケーション、クラウド全体でアプリケーションの移植性が実現します。Docker / Open Container Initiative(OCI)コンテナイメージを構築でき、DockerイメージはAmazon Elastic Container Registry(Amazon ECR)、Docker Hub、プライベートDocker TrustedなどのDocker Container Registriesに保存できますレジストリ(DTR)。この更新により、AWS IoT Greengrassを使用して、アプリケーションをAWS Lambda関数、Dockerコンテナ、またはその両方としてデプロイすることができるようになりました。また、IoTデバイスからデータストリームを収集、処理、エクスポートし、デバイス上のデータのライフサイクルを管理して開発時間を最小限に抑えることができます。データストリームを処理し、ローカルデータ保存ポリシーを管理し、デバイスデータをAmazon KinesisやAWS IoT AnalyticsなどのAWSクラウドサービスに送信する標準メカニズムが提供されます。 Application Auto ScalingがAppStream 2.0のターゲットトラッキングをサポートしました アプリケーションのAuto Scalingターゲットトラッキングを使用して、Amazon AppStream 2.0フリートをスケーリングできるようになりました。ターゲットトラッキングを使用すると、アプリケーションを動的にスケーリングして、ターゲットメトリックを自動的に維持できます。フリートのターゲットキャパシティ使用率メト​​リックを指定するだけで、ターゲットトラッキングはフリートキャパシティを自動的に増減して、ターゲットキャパシティ使用率を維持できます。従来のステップスケーリングまたはスケジュール済みスケーリングポリシーも引き続きご利用いただけます。 AWS ChatbotがSlackからのコマンドの実行をベータサポートしました Slackチャンネルから診断情報を取得し、Lambda関数を呼び出すなどを実装することで、イベントに迅速に対応できます。デスクトップまたはモバイルデバイス上のSlackから使用できる、AWSコマンドラインインターフェイス構文を使用したコマンドをサポートしています。コマンドの実行に加えて、SlackのCloudWatchアラーム通知で[ログを表示]ボタンをクリックするだけで、Amazon CloudWatchログを取得することもできます。また、AWS Chatbotは、AWS LambdaおよびAmazon […]

Read More

[AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開

先日 (2019/11/20) 開催しました AWS Black Belt Online Seminar「 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20191120 AWS Black Belt Online Seminar Amazon Managed Streaming for Apache Kafka (Amazon MSK) from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. MSK の Kafka クラスタを構成する broker インスタンスにログインしたり、システムログを確認する方法はありますか? A. Broker インスタンスはフルマネージドで提供しており、SSH ログインするといったことはできません。Amazon Managed Streaming for […]

Read More

AWS IoT Device Management のセキュアトンネリングの導入、IoTデバイスのトラブルシューティングを行う新しい安全な方法

AWS IoT Device Managementには、企業があらゆる業界向けのIoTアプリケーションを構築できる幅広いツールがあります。ただし、デバイスへのリモートアクセスに関しては、通常、顧客がMQTTトピックを介して制御メッセージを送信するか、デバイスのシャドウを更新してからデバイスエージェントにそれらのメッセージに対してアクションを実行させる必要があります。これは、ハードウェア開発チームがこれらの特定の制御機能をデバイスのファームウェアに明示的に組み込む必要があることを意味します。 これらの事前構成されたフロー以外でのデバイス管理は、デバイスがファイアウォールの内側にある場合に特に注意が必要です。通常のデスクトップコンピューターでは、リモート管理アプリケーションをインストールするか、VNCなどのツールを使用するだけでよいため、これは些細な問題です。一方で、これまで、この種の機能をIoTデバイスに実装することは困難でした。

Read More

AWS Transfer for SFTP でビッグデータと分析のエンゲージメントをサポート

Leap Beyond は、ビッグデータに特化した、多国籍の専門コンサルティング会社です。当社の目標は、中規模から大規模までのエンタープライズが、データを使用してビジネスや利益に大きな影響を与える変化をもたらすことができるように支援することです。私は業務執行社員という役職柄、当社のエンジニアがクライアントとどのように連携して安全かつ効率的にデータを移動、変換しているかということに特別な責任と関心を持っています。 Leap Beyond のようなデータを主に扱うコンサルティング会社にとってよくあるシナリオは、クライアントがオンプレミスまたはクラウド環境から AWS クラウドへの機密データの移行を検討中であるというものです。クライアントがデータを AWS にコピーしたい理由はいくつもあります。こうしたクライアントがオンサイトでこの作業に取り組むのは困難な場合があります。必要なツールや処理能力が自社の環境内で利用できなかったり、自社のデータストアへのアクセス権が環境外のサービスにはなかったりするためです。このようなクライアントは多くの場合、未加工の情報ではなく、加工済みデータを提供したいと考えているでしょう。機密データを貴社 (コンサルティング会社) の管理下にある Amazon Simple Storage Service (Amazon S3) バケットにダンプできるようにすることを最も単純な目標として掲げるこうしたシナリオはすべて実現可能です。貴社は、処理、分析、および ML に多数のサービスを利用しながら、必要なときにコンピューティングリソースをスピンアップできます。AWS Transfer for SFTP を使用することで、顧客は貴社の S3 バケットにデータを安全にアップロードするための追加オプションを利用できるようになりました。本稿ではここから、このオプションを活用する方法について説明していきます。 Amazon S3 を使用した AWS Transfer for SFTP セキュリティ保護可能なデータストアである Amazon S3 は非常に堅牢です。保管中のストレージのコストやデータの送受信にかかるコストは低く、ゼロに近づいています。保管時にサーバー側で透過的な暗号化を提供する便利な方法や、クライアント側の暗号化を行う極めて便利な方法があります。アクセス制御や監査をきめ細かく行うことができ、誤操作でもしない限り、アクセスを厳しく制限できます。不注意にバケットをインターネットに公開したままにしておくという古き悪しき時代は、遠い過去へと過ぎ去りました。今では、パブリックアクセス用に S3 バケットを公開するには意図的な操作が必要です。Amazon S3 ブロックパブリックアクセスの使用についての詳細をご確認ください。または、短い AWS ブログ記事 Learn how to use two important Amazon S3 security-features: Block Public […]

Read More

Amazon Redshift で空間的なデータを活用

本日、Amazon Redshift が新しいネイティブなデータ型である GEOMETRY のサポートを開始したことを発表いたしました。この新しいデータ型では、二次元の地理的データに関する取り込み、保存、クエリが行えるようになり、さらに、これらのデータを空間関数で処理できるようになります。地理的データ (地理参照されたデータともいいます) では、地球上に位置する場所に関係性のあるデータを取り扱います。座標、海抜、住所、都市名、郵便番号、行政および社会経済学的な境界線などは、すべて地理的データの一例です。 GEOMETRY 型の導入により、テーブルの列に記録した緯度や軽度といった座標データが簡単に操作できるようになります。これらのデータは、空間関数を使うことで、他の地理的データへの変換や組合せが可能です。これは抽象型のデータです。つまり直接インスタンス化はできず、ポリモーフィックです。このデータが実際にサポートする (そして、テーブルの列で使用される) のは、ポイント、ラインストリング、ポリゴン、マルチポイント、マルチラインストリング、マルチポリゴン、および地理的コレクションなどになります。今回追加の新機能では、テーブル内に GEOMETRY 型のデータ列が作成できることに加えて、従来の COPY を使って、行で区切られたテキストファイルから地理的データを取り込むこともできます。このファイルは、地理的データの表現のために標準的に使用される形式である、16 進数の Extended Well-Known Binary (EWKB) 形式での記述を想定しています。 この新しいデータ型の働きをお見せするために、ドイツのベルリンで活動するパーソナルツアーコーディネーターを想定し、その顧客からは、訪問してみたい観光名所のリストが手渡されているというシナリオを考えてみます。コーディネーターとしての任務は、いくつかの観光名所にちょうど良く囲まれていて、適切な料金の宿泊先を見つけることです。地理的データは、こういったシナリオに解決策を与えるためには最適です。まずは、宿泊先の地域が限定できるように、各観光名所に対応した一連のポイントを組合せ、1 つ、ないしは複数のポリゴンを形成します。こうしておくと、これらのポリゴンと対応するデータを、いくつかの宿泊先と対応するデータと組合せて、結果に示すことができるようになります。こういった空間情報へのクエリを、Redshift では 1 秒以内に実行することが可能ではありますが、実際のところ CPU にとっては、かなりコストがかかる処理でもあります。 シナリオのサンプルデータ このシナリオでの動作をお見せする前に、まずは、ベルリン市内に関する各種の地理的データを入手する必要があります。始めに、旅行サイトにある「見ておくべき場所トップ X」のページを使いながら、いくつかの観光名所について、その住所と緯度/経度の座標などを取得します。宿泊先に関しては、ウェブページ http://insideairbnb.com/get-the-data.html にある Airbnb のデータを、Creative Commons 1.0 Universal “Public Domain Dedication” のライセンスの下で利用させてもらいました。これに、Creative Commons Attribution 3.0 Germany (CC BY 3.0 DE) のライセンスにより、ベルリンの郵便番号を加えていきます。このデータは、Amt für Statistik Berlin-Brandenburg さんから提供されたものです。 […]

Read More

Amazon Rekognition カスタムラベルの発表

本日、アマゾン ウェブ サービス (AWS) は、Amazon Rekognition カスタムラベルを発表しました。これは Amazon Rekognition の新機能で、お客様が独自の特別な機械学習 (ML) ベースの画像分析機能を構築し、特別なユースケースに統合する固有のオブジェクトやシーンにを検出します。たとえば、画像から機械部品を検出するために Amazon Rekognition を使用するお客様は、小さなセットのラベル付きの画像でモデルをトレーニングして、MLの専門知識なしでも「ターボチャージャー」や「トルクコンバーター」を検出できるようになります。モデルを最初からトレーニングすることには、特別な機械学習の専門知識と何百万の高品位のラベル付き画像が必要ですが、その代わりにお客様は Amazon Rekognition を使用してカスタムラベルを使用して、独自の画像分析ニーズのために最先端のパフォーマンスを達成することができるようになりました。 Amazon Rekognition カスタムラベルをより良く理解するために、このサービスの新機能をしようする方法の例を順番に見ていきましょう。 自動車修理工場は Amazon Rekognition ラベル検出 (オブジェクトとシーン) を使用して、在庫の機械部品を分析し、ソートすることができます。これらのすべての画像について、 Amazon Rekognition は正常に「機械部品」を返します。 Amazon Rekognition カスタムラベルを使用して、お客様は独自のカスタムモデルをトレーニングして、ターボチャージャーやトルクコンバーターなどの特定の機械部品を識別できます。最初に、お客様は識別したいそれぞれの特定の機械部品のために、わずか 10 個程度のサンプル画像を収集します。 このサービスコンソールを使用して、お客様はこれらの画像をアップロードして、ラベル付けすることができます。 この段階では、機械学習の専門知識は必要ありません。お客様はコンソール内のプロセスの各ステップを通じて導かれます。 データセットが準備でき、完全にラベル付けされると、お客様は Amazon Rekognition カスタムラベルをワンクリックだけで動作させることができます。Amazon Rekognition は各ユースケースに対して、自動的に最も効率的な機械学習技術を選択します。 トレーニングを完了すると、お客様は仮想化にアクセスして、各モデルのパフォーマンスを確認して、それらのモデルをさらに向上する方法に対する助言を得ることができます。 当社の例の自動車修理工場では、大規模な画像処理のための完全マネージド型の使用が簡単な API ビルドを使用して、画像の分析を開始して、名前で特定の機械部品を検出したり、在庫管理を自動化することができるようになりました。 Amazon Rekognition オブジェクトとシーンの検出では「機械部品」を返す一方で、いくつかのラベル付きの画像でトレーニングされた Amazon Rekognition カスタムラベルは、「ターボチャージャー」、「トルクコンバーター」、および「クランクシャフト」を返します。 NFL や […]

Read More

Amazon QuickSight の新しい API とテーマ機能で、分析をさらに進化させる

Amazon QuickSight チームからのお知らせです。テーマとさらなる API が利用可能になりました。 ダッシュボードのテーマを使用して、Amazon QuickSight ダッシュボードのルックアンドフィールをアプリケーションのブランドや企業のテーマに合わせることができるようになりました。追加された新しい API では、ダッシュボード、データセット、データソース、SPICE 取り込み、さらに AWS リソースに対するきめ細かいアクセスコントロールをサポートしており、Amazon QuickSight のデプロイをプログラムで管理できます。これらを組み合わせることで、Amazon QuickSight を視聴者に合わせて創造的に調整し使用することで、ユーザーはビルトインの分析を体験したり、企業のビジネスインテリジェンス (BI) のニーズに対応したりできます。この投稿では、これらの新しい機能の概要と、使用開始に関する詳細をご紹介します。 ダッシュボードのテーマを決める Amazon QuickSight テーマで、ダッシュボードのルックアンドフィールをコントロールできます。具体的には、テーマを通じて次の項目に影響するため、アカウント内の他の作成者と共有できます。 マージン ビジュアル周りの境界線 とじしろ (ビジュアル間の間隔) データの色 (ビジュアル内で使用) 背景色 (ダッシュボード内のビジュアルおよびダッシュボード自体用) 前景色 (ビジュアル内およびダッシュボード上のテキスト用) ビジュアルの色を強調する 次のダッシュボードのスクリーンショットは、現在利用可能なテーマオプションを使用して変更できるダッシュボードの特徴を説明しています。 使用可能なオプションで、QuickSight の新しいテーマ「Seaside」を使用すると下記のように示され、QuickSight ダッシュボードをより狭く (余白や余白をなしにするなど) できます。 以下に示すように、QuickSight の新しいテーマ「Midnight」を使用した暗めのダッシュボードオプションもあります。 テーマには、ダッシュボード作成インターフェイスの左側のパネルからアクセスできます。 1 つのビルトインテーマから始めてそれをカスタマイズし、独自のテーマを作成できます。インタラクティブにテーマ編集できるため、必要なだけ編集したり、ダッシュボードに最適なテーマを取得したりが簡単になります。 ダッシュボード、データセット、データソース、SPICE 取り込み、アクセス許可に API を使用する 新しい API には、ダッシュボード、データセット、データソース、SPICE 取り込み、および S3/Athena へのきめ細かいアクセスコントロールが含まれています。今回のリリースでは、QuickSight […]

Read More

新しい ID フェデレーション – AWS でアクセスコントロールに従業員属性を使用する

AWS または他の多くのシステムのリソースへのアクセスを管理する場合、ほとんどの場合、ロールベースのアクセスコントロール (RBAC) を使用するでしょう。RBAC を使用する場合、リソースへのアクセス許可の定義、こうしたアクセス許可のポリシーによるグループ化、ポリシーのロールへの割り当て、個人、個人のグループ、サーバー、アプリケーションなどのエンティティへのロールの割り当てを行うことになります。多くの AWS のお客様は、組織内で同様のビジネス機能を共有している人などの関連するエンティティへのアクセス許可の付与を簡素化するためにそうしていると語っています。 たとえば、財務データベース管理者のロールを作成し、そのロールに財務に必要なテーブルやコンピューティングリソースへのアクセス権を付与することができます。データベース管理者の Alice がその部門に移動すると、彼女に財務データベース管理者のロールを割り当てます。 AWS では、AWS Identity and Access Management (IAM) のアクセス許可ポリシーおよび IAM ロールを使用して、RBAC 戦略を実装します。 リソースの増加により、スケーリングが困難になります。新しいリソースがシステムに追加されると、システム管理者は、その新しいリソースに対するアクセス許可をすべての関連するポリシーに追加する必要があります。何千ものリソースや数千のポリシーがある場合、これをどのように拡張すればよいでしょうか? 1 つのポリシーの変更がユーザーまたはアプリケーションに不要な特権を付与しないことをどのように確認すればよいでしょうか? 属性ベースのアクセスコントロール リソースが増え続ける状況の中、アクセス許可の管理を簡素化する新しいパラダイムが登場しました。属性ベースのアクセスコントロール (ABAC) です。ABAC を使用する場合、一致する属性に基づいてアクセス許可を定義します。ポリシーでは、ユーザー属性、リソース属性、環境属性など、あらゆるタイプの属性を使用できます。ポリシーは IF … THEN ルールになります。たとえば、 IF ユーザー属性 role == manager THEN 彼女は属性 sensitivity == confidential であるファイルリソースにアクセスできます。 ABAC アクセス許可コントロールを使用すると、リソースを追加するときにポリシーを更新する必要がなくなるため、アクセス許可システムの拡張が簡単になります。代わりに、リソースに適切な属性がアタッチされていることを保証する必要があります。ABAC では、ジョブロールごとにポリシーを作成する必要がないため、管理するポリシーの数を減らすことができます。 AWS では、属性はタグと呼ばれます。タグは Amazon Elastic Compute Cloud (EC2) インスタンス、Amazon […]

Read More

【開催報告】 Chaos Conf 2019 recap 勉強会

こんにちは、ソリューションアーキテクトの 畑史彦 です。 11月11日に Chaos Conf 2019 の Recap 勉強会を AWS Loft Tokyo にて開催致しました。アジェンダは こちら で確認できます。 Chaos Conf は今年9月に San Francisco で開催された Chaos Engineering をテーマにした技術カンファレンスです。主催は Chaos Engineering のサービスを提供する Gremlin 社です。Chaos Conf では Chaos Engineering に取り組む企業や Gremlin 社のサービスを利用する企業がそれぞれの事例や取り組みについて披露します。この recap 勉強会では、この Chaos Conf 2019 に日本から参加した方達に登壇いただき各セッションの内容やカンファレンス自体についてご紹介いただきました。以下、簡単に各セッションのご紹介をさせていただきます。

Read More

re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第三弾

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。先日公開した第一弾、第二弾いかがでしたでしょうか。今日は第三弾、11月22日から11月25日(米国時間基準)分をお届けします。 11月22日 Amazon QuickSightがテーマ、条件付き書式設定に対応しました データ可視化後のDashboardを、テーマを追加しカスタマイズすることで、企業のブランドやアプリケーションのルックアンドフィールに一致させることができるようになりました。好みの背景、テキスト、データ、グラデーションの色、およびビジュアルの間隔と境界線をカスタマイズできます。詳細はこちらをご覧ください。同時に、テーブル、ピボットテーブル、KPIチャートの条件付き書式設定もサポートされ、単色またはグラデーションの色を使用して、データセットのフィールド値に基づいてテキストと背景の色をカスタマイズできます。適用された条件に基づいて、サポートされているアイコンのセットでデータ値を表示することもできます。 Amazon Aurora MySQL 5.7は、サポートされる機能のリストを拡張して、パフォーマンスと管理性を改善しました Amazon AuroraのMySQL 5.7互換エディションは、JSONサポート、空間インデックス、生成された列などの拡張機能を既に提供していますが、今回のアナウンスでさらに、AWS Lambda関数の同期呼び出し、hot row contention、Backtrack、ハッシュ結合などのAmazon Auroraの多くの機能がMySQL 5.7互換エディションのAuroraで利用可能になりました。 AWS Lambda関数の同期呼び出しを使用すると、Aurora MySQLデータベースの機能を拡張し、データの変更に応じて動作する外部アプリケーションを呼び出すことにより、サーバーを考慮することなくコードを実行できます。hot row contentionにより、同じページの行で競合するトランザクションが多数ある場合、MySQL 5.7に比べて、1分あたりのトランザクションのスループットが最大16倍向上します。Backtrackは、バックアップから復元する必要なく、データベースを前の時点に移動できるようにすることで、間違ったテーブルの削除や間違った行の削除などのユーザーエラーからすばやく回復し、数秒以内に完了します。ハッシュ結合は、大量のデータを結合する必要がある場合にクエリのパフォーマンスを向上させることができます。 Amazon  EC2 コンソールのインスタンスタイプ検索がより使いやすくなりました お客様は、CPU、メモリ、ストレージ、ネットワークパフォーマンス、地域のプレゼンス、価格などに基づいて、インスタンスタイプを簡単に検出して比較するための追加の方法を利用できるようになりました。EC2コンソールに新しく「Instance Types」セクションができ、インスタンスタイプをフィルタリング、検索、比較することができ、ワークロードに適したより最適なEC2インスタンスを選択できます。 Amazon QuickSightは、データ、ダッシュボード、SPICE、アクセス許可のAPIをサポートしました QuickSightは、ダッシュボード、データ、SPICE、および権限管理のAPIをサポートし、リソースをプログラムで作成、管理、デプロイ、監査できるようになりました。ダッシュボードAPIを使用すると、事前に構成されたテンプレートからダッシュボードを作成し、既存のダッシュボードを管理できます。データAPIは、データソースとデータセットに関連する機能を提供し、SPICE APIはデータ取り込みのトリガーと監視を容易にします。きめ細かいアクセス許可APIにより、Amazon QuickSight内の特定のユーザーまたはグループのAmazon S3やAmazon AthenaなどのAWSリソースへのアクセスを制御するAWS Identity and Management(IAM)ポリシーマッピングの追加と管理が可能になります。 AWS Service CatalogがJira Service Desk用のコネクタをリリースしました 新しくリリースされたJira Service Desk(JSD)バージョン1.0.4用のAWS Service Catalogコネクタにより、管理者は、精選された製品、ポートフォリオ、制約、タグ付けなどの既存のAWS Service Catalog設定を使用し、それらをJSD管理者とユーザーに公開できます。この新しいコネクタは、AWS製品のプロビジョニングを簡素化し、管理者にAWSリソースのガバナンスと監視を提供します。 Amazon […]

Read More