Amazon Web Services ブログ

タグを使用してAWS IoTリソースの管理とセキュリティを改善する

スマートビルディング、ユーティリティ、製造システム、コネクテッド製品などの環境を運用するソリューションプロバイダーは、マルチテナントに展開されるIoTプラットフォームを用いたB2Bサービスを提供します。ユースケース、種類、場所、およびテナントごとにこれらのリソースを安全に管理するのは難しい場合があります。 モノの階層的なグループを作成することは一般的なパターンですが、マルチテナンシーにうまく対応していません。たとえば、同じテナントが複数の都市にオフィスを借り、他のテナントと一部の建物を共有する場合、階層的なグループを作成してこれをうまく表現することはできません。一方で、同じリソースが異なるテナント(コネクテッドビークル、賃貸オフィススペース、コネクテッドデバイスなど)によって使用される可能性があります。 この投稿では、IoTのマルチテナント展開でAWSタグを使用して、そのような環境でのAWS IoTリソースの管理とセキュリティを改善する方法について説明します。まず、リソースのタグ付けが重要である理由について説明し、次にAWS IoTのタグ付け機能について掘り下げます。そして、架空のマルチテナントスマートビルディング環境でタグを設定し、使用する手順を実行します。

Read More

Verizon Media Group がオンプレミスの Apache Hadoop および Spark から Amazon EMR に移行した方法

Verizon Media Group によるゲスト投稿です。 Verizon Media Group (VMG) が直面した大きな問題の一つに、必要な時間内にコンピューティング能力をスケールアウトできないことがありました。つまり、ハードウェアの取得に数か月かかることがよくあったのです。ハードウェアをスケーリングおよびアップグレードしてワークロードの変更に対応することは、経済的に実行が難しく、冗長管理ソフトウェアのアップグレードにはかなりのダウンタイムが必要で、多大なリスクを伴いました。 VMG では、Apache Hadoop や Apache Spark などのテクノロジーに依存し、データ処理パイプラインを実行しています。以前は Cloudera Manager でクラスターを管理していましたが、リリースサイクルが遅いことがよくありました。そのため、利用可能なオープンソースリリースの古いバージョンを実行しなければならず、Apache プロジェクトの最新のバグ修正やパフォーマンスの改善を利用することができませんでした。こうした理由から、既存の AWSへの投資と合わせて、分散コンピューティングパイプラインを Amazon EMR に移行することを検討したのです。 Amazon EMR は Apache Hadoop や Apache Spark などのビッグデータフレームワークの実行をシンプル化する、マネージドクラスタープラットフォームです。 この投稿では、データ処理のニーズに対応するためのパイプラインの構築中に発生し、解決した問題について説明します。 弊社について Verizon Media はつまるところ、オンライン広告会社です。今日のほとんどのオンライン広告は、バナー広告またはビデオ広告としても知られるディスプレイ広告を通じて行われます。すべてのインターネット広告は通常、形式に関係なく、さまざまな種類のビーコンを追跡サーバーに送信します。この追跡サーバーは受信したビーコンを 1 つまたは複数のイベントシンクに記録する唯一の責任を持つ、極めてスケーラブルなウェブサーバーをデプロイします。 パイプラインのアーキテクチャ 弊社では主に動画広告を扱っており、複数の地理的な場所にデプロイした NGINX ウェブサーバーを使用しています。これは、ビデオプレーヤーから直接発生するイベントを、リアルタイム処理用には Apache Kafka に、バッチ処理用には Amazon S3 に記録するものです。弊社グループの典型的なデータパイプラインには、このような入力フィードの処理、検証や強化ルーチンの適用、結果データの集計、およびレポート目的の宛先へのレプリケートが含まれます。次の図は、作成した典型的なパイプラインを示しています。 NGINX ビーコンサーバーで、データの取得を開始します。データは 1 分間隔でローカルディスクの gzip […]

Read More

S3 Same-Region Replication によるログの集約

  はじめに ログをセキュアな専用の場所に集約することは、SIEM (セキュリティ情報イベント管理) といった極めて重要な操作を効率化します。より多くのお客様がマルチアカウント戦略を導入している中、一元的なログ記録は運用上の優秀性 (オペレーショナルエクセレンス) を推進する主要要素となっています。そのメリットを考慮して、エンタープライズのお客様はしばしば複雑なサードパーティーツールと使って一元的なログ集約ソリューションを構築します。Amazon S3 Same-Region Replication (SRR) の発表に伴い、お客様はログ集約を含めた数多くのユースケースにこの機能を使用できるようになります。S3 SRR は S3 レプリケーションの機能で、同じ AWS リージョン内にあるバケット間でデータを自動的にレプリケートします。SRR は、特定のバケットまたはプレフィックスにアップロードされた新しいオブジェクトをレプリケートするように設定できます。また、SRR は特定のタグが付けられた新しいオブジェクトを、ユーザーが選択するレプリケーション先にレプリケートすることもできます。お客様は、単一のアカウントまたは複数のアカウントによって所有されている異なる S3 バケットからのログを、今後の処理のために一元化された 1 つのバケットに集約するように SRR を使用することも可能です。 このブログ記事では、S3 SRR を使ってマルチアカウントランドスケープでホストされている VPC からの VPC フローログを収集することによって、ログ集約のデモを行っていきます。今回のセットアップでは、このチュートリアル用に 2 つの AWS アカウント (アカウント A とアカウント B) を使用しますが、シングルアカウントシナリオでのデータ集約にも同じ原則が当てはまります。このセットアップでは、VPC フローログを生成するアカウントをアカウント A、集約されたログバケットをホストするアカウントをアカウント B と呼びます。 前提条件 S3 Same-Region Replication をセットアップするためのステップバイステップガイドを掘り下げていく前に、前提条件を確認しましょう。 アカウント A の前提条件 VPC […]

Read More

re:Invent 2019 での Amazon Redshift

毎年開催される AWS re:Invent ラーニングカンファレンスでは、新製品とプログラムの発売に満ちた刺激的な時間を過ごすことができます。2012 年に行われた最初の re:Invent カンファレンスで、AWS は Amazon Redshift を発表しました。それ以来、何万人ものお客様にクラウドデータウェアハウスとして Amazon Redshift をご使用いただきました。2019 年、AWS はいくつかの重要な発表を行い、数十のセッションを開催しました。この記事では、re:Invent 2019 で Amazon Redshift に起こったことのハイライトをご紹介します。 AWS re:Invent 2019 での Andy Jassy の基調講演 Andy Jassy が AWS の新機能について話す際、新しい Amazon Redshift のノードタイプであるマネージドストレージ付き RA3、新しい 横串検索 (プレビュー) 機能、Export to Data Lake、Amazon Redshift 向けの Advanced Query Accelerator (AQUA) (プレビュー) をローンチします。YouTube で「AWS re:Invent 2019 – […]

Read More

[AWS Black Belt Online Seminar] Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門 資料及び QA 公開

昨年 (2019/11/27) 開催しました AWS Black Belt Online Seminar「Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 資料P48 のCloudWatch LogsのEKSのロググループ名で以下の通り記載誤りがございました。資料は正しい内容に修正した上で公開いたします。 誤) EKSの場合:/aws/ContainerInsights/< Cluster名>/performance 正) EKSの場合:/aws/containerInsights/< Cluster名>/performance   20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Fargateの場合、ECS インスタンスのメトリクスは見れるのでしょうか? A. Fargate 起動タイプにおけるコンテナ実行環境となる仮想マシンは AWS が管理・運用する仕組みとなっているため、お客様の CloudWatch Container Insights 上では仮想マシンレベルのメトリクスは表示されません。 Q. […]

Read More
Weekly AWS

週刊AWS – 2020/1/6週

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 新年2号目の週刊AWSをお届けします。 仕事がら海外出張が時々あるのですが、最近は携帯型の湯沸かし器(ケトル)を持っていくのがマイブームです。小型とはいえ電気ポットはじゃまかなと思っていたのですが、好きな味噌汁やコーヒーが飲めると結構ホテル住まいを快適にするという事がわかったので、最近は折り畳めるカップといっしょにスーツケースに詰め込んでいます。特に寒い季節はお勧めですよ。 それでは、先週の主なアップデートについて振り返っていきましょう。

Read More

AWS DMS を使用した Amazon RDS for Oracle での災害復旧

AWS Database Migration Service (AWS DMS) は、オンプレミスのデータベースから Amazon Relational Database Service (RDS) にデータを移行するのに役立ちます。また、とりわけ、異種または同種のデータベースエンジン間でデータを移行するために使用できます。あらゆる規模の企業が、2 つ目の物理サイトをセットアップすることなく、AWS を使用して重要な IT システムの災害復旧 (DR) を高速化しています。DR ソリューションは RTO/RPO に依存します。ベストプラクティスの詳細については、「新しいホワイトペーパー: 災害復旧に AWS を使用する」を参照してください。 この記事では、AWS DMS を使用して、RDS プラットフォームで実行されている Oracle データベースの DR ソリューションをセットアップする方法について説明します。 災害復旧に AWS DMS を使用する理由 プライマリデータベースインスタンスが AWS で実行されている DR ソリューションには、クロスリージョンレプリケーションメカニズムが必要です。AWS DMS は、RDS から任意の場所 (別のリージョンを含む) へのデータのライブ移行をサポートしています。この機能を利用して、別のリージョンに個別の RDS インスタンスを設定して、DR データベースとして機能するようにできます。Oracle Golden Gate など、RDS 上の Oracle […]

Read More

Amazon at CES 2020 – 接続性とモビリティ

コンシューマーエレクトロニクスショー (CES) が明日から開催されます。この展示会は、5G、IoT、広告、自動車、ブロックチェーン、健康とウェルネス、家庭と家族、没入型エンターテイメント、プロダクトデザインと製造、ロボット工学と機械知能、スポーツなど広い分野での開発に関して、最新の情報が得られる最大の機会です。 CES での Amazon ラスベガスの CES に参加する予定であれば、ぜひラスベガスコンベンションセンターにある Amazon Automotive の展示に足を運んでみてください。ブース 5616 にて、次世代ソフトウェアによる車両の製造を行う自動車メーカーと開発者を支援している弊社の取り組みを紹介しています。 この業界は、メーカーが車両の設計と製造を行うだけでなく、複数の形態のモビリティを含むより大きなビジョンを実現することで、改革を続けていることが知られています。 ブースにはいくつかデモがあり、車両、接続性、ソフトウェア、アプリ、センサー、機械学習を新しい方法でマッシュアップした場合にどんなことが可能となるかを確認することができます。 キャデラックがたたどって来た道 – データ駆動型のショッピングを体験できる、インタラクティブかつ没入型のデモで、あらゆるタッチポイントで顧客にアプローチします。ZeroLight を搭載したこのデモは AWS で実行しており、GPU を装備した EC2 インスタンスでリアルタイムに生成される 3D 画像を使用しています。 モビリティの未来 – Alexa Auto SDK と AWS Machine Learning サービスをいくつか利用したデモで、 インタラクティブな車載サポートを作成します。ドライバープロファイルをクラウドに保存し、Amazon Rekognition を使用してドライバーの適切なプロファイルを読み込みます。機械学習を使って毎朝行く最寄りのコーヒーショップを見つけるなど、繰り返す行動を検出します。 Rivian Alexa – フルビークルのデモで、Alexa Auto SDK との深い統合をお見せします。これは Rivian が近く発表する R1T Electric Truck でのコアビークル機能の制御に使用されています。 スマートホーム/スマートガレージ – […]

Read More

AWS Data Exchange と Amazon SageMaker による機械学習ワークフローの構築

Amazon SageMaker や AWS Data Exchange などのクラウドサービスのおかげで、機械学習 (ML) がこれまで以上に簡単になりました。この記事では、AWS Data Exchange と Amazon SageMaker を使用して、NYC レストランのレストラングレードを予測するモデルを構築する方法について説明します。Amazon SageMaker とともに、AWS Data Exchange の 23,372 のレストラン検査グレードとスコアのデータセットを使用して、線形学習アルゴリズムによりモデルをトレーニングしてデプロイします。 バックグラウンド ML ワークフローは反復プロセスであり、トレーニングデータが必要かどうか、どの属性をキャプチャするか、どのアルゴリズムを使用するか、トレーニング済みモデルをどこにデプロイするかなど、多くの決定が必要です。これらの決定はすべて、学習システムの結果に影響します。問題が定義されたら、4 種類の学習システムから選択する必要があります。一部の学習システムは完全にトレーニングデータに依存していますが、他のトレーニングシステムではトレーニングデータをまったく必要とせず、むしろ明確に定義された環境とアクションスペースが必要です。アルゴリズムがトレーニングデータに依存する場合、最終モデルの品質と感度はトレーニングセットの特性に大きく左右されます。ここで多くの人が、機能の適切なバランスを見つけてバランスのとれた正確なモデルを得ようとする退屈なループに入ります。各学習システムの概要を以下に示します。 教師あり – 教師あり学習では、トレーニングセットにラベルが含まれているため、アルゴリズムは属性セットが与えられると正しいラベルを認識します。たとえば、ラベルが魚の一種である場合、属性は魚の色と重さである可能性があります。モデルは最終的に、正しいか、最も可能性の高いラベルを割り当てる方法を学習します。典型的な教師あり学習タスクは分類です。これは、テキストや画像などの入力情報をいくつかの定義済みカテゴリの 1 つに割り当てるタスクです。たとえば、メッセージヘッダーとコンテンツに基づいてスパム E メールを検出し、MRI スキャンの結果に基づいて悪性または良性としてセルを分類し、その形状に基づいてギャラクシーを分類します (Tan et al.2006)。このカテゴリで使用するアルゴリズムは通常、k 最近傍、線形回帰、ロジスティック回帰、サポートベクターマシン、およびニューラルネットワークで構成されています。 教師なし – 教師なし学習では、ラベルなしデータの関係を発見するアルゴリズムを使用します。アルゴリズムは、データを探索し、既知の特徴に基づいて関係を見つける必要があります。教師なし学習で使用される一般的なアルゴリズムには、同様のデータポイントをグループ化するクラスタリング (K-means、DBSCAN、階層クラスター分析)、異常値を見つけようとする異常検出、それに特徴間の相関を発見しようとする相関ルール学習が含まれます (Aurélien 2019)。実際には、これは犯罪率に基づいて都市をクラスタリングして類似する都市を見つけたり、顧客の年齢に基づいて食料品店で製品をクラスタリングしてパターンを発見したりすることで確認できます。 半教師あり – 半教師あり学習では、ラベル付きデータとラベルなしデータの両方で構成されるトレーニングデータを使用します。アルゴリズムは、多くの場合、教師なしアルゴリズムと教師ありアルゴリズムの両方の組み合わせです。ラベルなしデータを含むデータセットがある場合、最初のステップは、データにラベル付けすることです。データセットにラベルを付けたら、従来の教師ありの学習手法でアルゴリズムをトレーニングして、特徴を既知のラベルにマッピングできます。フォトホスティングサービスは、多くの場合、スキルを活かすことでこのワークフローを使用して、未知の顔にラベルを付けます。顔がわかると、別のアルゴリズムがすべての写真をスキャンして、現在既知の顔を特定できます。 強化 – 強化学習 (RL) は、トレーニングデータから学習する必要がないため、上記の学習システムとは異なります。代わりに、モデルは、明確に定義された環境のコンテキストにおける独自の経験から学習します。学習システムはエージェントと呼ばれ、エージェントは環境を観察し、ポリシーに基づいてアクションを選択および実行し、見返りに報酬を取得します。エージェントは、最終的にその以前の経験に基づいて、時間をかけてその報酬を最大化することを学習します。RL の詳細、またはその説明については、Amazon SageMaker […]

Read More

エバンジェリストが選ぶ AWS re:Invent 2019 の注目ローンチ Top 5

re:Invent 2019 はかなり前に終わったように感じられるかもしれませんが、私はまだその週に発表されたローンチに高揚感と好奇心を覚えています。それは私だけでしょうか、それとも新しい機能の発表は、私たちが子供の頃に思い描いた未来の SF の世界 (つまり AWS WaveLength 誰ですか?Amazon Braket の話はまだしません) に私たちを近づけてくれるように思いましたか? その未来が、まさにここにあるかもしれません。あなたはそれに対処できますか? もしできるのであれば、次の 5 つの re:Invent 2019 のローンチで最も興奮した理由を説明したいと思います。 [ご注意:親愛なる読者の皆さんへの配慮から、これらの記事には最善の詳細を盛り込むよう努めています。とにかく、勤務時間中にキーボードを枕に眠ってほしくないのです! 悲しいことに、それでは素敵な新しい数々のローンチを共有するだけに私自身が制限してしまうことにもなります。これらすべてについて読みたい場合は、re:Invent 2019 で発表された製品・機能一覧をご覧ください。]   1.Amazon Braket: 量子コンピューティングを調べる なぜこれを選択したのかをご説明します… まず、🐘タブー🐘に向き合い、私たちの 99.9% が量子コンピューティングとは何かを本当に理解しているわけではないことを認めましょう。でも、理解したいですね! とても素敵な未来像に思えるからです。では、掘り下げてみましょう… インターネット検索によると、量子コンピュータは、データ操作を実行するために、重ね合わせともつれの量子力学的現象を使用する計算デバイスです。量子コンピューティングの基本原理は、量子プロパティを使用してデータを表し、その上で操作を実行できることです。おもしろい話もあります…あなたのノートパソコンのような「普通の」コンピュータでは、データや情報はビットという名前のものに保存されます。しかし量子コンピュータでは、量子ビットとして保存されます。 量子コンピューティングはまだ初期段階にあります。どこへ向かうか気になりますか? そこでローンチしたのがこちらです。 Amazon Braket は、科学者、研究者、開発者が量子コンピューティングアルゴリズムを簡単に構築、テスト、実行できるようにする新しいサービスです。 面白そうに聞こえますが、これは実際に何を意味するのでしょうか? Amazon Braket が開発環境を提供することで、独自の量子アルゴリズムをゼロから設計したり、事前に構築されたアルゴリズムのセットから選択したりすることができ、それにより動作します。希望するアルゴリズムを選択すると、Amazon Braket はそのアルゴリズムの実装のトラブルシューティングと検証に役立つシミュレーションサービスを提供します。準備が整えば、量子ハードウェアプロバイダー (D-Wave、IonQ、Rigetti など) の 1 つから、実際の量子コンピュータでアルゴリズムを実行することもできます。 早速、始めましょう! Amazon Braket で量子コンピューティングの未来を探求してください! 👉🏽ドキュメントのチェックもお忘れなく: aws.amazon.com/braket […]

Read More