Amazon Web Services ブログ

AWS Glue を使って、分析処理のためにデータを抽出、変換、ロードする方法 (パート 2)

企業が直面している大きな課題に、信頼性の高い抽出と変換、およびロード (ETL) プロセスをいかに確立し維持するかがあります。なぜならこれらは、データから値と正しい情報を取り出すのに重要だからです。従来の ETL ツールは使用するにも複雑で、実装、テスト、およびデプロイに数カ月かかることもあります。ETL ジョブを作成すると、データフォーマットとスキーマが頻繁に変更され、新しいデータソースを常に追加する必要があるため、それらを維持するのは骨が折れる作業となります。 一方で AWS Glue は、データの発見、分類、クリーニング、充実化、および移行に関連する未分化の重労働の多くを自動化できるため、データ分析により時間を費やすことができます。AWS Glue はデータソースを自動的にクロールし、データフォーマットを識別して、適切なスキーマと変換を提案します。つまり、データフローを手作業でコーディングする必要がないのです。 AWS Glue は、分析用にデータセットを移行および変換する作業を簡素化するよう設計されています。普及している Apache Spark 実行フレームワーク上に構築したサーバーレスの完全管理型サービスです。 2 部構成となっている移行についてのブログシリーズのパート 2 では、AWS CloudFormation スタックの構築を行います。このスタックを使用して、AWS Glue が Amazon Aurora MySQL データベースとの間でデータを抽出、変換、そしてロードする方法を解説します。ソースとして Amazon Aurora MySQL を、そして AWS Glue のターゲットとして Amazon Simple Storage Service (Amazon S3) を使用します。Amazon Athena を使って簡単なクエリとレポートを行うために、Amazon S3 に集中型データレイクを構築する方法についても説明します。Amazon Redshift をデータウェアハウス戦略の構築のために、データターゲットとして使用することもできます。この記事では、AWS Glue を開始し、必要に応じてカスタマイズするためのフレームワークを説明します。 AWS Glue には、3 つのコアコンポーネントがあります。 […]

Read More

クライアントデバイスからのポート443でのTLSクライアント認証によるMQTTの実装方法(Python)

アプリケーション レイヤ プロトコル ネゴシエーション(Application Layer Negotiation:ALPN)は、TLSの拡張機能として、TLSサーバに接続しているクライアントがProtocolNameListという追加パラメータを渡すことを可能とします。ProtocolNameListは、クライアントが通信に使用したいアプリケーションプロトコルの優先順位付きリストです。 AWS IoT Coreでは、ALPN TLS extensionを使用して、ポート443でTLSクライアント認証を使用してMQTT経由でデバイスを接続できるようになりました。なぜこれが便利なのかについては、このブログ記事を参照してください。

Read More

Amazon EC2 インスタンスでのより高いパフォーマンスのために最適化された Chainer 4 と Microsoft Cognitive Toolkit (CNTK) 2.5.1

AWS Deep Learning AMIs for Ubuntu および Amazon Linux に、Amazon EC2 インスタンスでのより高いパフォーマンスのために最適化された Chainer 4 と Microsoft Cognitive Toolkit (CNTK) 2.5.1 が付属します。AMI はまた、5 つの追加リージョンでも利用できるようになり、対応の AWS リージョンが 16 か所に拡大します。 Chainer 4 で深層学習を加速する この AMI にはアマゾンの コンピューティング最適化 C インスタンスをサポートするインテルアーキテクチャのコンボリューションや ReLU (rectified linear units) ルーチンといった深層学習処理を加速するために構成された Intel’s Deep Learning Extension Package (iDeep) 搭載の Chainer 4 が付属します。 たとえば、開発者は CPU 専用の EC2 […]

Read More

[AWS White Belt Online Seminar] クラウドジャーニー (AWSへの移行プロセスと移行ツール) 資料及び QA 公開

こんにちは、マーケティングの鬼形です。 先日 (2018/4/17) 開催しました AWS White Belt Online Seminar「クラウドジャーニー (AWSへの移行プロセスと移行ツール)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

【開催報告】第12回 AWS Startup Tech Meetup

こんにちは、スタートアップ担当SAマネージャーの篠原英治(@shinodogg)です。 AWSをご利用中のStartup企業で働くエンジニアのコミュニティであるAWS Startup Tech Communityで、先日12回目のMeetupをAmazon目黒オフィスで開催しました。今回も実践的な発表が多く、カジュアルな雰囲気の中でも深い内容になりました。 今回、写真はSORACOMのエンジニア山下さんに撮っていただきました! – カウルを支える技術の作り方: Housmart 高松智明さん 中古マンションの購入を検討している方であれば一度は見たことがカウル。HousmartのCTOとして技術選定を行ってきた高松さん。 機械学習技術やその為のGPUインスタンスの活用など、参考になるお話をありがとうございました! – Under the Hood of SORACOM: ソラコム 松本悠輔さん 会場の挙手アンケートで知らない人がいない存在のソラコムのソリューションアーキテクトの松本さんからSORACOMの裏側のお話をしていただきました。 SORACOMがいかにシンプルさと拡張性を高く保っているかが垣間見えるようなステキなお話でしたし、Q&Aの時間ではサポートエンジニアの山下さんからもご回答いただきました。写真撮影に質問の回答に、と多大なご協力をいただきましてありがとうございました! – aperzaを支える技術: アペルザ 山崎篤史さん 製造業にまつわる膨大なデータを整理していく上でのクローラーやデータストアなどについてアペルザで取り組んでいることを構成図を交えてご紹介してくれました。 – Kubernetes 入門者が 3 か月で本番導入するためにやったこと: freee 坂井学さん 本番環境でDockerを使うのもはじめての状態から、Kubernetesを導入までもっていったfreeeのSRE坂井さんからは、新しい技術を導入する上でのメンタル面も含めた実践的なお話をしていただきました。 – AWS Summit Tokyo 2018の楽しみ方: AWS 塚田朗弘 来るAWS Summit TokyoではAWS JapanのStartupチーム総出で様々なアクティビティを予定していますが、AWSのStartup担当SAの塚田からStartup Architecture of the year 2018 も含めたFinTech, Data Lake, Containerといった領域に関する注目のセッションをご紹介させていただきました。 – Networking Amazon […]

Read More

Amazon Polly が HIPAA に準拠

Amazon Polly は、文章をリアルな音声に変換できるサービスです。話すことができるアプリケーションを構築可能な、まったく新しいカテゴリの音声対応製品です。Amazon Polly API は、AWS HIPAA 準拠サービスです。 何十種類もの生き生きとした音声を多数の言語に変換でき、最適な音声を選択して、音声対応アプリケーションを構築できます。例として、英国最大の診断およびヘルスケアソリューション提供企業 Inhealthcare 社 の事例があります。同社は Amazon Polly を使用して、英国の全人口向けに遠隔ホームモニタリングをサポートする、デジタルインフラストラクチャを構築しました。この事例では、サービスを大規模に展開するために自動電話システムが最適なコミュニケーションチャネルとして使われています。なぜならば、インターネットにアクセスできなかったり、スマートフォンを持っていなくても、ほぼすべての人がサービスを使用できるからです。また多くの高齢者の方々にとって、従来の電話機は使い勝手がよく、安心して使えます。Inhealthcare 社が患者様のケアを提供するために、どのように Amazon Polly を使用しているのかについて、詳しくはブログ投稿を参照してください。 HIPAA 準拠は、Amazon Polly を利用できる、すべての AWS リージョンに適用されます。PHI を保存、処理、転送するように AWS HIPAA 準拠サービスを設定する方法に関する情報およびベストプラクティスについては、アマゾン ウェブ サービスの HIPAA セキュリティおよびコンプライアンスのためのアーキテクチャ設計ホワイトペーパーを参照してください。 AWS Business Associate Addendum (BAA) をご使用の場合は、Amazon Polly で医療情報 (PHI) が含まれているテキストから音声を作成することができます。AWS BAA を使用していない場合や AWS HIPAA で規制されているワークロードの実行に関するその他のご質問があれば、お問い合わせください。 今回のブログ投稿者について Binny Peh は AWS Machine Learning […]

Read More

Amazon より 新しい .BOT gTLD が誕生

本日、 Amazon の新規汎用最上位ドメイン (gTLD) 、 .BOT の公開をお知らせします。.BOTドメイン をお使いいただくと、ボットにIDやポータルを提供することができます。フィットネスボット、 slack ボット、 e コマースボットなど、 .BOT のドメインを通じて全機能に簡単にアクセス可能です。「ボット」という言葉は .COM TLD 内で2016年、4番目に登録数の多いドメインキーワードであり、ひと月に6000以上の登録がありました。.BOT ドメインではお客様のボットへのインターネット ID の付与、そして SEO パフォーマンスの向上をご提供します。 本記事の執筆時点では .BOT ドメインの価格は $75 〜、 Amazon Lex 、Botkit Studio 、 Dialogflow 、 Gupshup 、 Microsoft Bot Framework 、 Pandorabots のようなサポートツールを使って検証し公開する必要があります。今後さらに多くのツールのサポートを予定していますが、お気に入りのボットフレームワークがサポート対象外の場合はお気軽にご連絡ください。contactbot@amazon.com ここからは、whereml.bot のポッドを例にドメインの登録とプロビジョニングの流れを紹介します。その後でホストゾーンとして Amazon Route 53 にドメインを設定する手順を見ていきましょう。では始めましょう。 .BOT ドメインの登録 まず https://amazonregistry.com/bot で新規ドメインを入力し、magnifying classをクリックして入力したドメインが利用可能かどうかを確認します。利用可能であれば、登録ウィザードに進みます。 次に、ボットの認証方法を選ぶ画面になります。私は全てのボットを […]

Read More

[AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開

こんにちは、マーケティングの鬼形です。 先日(2018/4/24)開催しました AWS Black Belt Online Seminar「AWS で構築するデータレイク基盤のアーキテクチャ」の資料を公開致しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

Amazon Rekognition Video と Amazon Kinesis Video Streams を使用してサーバーレスのビデオ分析環境を構築し、ライブフィードをベースにした顔分析を簡単に実行する

ビデオを撮影し、保存するとろこまではごく一般的に行われていますが、そのビデオに主要人物、場所、またはものが映り込んでいるかどうかは、だれかが画面の前に座って、そのビデオを見る時間がとれるまで分析されることはありませんでした。  深層学習を活用した使い勝手の良いサービスを使用して、ビデオを分析するプロセスを合理化し、自動化できるとしたらどうでしょう? Amazon Rekognition Video は、人物を追跡したり、活動を検出したり、物体、有名人、および不適切なコンテンツを認識したりする、深層学習を使用した動画分析サービスです。Amazon Rekognition Video は、ライブストリーム内の顔を検出して認識できます。Rekognition Video は、Amazon S3 に保存されている既存のビデオを分析し、活動、人物と顔、物体を示すラベルをタイムスタンプ付きで返すため、シーンを簡単に見つけることができます。Amazon Kinesis Video Streams からライブビデオの顔認識を実行することも可能です。Amazon Kinesis Video Streams を使用することで、分析、機械学習 (ML)、およびその他の処理のために、接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできるようになります。 今回のブログ記事では、自分で顔認識機能をテストする方法をご紹介します。この機能を利用することで、ライブビデオフィードから、既知の個人の顔情報を集めた特定の顔情報コレクションに一致する顔がそのビデオに含まれているかを判別することもできます。 これらの例としては、要人、参考人、会社や組織の特定の人々、または個々のユースケースで意味をなすあらゆる種類の顔情報コレクションが挙げられます。 サーバーレスアーキテクチャの概要 以下はこのブログ記事でご紹介するビデオ分析フローを図式化したものです。このコレクションでは単一の顔を使用しますが、容易に数百万の顔情報コレクションに拡張することができます。 このブログ記事では、Amazon Kinesis Video Stream にライブフィードを送信するためにあなたのノート PC のウェブカムを使用します。 そこから Amazon Rekognition Video のプロセッサがフィードを分析し、私たちの作成したコレクションと比較します。  一致した結果は、AWS Lambda と Amazon Simple Notification Service (Amazon SNS) との統合によりメールで私たちに送信されます。 結果を理解する 次に、ライブのビデオストリームで顔情報が特定されたときに、Amazon Rekognition Video からの結果を見てみます。この結果はウェブカムのフィードに既知または未知の顔が現れたときに、Amazon […]

Read More

AWS サポート – 最初の 10 年

AWS ではちょうど 10 年前に、Amazon EC2、Amazon S3、および Amazon SQS に焦点を当てたゴールドプランとシルバープランで AWS サポートを開始しました。シアトルの小さなチームが支えるこれらの開始当初のサポート提供から始まった AWS サポートは、現在 60 を超える場所で働く何千人もの人々で成り立っています。 これまでを振り返って 長い年月を経て、これらのサポートは AWS のますます多様化するカスタマーベースのニーズを満たすために成熟し、進化しました。AWS は、一番初めの実験から、ミッションクリティカルなワークロードとアプリケーションをデプロイするときまで、クラウド採用の旅におけるあらゆる段階でお客様をサポートすることを目標としています。 私たちは、AWS のサポートモデルを有益な先を見越したものとするために尽力してきました。AWS では、お客様がセキュアで堅固、かつ信頼できるシステムを構築するために役立つツール、アラート、および知識を提供するために最善を尽くしています。以下は、この目標に向けた最近の取り組みの一部です。 Trusted Advisor S3 バケットポリシーチェック – AWS Trusted Advisor は 5 つのカテゴリーのチェックを提供し、セキュリティとパフォーマンスを向上させるように設計された推奨事項を提供します。AWS は今年の初めに、S3 バケットアクセス権限チェックが無料になり、すべての AWS ユーザーにご利用いただけるようになったことを発表しました。AWS サポートのビジネスまたはプロフェッショナルレベルに加入されている場合は、Amazon CloudWatch Events を使ってこのチェック (およびその他多くの事柄) を監視できます。これは、人手を介さずにバケットを監視してセキュア化するために使用できます。 Personal Health Dashboard – このツールは、AWS でお客様に影響を与える可能性があるイベントが発生しているときにアラートとガイダンスを提供します。お使いの AWS リソースの基礎となる AWS のサービスのパフォーマンスと可用性に関するパーソナライズされたビューを見ることができます。また、必要に応じて自動フェイルオーバーと修復を開始できるように、Amazon CloudWatch […]

Read More