Amazon Web Services ブログ

ご存知の通り、Amazon Kinesis では、AWS Cloud でリアルタイムにストリーミングデータを操作するプロセスが大幅に簡素化されています。独自のプロセスおよび短期のストレージインフラストラクチャを設定および実行する代わりに、ただ Kinesis ストリームまたは Kinesis Firehose を作成し、そこにデータを流し込むように設定してから、それを処理または分析するアプリケーションを構築するのみです。Kinesis ストリームと Kinesis Firehose を使用してストリーミングデータソリューションを構築するのは比較的簡単なのですが、さらに簡素化したいと考えました。作業開発者、データサイエンティスト、または SQL 開発者であるかどうかにかかわらず、お客様がウェブアプリケーション、テレメトリ、およびセンサーレポートの大量のクリックストリームを、接続されたデバイス、サーバーログなどからすべてリアルタイムに標準クエリ言語を使用して処理できるようにしたいと考えました。 Amazon Kinesis Analytics 本日より、Amazon Kinesis Analytics がご利用いただけるようになりました。ストリーミングデータに対して SQL クエリを継続的に実行し、データが届くと同時にフィルタリング、変換、および集約できるようになりました。インフラストラクチャで時間を無駄にするのではなく、データの処理とそこからのビジネス価値の抽出に注力できます。強力なエンドツーエンドのストリームプロセスパイプラインを 5 分で構築できます。SQL クエリより複雑なものを作成する必要はありません。 データベーステーブルに対する一連の SQL クエリの実行を考慮する場合、クエリは通常、非常に素早く追加および削除されるのに対して、データはほぼ静的なままです。常に行が追加、変更および削除されますが、これは特定の時点で実行する単一のクエリを考慮する際、一般的には関係ありません。Kinesis Analytics のクエリをストリーミングデータに対して実行すると、このモデルと正反対のことが生じます。クエリは長時間実行され、新しいレコード、監視、またはログエントリが届くと同時に、データは毎秒何度も変化します。一度この仕組みを把握すると、クエリプロセスモデルが非常に理解しやすいことが分かります。レコードが届くと同時に処理する、持続的なクエリを構築するのです。所定のクエリで処理されるレコードのセットを制御するには、プロセス「ウィンドウ」を使用します。Kinesis Analytics では、3 つの異なるタイプのウィンドウがサポートされています。 タンブリングウィンドウは定期的なレポートに使用されます。タンブリングウィンドウを使用して、時間の経過と共にデータをまとめることができます。おそらく毎秒数千～数百万ものリクエストを受信するので、1 分ごとの受信数を知りたいと思うでしょう。現在のタンブリングウィンドウが閉じると、その後に次のウィンドウが開始します。ウィンドウがいっぱいになるたびに、新しい結果が生成されます。 スライディングウィンドウは、モニタリングとその他のタイプのトレンド検出に使用されます。例えば、スライディングウィンドウを使用してリアルタイムで動くエラー率の平均をコンピューティングできます。レコードがウィンドウに入り、レコードがその中にあるかぎり結果に反映され、ウィンドウは進行します。新しいレコードがウィンドウに入るたびに、新しい結果が生成されます。ウィンドウのサイズを調整して、結果の精度を制御できます。 カスタムウィンドウは、適切なグループが厳密に時間に基づいていない場合に使用されます。クリックストリームデータまたはサーバーログを処理している場合、カスタムウィンドウを使用してセッション化として知られるアクションを実行できます。つまり、各ユーザーが実行する最初と最後のアクション (受信データ内のセッション ID により識別される) によって、各クエリをバインドできます。各ユーザーが閲覧したページ数またはサイトで費やした時間をコンピューティングするクエリを作成できます。 これらすべてはいくらか複雑に聞こえるかもしれませんが、実装するのは非常に簡単です。Kinesis Analytics では、受信レコードのサンプルを分析し、最適なスキーマを提案します。それをそのまま使用することも、微調整して実際のデータモデルをさらに反映することもできます。スキーマが定義されると、組み込み SQL エディターを使用できます (ライブデータに対する構文チェックと簡単なテストを含む)。クエリの結果を Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、または […]

AWS Serverless Chatbot コンテストの審査員にならないかとのオファーが来たので、喜んで引き受けることにしました。 Chatbot の構築 AWS Lambda と Amazon API Gateway を使用して Slack 用の chatbot を構築してください。他の API (Slack Events API が便利) や追加サービス (AWS その他)、その他のデータソースも使用することができます。コンテストの参加作品はクリエイティブかつオリジナルであり、Stack ユーザーに本当の価値を提供できるものでなければなりません。AWS Free Tier は Lambda、API Gateway、そしてその他の AWS サービスへのアクセスを無料でご提供します。AWS の新規および既存のユーザーは Lambda リクエスト 100 万件、そして 400,000 GB/秒のコンピューティング時間を無料で利用することができます。AWS の新しいユーザーはサインアップしてから 12 か月間、API Gateway への API コールを毎月 100 万件ご利用いただけます。 コンテスト参加作品 Chatbot が完成したら、パッケージやマーケティングにも力を注ぐことをおすすめします。参加作品の一環として次のアイテムを提供することも忘れないでください。 Chatbot を実際に使用した様子を示すビデオ資料 参加作品の機能やユニークな点に関する概要 […]

主にお客様からのご要望に基づき実現した多数の機能を備える Amazon CloudFront は、世界中のお客様に静的、動的、そしてインタラクティブなコンテンツを高速かつ低レイテンシーで提供する場合に最適です。AWS 無料利用枠の一環として、HTTP や HTTPS のリクエスト 200 万件までを処理するほか、追加料金なしに毎月 50 GB までのデータを転送することができます。 そしてこの度、カナダのトロントおよびモントリオールにも CloudFront エッジロケーションを追加いたしました。同地域のお客様に今まで以上に優れたサポートをご提供、そして全世界に渡るロケーション数は 59 か所になりました (詳細は全リストをご覧ください)。これには先日オンラインになったブラジルで 2 番目のエッジロケーション、サンパウロも含まれています。トロントおよびモントリオールのロケーション価格は、米国のエッジロケーションと同様です (詳しくは CloudFront の料金表をご覧ください)。カナダのエッジロケーションは価格クラス 100 になります。 アプリケーションがすでに CloudFront を使用している場合は、新しいロケーションを活用するために特別な操作を行う必要はありません。ロケーションにかかわらず、ユーザーは静的、動的、ストリーミングしたコンテンツへのアクセスを高速かつ低レイテンシーでお楽しみいただけます。 また、開発者の方は CloudFront の使いやすさとコスト効率の良さを実感いただけるでしょう。柔軟性を備えているため、予測が困難なトラフィック負荷を処理する場合でも過剰にプロビジョニングする必要がありません。次の新しい 3 つのロケーションでも今後 Amazon Route 53 をサポートしていく予定です。新しいロケーションを活用するために特別な操作を行う必要はありません。 — Jeff

去年 12 月、re:Invent (概要は AWS IoT – Cloud Services for Connected Devices をご覧ください) にて、 AWS IoT を一般公開しました。 そして今年の始めには、私の同僚 Olawale Oladehin が Use Your Own Certificate with AWS IoT という記事で、自分の証明書を AWS IoT で使用する方法をご紹介しました。また、それ以前にも John Renshaw が Predictive Maintenance with AWS IoT and Amazon Machine Learning という記事で、AWS IoT の予測メンテナンスと Amazon Machine Learning について解説しています。 ジャストインタイム方式で登録 AWS IoT の柔軟性をさらに高めるため、本日よりデバイス証明書でジャストインタイム方式による登録が可能になりました。これにより […]

Amazon EMRチームは新しいリリースをものすごい勢いでリリースし続けています。今年のローンチを振り返ってみましょう: EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6月) EMR 4.6.0 – 巨大データへのリアルタイムアクセス用に、HBase (4月) EMR 4.5.0 – Hadoop, Presto, SparkとEMRFS追加 (4月) EMR 4.4.0 – Sqoop, HCatalog, Java 8, 他 (3月) EMR 4.3.0 – Spark, Presto, Ganglia (1月) 今日、チームからEMR 5.0.0が発表されました。こちらはメジャーリリースとなり、16のオープンソースのHadoopエコシステムプロジェクトをサポートしています。SparkとHiveのメジャーバージョンアップ、TezがHiveとPigのデフォルトに、HueとZeppelinのUI改善、そしてデバッグ機能の改良が含まれています。 こちらは過去の幾つかのリリースでEMRがどの様に進化してきたかの図になります。 それではEMR 5.0.0の新しい機能をチェックしてみましょう！ 16のオープンソースHadoopエコシステムプロジェクトのサポート EMR 4.0.0の開発からEMRのビルドとパッケージング処理を管理するために、Apache Bigtopを使い始めました。最新のGA (一般利用可能)なオープンソースのバージョンを出来る限り早くアクセス可能にするというゴールのために、Hadoopエコシステムから新しいパッケージを追加し続けながらもリリースサイクルを加速することができたのはBigtopのおかげです。 そのゴールのもとに、EMR 5.0は16のHadoopエコシステムプロジェクトをサポートしていて、その中にはApache Hadoop, Apache […]

既存の環境を詳しく調べたり、状況の識別、そしてシステムやアプリケーションをクラウドに問題なく移行するために必要な情報と可視性を提供できるように設計された AWS Application Discovery Service については、今年すでにブログで紹介しました (詳しくは過去のブログ New – AWS Application Discovery Service – Plan Your Cloud Migration をご覧ください)。ブログで解説した検出プロセスでは、既存の各ホストで実行できる小規模で軽量なエージェントを使用しています。このエージェントはバックグランドで関連性のあるシステム情報を収集し、確認用にローカルで保管してからポート 443 の安全な接続状態で Application Discovery Service にアップロードします。この情報は AWS Key Management Service (KMS) が保護する暗号化したリポジトリで処理、相関、保管されます。仮想化環境で各ゲストオペレーティングシステムにエージェントをインストールすることは、計画上またはその他の理由により実践的とは言い難い場合があります。このエージェントは、広範に渡る Windows バージョンや Linux ディストリビューションで実行することができますが、過去にリリースされた Windows を使用していたり、Linux の稀なディストリビューションが混ざっている可能性は無視できません。 新しいエージェントレス検出 AWS Application Discovery Service のメリットを多くの AWS のお客様に提供するため、新しいエージェントレス検出オプションを本日リリース致しました。VMware vCenter 環境で仮想マシン (VM) を実行している場合は、この新しいオプションを使用して各ゲストにエージェントをインストールする必要なく、関連性のあるシステム情報を収集できます。代わりにオンプレミスアプライアンスを VCenter で読み込み、その中でゲスト VM を検出できるようにします。どのオペレーティングシステムを使用していても、vCenter アプライアンスはシステムパフォーマンス情報や、各 […]

2016/2017サイクルのアマゾンウェブサービスPCI DSS 3.2 コンプライアンスパッケージがご利用可能になったことを発表できることを嬉しく思います。AWSは、新しくリリースされたPCI Data Security Standard(PCI DSS) version 3.2に対するアセスメントを成功裏に完了した最初のクラウドサービスプロバイダ(CSP)です。また、これは強制的なデッドラインである2018年2月1日の18ヶ月前に達成されました。リクエストによってご利用可能なAWS Attestation of Compliance (AOC)には、最も最近追加されたAmazon EC2 Container Service (ECS), AWS Config, および AWS WAF (ウェブアプリケーションファイやーウォール)を含む、26のPCI DSS認定サービスが掲載されています。AWSは、この国際的な情報セキュリティおよびコンプライアンスプログラムにコミットしています。新しい基準に対して可能な限り早く再び対応することは、情報セキュリティを最優先としてしているAWSのコミットメントを例証しています。AWSのお客様(およびそのお客様)は、最新かつ最も成熟したPCIコンプライアンス要求のセットに対してAWSのプロダクトとサービスがテストされていることを知りながら、クレジットカード情報(およびその他のセンシティブデータ)をクラウドの中で保管し、処理する運用を自信を持って行うことができます。   What’s new in PCI DSS 3.2? PCI Standards Councilは、利用可能な要件の最新セットとして、2016年4月に PCI DSS 3.2 を発表しました。PCI DSS バージョン3.2では、オンラインクレジットカードトランザクションにおける暗号化、アクセスコントロール、変更管理、アプリケーションセキュリティ、リスクマネージメントプログラムまわりの要求が修正され、明確化されました。PCI Security Standards CouncilのChief Technology OfficerであるTroy Leachによる具体的な変更には以下が含まれます： 変更管理プロセスが、(年次のアセスメントに代わって)継続的なモニタリング環境の実装の一部として必要とされる サービスプロバイダはクリティカルセキュリティコントロールシステムの障害について検知と報告が求められる ペネトレーションテストの要求が年次から6ヶ月に一度に増加 カードデータを扱うシステムへのコンソール外の管理者アクセスについて多要素認証が求められる サービスプロバイダは、職員がセキュリティポリシーと運用手順に従っているかを確認するための四半期ごとのレビューを行う必要がある コンプライアンスパッケージの用途 AWS PCI […]

数か月前公開したブログ Amazon Cognito の新しい Your User Pools 機能についてご紹介しました。その時点では、ユーザーのモバイルアプリやウェブアプリでサインアップやサインインに同機能を使用することをご説明しました。完全マネージド型のユーザーディレクトリでは、ユーザー数億人の拡大を可能にしたり、各 AWS アカウントで複数のディレクトリを使用することができます。ユーザープールは数分で作成でき、新規ユーザーがお客様のアプリまたはサービスにサインアップする時に、どの属性 (アドレス、メール、性別、電話番号やカスタム属性など) に入力の必要があるか指定することができます。セキュリティの面では、お好みに合わせたパスワード強度を特定したり、Multi-Factor Authentication (MFA) の使用の強制やユーザーの電話番号またはメールアドレスでの確認を求めることができます。 一般提供を開始 Your User Pools のパブリックベータ版を開始したところ、数多くの素晴らしいフィードバックをいただきました。そして本日、Your User Pools の一般公開を開始した他、このリリースに伴い、いくつかの新機能も追加しました。 Device Remembering – Cognito は各ユーザーがどのデバイスからサインインしたか記憶することができます。 User Search – 属性に基づきユーザープールでユーザーを検索できます。 Customizable Email Addresses – ユーザープール内でユーザーのメールアドレスを管理できます。 Attribute Permissions – 各ユーザーの属性を細かく設定することができます。 Custom Authentication Flow – 新たな API や Lambda トリガーを使用してサインインフローをカスタマイズできます。 Admin Sign-in – バックエンドサーバーや Lambda […]

本日は特別ゲストのブロガーをご紹介します。私の娘、Tina は AWS チームのリクルーティングコーディネーターで、今日プロのブロガーとしてデビューしました。 — Jeff ついに本格的な夏がやってきましたね！AWS が今月注目しているスタートアップをご紹介します。 Depop – アーティストや友達を対象に製品を売買できソーシャルモバイルマーケットプレイスです。 Nextdoor – テクノロジーを利用して連帯感の強い安全な地域を築いています。 Branch – モバイルアプリ開発者がユーザーを増やし維持できるように無料でディープリンク技術を提供しています。 Depop (英国) 2011 年、Simon Beckerman と Daniel 兄弟は、インタラクティブなエクスペリエンスを提供するアプリで楽しくアイテムを売買できるソーシャルモバイルマーケットプレイスの構築を始めました。Depop の創立者たちは m コマースの流れが従来とは異なり、消費者が互いにコミュニケーションを取りたがっている方向に変化している点に気付きました。Simon は、この時点ですでに PIG Magazine の他にも高級メガネブランド RetroSuperFuture を運営していました。そこで、自分のようなアーティストやクリエイティブなユーザーが所有しているアイテムをシェアしたり売買できるスペースを作りたいと考えていました。イタリアでスタートを切った後、Depop は 2012 年にロンドンのショーディッチに本社を構えるために移転、その後も成長を続け、現在ではロンドン、ニューヨーク、ミラノにオフィスを設けています。世界中で 400 万人以上のユーザーを持つ Depop は成長を続け、ファッション、ミュージック、アート、ヴィンテージ、ライフスタイルのアイテムなどに情熱をかけるショップオーナーたちのコミュニティを築いています。使い慣れたユーザーフレンドリーのインターフェイスを取り入れ、ユーザーは他のユーザーやショップオーナーに対して「いいね!」したり、コメントを投稿またはプライベートメッセージを送信することができます。Android や iOS からアプリをダウンロードするだけで、数百万ものユニークなアイテムを見たり購入することができます。洋服だけでなくインテリア、年代物の家具、ジュエリーなど色々なものを見つけることができます。ロケーション別にフィルターすれば、自分のフィードをカスタマイズできるので、自分の地域で便利にショッピングを楽しむことができます。バイヤーはどこまでも続くアイテムリストをスクロールダウンして商品をチェックしたり、自分で引き取りに行くかアイテムを郵送するか個人の希望に合わせて選ぶことができます。アイテムの販売も簡単です。写真をアップロードしてから簡単な説明を入力、価格を設定したらアイテムをリストに載せるだけです。Depop は大規模なオペレーションチームを設けずに滞りなく運営していくため、DevOps のアプローチを導入しました。Amazon S3、Amazon CloudFront を画像ホスティングに、そして日々のトラフィックにおいて予測が難しく比較的大きな変更に対応するために Auto Scaling を使用するなど、Depop は 12 種類の […]

このブログを定期的にご覧になっている読者の方々であれば、私が Amazon Relational Database Service (RDS) のファンなのをご存知でしょう。これは設定、実行、リレーショナルデータベースのスケーリングなど、より定期的な操作に対応できるマネージド型データベースサービスです。2012 年の開始以来、SQL Server サポートは SSL サポート、メジャーバージョンのアップグレード、透過的なデータの暗号化、拡張モニタリング、Multi-AZ などの機能追加に努めてきました。そして今回、SQL Server のネイティブバックアップと復元のサポートが追加されるようになりました。SQL Server のネイティブバックアップには、テーブル、インデックス、ストアドプロシージャ、トリガーなど、すべてのデータベースオブジェクトが含まれています。主に、こうしたバックアップはオンプレミスで実行もしくはクラウドで実行している SQL Server インスタンス間でデータベースを移行する場合に使用されています。またデータの取り込み、災害対策などにも使用することができます。ネイティブバックアップは、オンプレミスの SQL Server インスタンスからのデータインポートやスキーマのプロセスを簡略化することもできるので、 SQL Server DBA が機能しやすくなります。 ネイティブバックアップと復元のサポート RDS インスタンスからネイティブ SQL データベースのバックアップを取り、Amazon S3 バケットに保管できるようになりました。バックアップは SQL Server のオンプレミスコピーまたは他の RDS を使用する SQL Server インスタンスに復元することも可能です。さらにオンプレミスデータベースのバックアップを S3 にコピーし、RDS SQL Server インスタンスに復元することもできます。Amazon S3 で行う SQL Server のネイティブバックアップと復元は、すべての SQL Server エディションで […]