Amazon Web Services ブログ

Amazon Redshift に新しい特徴や機能を追加することに忙しかったので、この 1 年間で何をしてきたのかをまとめたいと考えています。この記事では、いくつかの機能拡張をまとめ、Amazon Redshift の実装を学び、最大限に活用するためのリソースを提供します。 2017 年には、Amazon Redshift に関して 30 件以上の発表を行いました。お客様の声に耳を傾けて、Amazon Redshift の機能である Redshift Spectrum を提供しました。これにより、データを移動することなく、データレイクに分析機能を拡張することができます。新しい DC2 ノードを開始し、同じ価格で性能を倍増させました。また、スケーラビリティの拡張、パフォーマンスの向上、自動化の強化、およびアナリティックワークロードの管理を容易にする方法など多くの新機能も発表しました。 ローンチの完全なリストを見るには、最新情報ページをご覧ください。RSS フィードの登録もお忘れなく。

Amazon EMR により、データアナリストやサイエンティストは、Spark、HBase、Presto、Flink などの一般的なフレームワークを実行する任意のサイズのクラスターを数分でデプロイできます。クラスターを起動すると、Amazon EMR は、クラスター用に選択したフレームワークとアプリケーションを使用して、基盤となる Amazon EC2 インスタンスを自動的に設定します。これには、Hue ワークベンチ、Zeppelin ノートブック、Ganglia 監視ダッシュボードやツールなどの定評があるウェブインターフェイスが含まれます。 これらのウェブインターフェイスは EMR マスターノードでホストされており、マスターノードのパブリック DNS 名 (マスターパブリック DNS 値) を使用してアクセスする必要があります。マスターパブリック DNS 値は動的に作成されますが、あまり使いやすくなく覚えにくいです。たとえば、ip-###-###-###-###.us-west-2.compute.internal などです。一般的なワークベンチまたはノートブックインターフェイスに接続するための使いやすい URL がないと、ワークフローに影響を及ぼし、敏捷性を妨げる可能性があります。 一部の顧客は、カスタムブートストラップアクション、ステップ、定期的に新しいクラスタをチェックしてより使いやすい名前を DNS に登録する外部スクリプトを使用して、この課題に取り組んでいます。こうしたアプローチは、データの実務者にさらに負担をかけたり、スクリプトを実行するために追加のリソースを必要としたりします。さらに、一般的には、こうしたスクリプトに関連する遅延時間があります。クラスターが終了した後に DNS レコードをクリーンアップしてもそれほど大きな効果はなく、むしろセキュリティリスクが発生することがあります。 この記事のソリューションは、ウェブインターフェイスに簡単にアクセスできる使いやすいマスターノード名を登録するサーバーレスの自動化されたアプローチを提供します。

昨年、私は AWS Serverless Application Repository の準備をするように申し上げ、その内容について少し説明いたしました。このリポジトリは、できるだけ容易にサーバーレスアプリケーションとコンポーネントを AWS 上で検索、設定、デプロイできるように設計されています。また、AWS パートナー、エンタプライズ顧客、独立した開発者がそれぞれのサーバーレス作成を共有するための、理想的な場所でもあります。 提供開始 公開プレビューでの好感を得た後、AWS Serverless Application Repository は、一般公開され、今すぐ使い始めることができます。 消費者として、皆様はマシン学習、画像処理、IoT、および汎用作業を完璧に補完するサーバレスアプリケーションとコンポーネントの益々盛んなエコシステムを活用できるようになります。それらをそのまま設定し、消費するか、別に取り出して、機能を追加し、プルリクエストを作成者に送信することもできます。 発行者として、容易に Serverless Application Repository で寄稿を発行することができます。名前と説明を入力し、いくつかのラベルを選択して検索しやすくして、メニューから適切なオープンソースライセンスを選択し、README を提供して、ユーザーがすぐに使い始めることができるようにするだけです。次に、既存のソースコードレポにリンクを入力し、SAM テンプレートを選択して、セマンティックバージョンを指定します。 両方の操作を見てみましょう… サーバーレスアプリケーションを消費する Serverless Application Repository は、Lambda コンソールからアクセスできます。既存のアプリケーションを順を追ってみていくか、次のような検索を開始することができます。 「todo」の検索では、いくつかの興味深い結果が返されます。 詳細を確認するには、アプリケーションをクリックするだけです。 すでにアプリケーションの知識がある場合は、アプリケーションを設定し、それをすぐにデプロイできます。 各セクションを展開して、詳細を見ることができます。アクセス権限セクションは、使用する IAM ポリシーを示します。 また、テンプレートセクションは、アプリケーションをデプロイするために使用される SAM テンプレートを表示します。 テンプレートを調べて、テンプレートがデプロイされるときに作成される AWS リソースについて確認できます。また、テンプレートを自分独自のアプリケーションを作成し発行するための準備するための学習リソースとして使用することもできます。 ライセンスセクションは、アプリケーションのライセンスを表示します。 todo を展開するために、アプリケーションを指定し、[Deploy (デプロイ)] をクリックします。 デプロイは直ちに開始され、1 分以内に完了します (アプリケーションのデプロイ時間は、作成されるリソースの数と種類に応じて異なります)。 Lambda コンソールでデプロイされたアプリケーションすべてを確認できます。 現在は、SAM テンプレートで API […]

こんにちは。ソリューションアーキテクトの石井です。2018 年 3 月の AWS Black Belt オンラインセミナーの配信についてご案内をさせて頂きます。 2018 年 3 月の BlackBelt セミナーでは、ソリューションカットとして、働き方改革を実現するための AWS の VDI やオンラインミーティングサービス、Well-Architected Framework を活用したコスト最適化、データウェアハウスの AWS クラウドへの移行方法、AWS IoT でのデバイス管理・運用をする際に検討すべきポイント、などをご紹介します。 サービスカットでは、機械学習モデルの開発・学習・推論を素早く簡単に行うための Amazon SageMaker、ストレージとコンピューティング機能を備えた 100TB のデータ転送デバイス AWS Snowball Edge、動画ストリーミングを低遅延で分析処理に配信するための Amazon Kinesis Video Streams など、盛り沢山でお送りします。 なお、2018 年 3 月の BlackBelt セミナーは通常の火・水以外の変則的な開催日もございますのでご注意下さい。 3 月の開催予定 ソリューションカット 3/6（火）12:00-13:00 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス 3/13（火）12:00-13:00 Well-Architected Framework によるコスト最適化 3/19（月）12:00-13:00 […]

古い哲学的な質問です。船の様々なパーツを年々入れ替えていったとすると、それは当初と変わらぬ同じ船でしょうか？ゲームエンジンではどうでしょう？ 2018年はLumberyardにとって新たな幕開けとなると信じています。レガシーな技術も概ね刷新され（既に主だったシステムの10/12が変わっています）、7つの新たなシステムが加わり、フルリリースへ向け加速する時が来ました。 Lumberyard Beta 1.12 はこちらからダウンロードできます 2017年はLumberyardの将来に向けた基礎部分に注力してきました。新たなアニメーションツール（EMotion FX）と、新たなビジュアルスクリプティングソリューション（Script Canvas）は、既にご紹介済みですが、コンポーネント・エンティティ作業フローへの数百の機能向上による開発フロー構築や、7つの新たな Cloud Gems をリリースしまして手軽にAWSクラウドを活用した機能をプレイヤーさんに提供する事ができるようになりました。また、業界標準の植生モデリング SpeedTree 8 のライセンスをLumberyardユーザーの皆様へはエディタも含めフリーで提供させていただいていますので、本物と見まごうばかりの広大な森林や植生等をご制作いただけます。 2018年を見据えた移行：エンジンによって容易かつさらにパワフルにゲームの可能性を押上げます。クラウドの壮大なコンピューティングとストレージが触媒となりゲーム制作に新たな革新と拡張がもたらされるでしょう。まだまだ開発を進めていますが2017年の開発でも主だったところでこちらの5つがあり我々の目指す方向付けがより明確になりました。 1. Cloud Gems The Cloud Gem フレームワーク により短時間でAWSを利用した素晴らしいゲームプレイを創出できます。テキストからの音声合成、ゲーム内アンケート、音声認識等をゲームに導入して、これまでにないゲーム体験と開発を実現できます。ゲーム内のランキングは有用ですが、もしMMOの数多のNPCが音声合成で教えてくれたらいかがでしょう？もしくは音声認識で様々な選択肢・オプションを選択できたら？Gemにより少数のエンジニアでもバックエンドのソリューションを制作でき、コストの削減のみにとどまらず、ゲームの制作手法をも変革可能となります。 2. SpeedTree 8 SpeedTree 8 がLumberyardの開発者の皆様へは無償で提供されます。エンジンのレンダリング・ライティングときれいに統合されており、SpeedTreeのエディタで素早く容易に植生を皆さんのゲーム内に生成することが可能となります。もちろんお時間がなければ既に制作された樹木アセットをSpeedTreeのサイトから購入して利用することもできます。SpeedTree ストア にて手順に従い無償ライセンスを手に入れられます。さらに ドキュメント  と クイックスタートチュートリアル もありますので、すぐにも始めていただけます。 3. EMotion FX CryAnimationをEMotion FXに入れ替え、さらに機能向上を追加してリリースしています。これによりエンジニアリング要件なしにブレンドツリー、ステートマシン、ブレンドスペース等々を利用して10分とかからずにキャラクタアニメーションを制作いただけます。EMotion FXは10年以上に渡りEAやUbisoftのような開発会社に採用されており、Lumberyardに永続的なパートになることで、アーテイストさんにパワフルなソリューションを提供できるようになりました。 4. Script Canvas Script Canvas により Lua や C++ のフレームワークと同様にゲーム内の挙動を創り上げる事が可能です。EMotion FXでクールなアニメーションをキメたキャラクターをエンジニアの手助けなくScript Canvasで容易にゲーム内の挙動を組んでしまえるわけです。SciptCanvasのノードベースのインターフェースが使えるようになれば、プログラミングの知識に乏しくても簡単にクオリティの高いゲームプレイ体験を創出できます。 5. […]

2ヶ月前にAWS re:Invent 2017を開催したにもかかわらず、私たちは引き続き、会議から素晴らしいAmazon DynamoDBセッションの内容をまとめて共有したかったのです。次のテーブルには、DynamoDBに関連するセッションのタイトルと、セッション録画へのリンク、セッションの説明、および各セッションの最適な説明が記載されています。 AWS re：Invent 2017のセッションタイトルとビデオへのリンク セッション内容 ベスト Amazon.com – 100のOracle DBをJust Oneに置き換える：Amazon DynamoDB（ARC406） 300を超えるAmazonエンジニアリングチームが使用するミッションクリティカルなシステムで、Herdは毎日40億以上のワークフローを実行します。2013年からは、Herdのワークフロートラフィックは、毎年倍増していました。そして、その数十の水平方向にパーティション化されたOracleデータベースをスケーリングすることは、悪夢のようなものでした。Herdのスケーリングニーズをサポートし、より良い顧客体験を提供するために、Herdチームはストレージシステムを再構築し、OracleからAmazon DynamoDBへのプライマリーデータストレージを移動する必要がありました。このエキスパートレベルのセッションでは、DynamoDBへの移行について議論し、直面した最大の課題とその克服の方法を学び、学んだ教訓を共有します。 Amazon.comがどのように100のOracleデータベースをDynamoDBに移行したかを知りたい方。 キャッシング可能な場合：高度なキャッシングストラテジー（ATC303）によりコストを最適化しながらレイテンシを最小化する Amazon CloudFrontからElastiCache、Amazon DynamoDB Accelerator（DAX）まで、このセッションは、アドテックワークロードにどうやってキャッシュ方法を適用させるかを学習するワンストップショップです。どのデータをキャッシュすべきで、それはなぜですか？ キャッシュするときの一般的な副作用と落とし穴は何ですか？ 実際にDAXをどのように使用するべきですか？ 常にデータが最新のキャッシュ状態を保つにはどうすればよいですか？ このセッションでは、これらのトピックについて深く議論し、チームインターネットから学んだ教訓を共有します。 アドテックのワークロードにどうやってキャッシュ方法を適用させるか詳細を知りたい方。 DynamoDB – 新機能(DAT304) 今回のAmazon DynamoDBの一般セッションでは、新しく発表された機能について説明し、最新の技術革新についてのエンドツーエンドの視点を提供します。また、顧客の成功事例やユースケースを共有し、グローバルテーブルとオンデマンドバックアップのライブデモを共有します。 DynamoDBや新機能について知りたい方。 クラウドへのギャラクシーの移行：サムスンのAmazon DynamoDB（DAT320）への移行に関するベストプラクティス このセッションでは、従来のリレーショナルデータベースマネジメントシステムやその他のNoSQLデータベースなど、データベースをAmazon DynamoDBに移行するためのベストプラクティスを紹介します。重要なDynamoDBの概念、評価基準、DynamoDBでのデータモデリング、DynamoDBへのデータ移行、データ移行時の重要な考慮事項について説明します。CassandraクラスターをSamsung CloudワークロードのためにDynamoDBに移行した、Samsung Electronicsの事例を紹介します。 SamsungがDynamoDBにどのように移行したかを知りたい方。 ExpediaがDynamoDBに飛ぶ：Travel Analytics（DAT324）のためのライトニング – ファストストリーム処理 豊富で高性能なストリーミングデータシステムを構築するためには、複雑なビジネスロジックを実装するために参照データセットへのオンデマンドアクセスが必要です。このセッションでは、Expediaが直面したアーキテクチャー上の課題と、Amazon DynamoDB Accelerator（DAX）とAmazon DynamoDBがアーキテクチャー全体にどのように適合し、Expediaの設計要件を満たしているかについて説明します。以下について学びます：1）データをストリーミングするためのExpediaの全体的なアーキテクチャーパターン、2）ExpediaがDynamoDB、DAX、Apache Spark、Apache Kafkaを使用して問題に対処する方法、そして3）DAXが提供する価値と、Expediaがパフォーマンスとスループットを向上させ、コストを削減する方法—新しいコードを書く必要はまったくありません。 ExpediaがDynamoDBとDAXを使用して、参照データセットに高速かつオンデマンドでアクセスする方法を知りたい方。 Amazon DynamoDB（DAT325）のSnapchat Stories […]

MySQL 5.7でのJSONサポートについて重要な点は？ MySQL 5.6では、数値、日付と時刻、文字列(文字とバイト)の型、および空間データ型をサポートしています。これらの型は広くサポートされていますが、これらの基本データ型は、アプリケーションを進化を作成する際の柔軟性を制限します。 MySQL 5.6を使用している場合は、アプリケーションに機能を追加する計画する際に2つの選択肢があります。最初のオプションは、アプリケーションで現在必要なすべてのフィールドを含む完全なスキーマを設定することです。その後アプリケーションで新しいフィールドが必要な場合は、スキーマを更新してその列を追加する必要があります。このアプローチにはいくつかの利点があります。新しいフィールドにインデックスを作成することができます。また、Amazon Auroraのfast DDLのような機能により、列を追加する際の影響を最小限に抑えることができます。ただし、データベース・スキーマの変更を実行し、その変更に対応するためにSQL文を更新する必要があります。 2番目のオプションは、文字列を使用して柔軟なフィールドセットをエンコードし、アプリケーションレイヤーで文字列を解析することです。柔軟性はありますが、この方法ではデータを解析するのに無駄なコストがかかります。 この様な場面ではJSONが適しており、必要とされる柔軟性を提供することで優れた方法を提供します。 JSONは、データを解析するためのコードを書く必要がないという利点も提供します。ORMまたは言語ランタイムで処理が可能です。JSONサポートはMySQL 5.7.8で導入されました。 これらの利点に加えて、JSONをネイティブ・タイプとしてMySQLで使用することで、データベースはJSONカラムに保存されているJSONドキュメントを自動的に検証できます。無効なドキュメントではエラーが発生します。ネイティブタイプのJSONでは、データベース中でJSON形式を最適化することもできます。JSONカラムに格納されたJSONドキュメントは、ドキュメント要素への高速な読み取りアクセスを可能にする内部形式に変換されます。サーバーが後でこのバイナリ形式で格納されたJSON値を読み取る必要がある場合、その値をテキスト表現から解析する必要はありません。バイナリ形式は、サーバーがサブオブジェクトまたはネストされた値をキーまたは配列のインデックスで直接参照できるように構成されています。これは、ドキュメント内の前後の値をすべて読み取らずに行います。 Amazon AuroraはMySQL 5.7との互換性をサポートしています。つまり、MySQL 5.7互換のAuroraを利用してJSONデータ型を使用したアプリケーションを開発できるようになりました。 この記事の残りの部分では、JSONデータ型とMySQL互換のAuroraを使用する電化製品のECサイトのサンプルアプリケーションをご紹介します。 スキーマの作成 電化製品は、ラップトップ、携帯電話、プリンター、テレビ、DVDなど多様なもを取り扱います。また、製品の属性もどうように多くなります。このため、さまざまな機能や属性を検索できるように、製品属性を正規化された形式で保存するのは難しいくなります。たとえば、製品比較のためにこれを行えるようにします。 まず、店舗用のデータベースを作成します。 CREATE DATABASE online_store; USE online_store 簡単にするため、データベースにはブランド、カテゴリ、製品という3つのテーブルのみ作成します。brandsとcategoriesテーブルにはJSONフィールドがありませんので、先に進むために説明は省かせて頂きます。 CREATE TABLE brands ( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL ); CREATE TABLE categories ( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY […]

DataSunrise 社エンジニアリングリーダー、Radik Chumaren DataSunrise は、多種多様なデータベースのためのアクティビティモニタリング、データマスキング (動的および静的マスキング)、データベースファイアウォール、および機密データ検出を含む、幅広いセキュリティソリューションを提供するデータベースセキュリティソフトウェア企業です。DataSunrise の目標は、外部および内部の脅威と脆弱性からデータベースを保護することです。お客様はよく、DataSunrise Database Security が Amazon Aurora、Amazon Redshift、Amazon RDS for MySQL、Amazon RDS for PostgreSQL、Amazon RDS for MariaDB、Amazon RDS for Oracle Database、および Amazon RDS for Microsoft SQL Server を含む AWS で実行される異なる種類のデータベースエンジンを保護するときに、統合された制御とシングルユーザーエクスペリエンスを提供することから DataSunrise Database Security を選択しておられます。 DataSunrise は、アクティブなデータとデータベースのセキュリティに加えて、監査などの受動的なセキュリティの両方を提供します。アクティブなセキュリティは、機密データへの不正アクセスの防止、疑わしい SQL クエリのブロック、SQL インジェクション攻撃の防止、またはリアルタイムでのデータの動的なマスキングと難読化などの事前定義されたセキュリティポリシーに基づいています。DataSunrise は、高可用性、フェイルオーバー、および自動スケーリングを備えています。 この記事では、監査としても知られる受動的なセキュリティに焦点を当てます。今回は、DataSunrise が Aurora で何を監視するか、どのように機能するか、およびその使用開始方法について説明します。今後の記事では、アクティブなセキュリティ、データマスキング、および機密情報の検出を含む、セキュリティにおけるその他の側面を取り上げます。 DataSunrise 監査の対象 DataSunrise は、SQL クエリ、データフロー、バインディングなどの監査を可能にします。収集される情報には、SQL クエリの詳細と、それらの実行による結果が含まれます。SELECT […]

本日(2018/02/20)、インターリージョンVPCピアリングが AWSの欧州(ロンドン)、欧州 (パリ)、アジアパシフィック (ムンバイ)、アジアパシフィック (シドニー)、アジアパシフィック (シンガポール)、アジアパシフィック (東京)、カナダ (中部) 、南アメリカ(サンパウロ) が、従来の米国東部（バージニア北部）、米国東部（オハイオ）、米国西部（オレゴン）、欧州(アイルランド)に加えて利用可能になりました。 インターリージョンVPCピアリングでは、Gateway、VPNコネクション、ネットワークアプライアンスなどを使う事なく、別なリージョンで稼働しているEC2インスタンス、RDSデータベース、LambdaファンクションなどのVPCリソースに対してPrivate IPアドレスにて通信が可能です。 インターリージョンVPCピアリングは、リージョン間のリソース共有や地理的な冗長性を得るためのデータレプリケーションに関して、シンプルかつコスト効率の良い方法となります。インターリージョンVPCピアリングはVPCと同様な水平方向のスケール、冗長、高可用性テクノロジーにより構築されており、単一障害点や帯域のボトルネック無しに暗号化します。インターリージョンVPCピアリングのトラフィックは常にグローバルAWSバックボーンにとどまり、パブリックなインターネットを横断することは無く、一般的な悪用であったりDDoS攻撃のような脅威を減らすことができます。 インターリージョンVPCピアリングコネクションによって転送されたデータのコストは、インターリージョン間の通常のデータ転送費用となります。 さらなる情報については、Amazon VPC Peeringのドキュメントをご参照下さい。 翻訳は SA菊池が担当いたしました。 原文：こちら

これは、Realtor.com のスタッフデータエンジニアである Ajay Rathod 氏の寄稿です。 Realtor.com は、同社の説明によれば「Move、Inc. が運営する Realtor.com® は、住宅の購入者、売り手、いつか購入を夢見ている人にとって信頼できるリソースです。競合する全国のサイトの中で販売用物件に関する最も総合的なデータベース、情報、ツール、専門家の専門知識を提供し、人々が自宅を手に入れるまでのあらゆるステップを自信を持って進めるように支援します。」 Move, Inc. は、日付や時間で区分された数百万テラバイトのデータを処理します。さまざまなチームがこのデータに対して何百ものクエリを実行します。Move, Inc. は、AWS のサービスを利用して、データの収集および分析のためのインフラストラクチャを構築しました。 データは、様々な情報源から取得します。 Amazon Kinesis と AWS Data Pipeline を使用して Amazon S3 データレイクにデータをロードします。 ストレージとその後のクエリの有効性を高めるために、データは Parquet 形式に変換され、再度 S3 に保存されます。 Amazon Athena は、S3 のデータを照会する SQL (Structured Query Language) エンジンとして使用されます。Athena は使いやすく、多くの場合、さまざまなチームによって速やかに採用されます。 チームは、Amazon QuickSight でクエリ結果を可視化します。Amazon QuickSight は、データを迅速かつ簡単に可視化したり、アカウント内の他のユーザーと共同作業を行うことがでるビジネス分析サービスです。 データアクセスは、AWS Identity and Access Management (IAM) ロールによってコントロールされます。