Amazon Web Services ブログ

新しいクエリエディタを使用して Amazon Redshift クラスターをクエリする

データウェアハウスは、データから実用的な洞察を分析および抽出するための重要なコンポーネントです。Amazon Redshift は、高速でスケーラブルなデータウェアハウスであり、データウェアハウスとデータレイク全体ですべてのデータを分析するのに費用対効果が高くなります。 Amazon Redshift コンソールは最近、クエリエディタを開始しました。クエリエディタは、AWS マネジメントコンソールから直接 Amazon Redshift クラスターで SQL クエリを実行するためのブラウザ内インターフェイスです。Amazon Redshift クラスターでホストされているデータベースでクエリを実行するには、クエリエディタを使用するのが最も効率的な方法です。 クラスターを作成したら、すぐにクエリエディタを使用して Amazon Redshift コンソールでクエリを実行できます。クエリエディタは外部の JDBC/ODBC クライアントを使用してデータベースに接続するのに代わる優れた方法です。 この記事では、クラスターにデータをロードし、コンソールからクラスターのパフォーマンスを直接モニターするための SQL クエリを実行する方法を説明します。 SQL IDE やツールの代わりにクエリエディタを使用する クエリエディタは、Amazon Redshift クラスターで SQL クエリを実行するためのブラウザ内インターフェイスを提供します。計算ノードで実行されるクエリの場合は、クエリの横にクエリ結果とクエリ実行プランを表示できます。 クエリを可視化し、便利なユーザーインターフェイスを実現する機能により、データベース管理者としてもデータベース開発者としても、さまざまなタスクを実行できます。視覚的なクエリエディタを使用すると、次のことができます。 複雑なクエリを作成すること クエリを編集して実行すること データを作成して編集すること 結果を表示してエクスポートすること クエリに EXPLAIN プランを作成すること クエリエディタを使用すると、複数の SQL タブを同時に開くこともできます。色付きの構文、クエリのオートコンプリート、およびシングルステップのクエリフォーマットはすべて、追加のボーナスです。 データベース管理者は通常、よく使用する SQL ステートメントのリポジトリを定期的に管理しています。これをメモ帳のどこかに書き記せば、保存したクエリ機能を存分に活かせるでしょう。この機能を使用すると、よく実行する SQL ステートメントを一度に保存して再利用できます。これにより、以前に実行した SQL ステートメントを確認、再実行、および変更することが効率的になります。クエリエディタにはエクスポーターもあり、クエリ結果を CSV 形式にエクスポートできます。 クエリエディタを使用すると、クラスター上にスキーマやテーブルを作成する、テーブルにデータをロードするなどの一般的なタスクを実行できます。これらの一般的なタスクは、コンソール上で直接実行するいくつかの単純な SQL ステートメントを使用して可能になりました。コンソールから日々の管理タスクを行うこともできます。これらのタスクには、クラスター上で長時間実行されているクエリを見つけること、クラスター上で長時間実行されている更新で潜在的なデッドロックをチェックすること、およびクラスターで使用可能な容量を確認することなどがあります。 クエリエディタは […]

Read More

【アップデート】AWS 大阪ローカルリージョンで最新世代の Amazon EC2 インスタンスが利用可能に

本日より最新世代のAmazon EC2 T3、M5、C5、およびR5インスタンスがAWS 大阪ローカルリージョンで利用可能です。 これらのインスタンスには最新世代のIntelプロセッサが含まれ、仮想化のオーバーヘッドを削減しながら、高性能、高可用性、高セキュリティを提供するためAWS Nitro Systemを使用し構築されています。

Read More

AWSとSAPがIoTの相互運用性ソリューションを発表

プリンシプルパートナーソリューションアーキテクトを務めるKK Ramamoorthyとプリンシプルプロダクトソリューションアーキテクトを務めるBrett Francisの共著です。 本日5月9日、SAPは、Amazon Web Services (AWS)とのIoT領域でのコラボレーション、およびSAP Leonardo IoTとAWS IoT Core間の相互運用性の一般提供開始を発表しました。この新しいコラボレーションにより、AWS IoTプラットフォームが持つグローバルなスケーラビリティとSAP Leonardo IoTを活用したビジネスプロセスを使用して、IoTソリューションを簡単かつコスト効率高く展開することができます。このコラボレーションは、2つの新しい相互運用性オプションを提供します。

Read More

DeepRacer リーグ @ AWS Summit Tokyo に向けて準備を始めましょう

みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 今日は、現在お申込み受付中のAWS Summit Tokyo で開催される DeepRacerリーグについて最新情報をお届けしていきます。 DeepRacer リーグ DeepRacer リーグは、機械学習のマネージドサービスであるAmazon SageMaker を強化学習に対応させたAmazon SageMaker RL、そして知能ロボット工学アプリケーションを大規模かつ簡単に開発、テスト、デプロイできるサービスである、AWS RoboMaker を組み合わせて実現されるDeepRacerという1/18スケールの完全自走型レーシングカーを用いて競いあうレースです。 DeepRacer リーグは2種類存在しています。一つが世界中で20以上のAWS Summitで開催される実機を利用したレースです。AWS Summit Tokyoでも3日間毎日開催されており予約なしで現地で登録を行いレースに参加できます。その際実機は、レースの公平性を期すためAWS側が準備したものに、トレーニング済みのアルゴリズムをインストールしレースに挑んでいただきます。待ち時間はありますが、何度でも参加できます。また、アルゴリズムのトレーニングなどが難しい方は、あらかじめプリセットされたデフォルトのアルゴリズムを使いレースをカジュアルに楽しむこともできます。そしてAWS Summit Tokyoでは、強化学習の基礎とDeepRacerを走らせるモデルをトレーニングする手法を学べるWorkshopも開催します。3日間のレースを通して上位10名にはDeepRacerの実機をプレゼントします。そして優勝者には、12月2日から9日の間米国ネバダ州ラスベガスで開催されるre:Invent 2019へ招待させていただき、そこで決勝戦を戦っていただきます。なんと、re:Invent2019への渡航費、宿泊費、チケットなどがAWS側により負担されます。 もう一つのDeepRacerリーグは、Virtualレースです。先日バージニア北部リージョンで、DeepRacer Virtualリーグが開幕しました。AWSのマネージメントコンソールから、DeepRacerを選択すると「DeepRacer Virtual Circuit」が選べるようになっています。現在 London Loopが開催中です。 そしてここからがとても大事なところです。 実機を使ったDeepRacerリーグとVirtualレースは、同じ学習済みモデルを使うことができます。つまり、AWS Summit TokyoでDeepRacerリーグに参加してみたい方は、今からマネージメントコンソールで強化学習を使ったモデルを使い、そして実際に試すことができます。 これにより、本番のDeepRacerリーグでよりよいタイムが出せるようになるかも知れませんね。もちろん先に書いた通り、プリセットされたモデルでレースを楽しむこともできます。でも、良いタイムを出すためにはやはりトレーニング済のモデルを使った方がいいので、是非挑戦してみてください。 そしてDeepRacerリーグとVirtualレースではマシン操作におけるアクセル制御の仕組みが異なりますので、両方参加してももちろん楽しめるようになっています。 強化学習とは? 折角なので強化学習というものの基礎を纏めましょう。 端的には、機械学習のモデルは、以下の3つのいずれかの方法で学習されています。 教師あり学習:ラベル付きのデータセット(サンプルと答えを含む)を使って学習を実行します。徐々にモデルは学習し、正しいラベルを予測をするようになります。回帰と分類などが、教師あり学習の例として挙げられます。 教師なし学習: ラベルのないデータセット(サンプルのみを含む)を使って学習を実行します。ここでは、モデルはデータ中のパターンを徐々に学習します。データのクラスタリングなどが、教師なし学習の例として挙げられます。 強化学習: これは上の2種類の学習とは大きく異なります。コンピューター上で主役となるエージェントが、環境(多くの場合、シミュレータ)と相互作用し、行動に応じて正または負の報酬を得ます。報酬とは行動がどれぐらい良いのかを表す数値で、報酬を計算する関数はユーザによって定義されます。報酬を最大化するような強化学習を行うことで、エージェントは最適な意思決定の戦略を学ぶことができます。 DeepRacerであれば、スピードと、タイヤの左・右、というスロットルとステアリングそれぞれの挙動と、 実機が走っているコースの状態との組み合わせの中で、なるべく正の報酬を得るモデルをシミュレーションを繰り返しながら作成します。報酬は、コースをはみ出ない、センターラインの近くを走行している、等が正の報酬として設定されます。これは実際の自動運転開発においても着目されている技術の一つです。 シンプルに言うと教師あり学習と教師なし学習は、それなりの量のデータさえあればAmazon SageMakerを使うことで機械学習基盤を構築し推論を行う結果を出力してみることができます。しかし強化学習の場合、学習環境と相互作用するエージェントのモデルや実環境、そしてそれを再現するシミュレータ、等準備すべき部分が多くあります。これが一般的に強化学習がその他の学習に比べて、学ぶことが難しいとされる理由の一つです。 DeepRacerは自動運転を実現させるための、実機、コース、それらをシミュレーションするシミュレータを学習キットとしてパッケージ化し、皆さんが簡単に強化学習に触れていただけるようにした、学習キットになるのです。そしてそのシミュレーション環境は、皆さんが別のサービス用途にもご利用いただけるように、汎用のサービスとしても提供されています。それがAWS RoboMakerです。DeepRacerもシミュレーション環境はRoboMakerを使用しています。 AWS RoboMaker AWS RoboMakerが東京リージョンに対応しました。 AWS […]

Read More

SAP Cloud Platform on AWSを使ったイノベーションの加速

AWS上でSAPワークロードを稼働することによるビジネス上の利点は、既に何千ものお客様がそのようなワークロードを稼働していることで証明されています。国際的なエネルギープロバイダーであるENGIEが経験したような明白なメリットには、コスト削減だけでなく、柔軟性とスピードもあります。例えば、ENGIEのケーススタディで述べているように、ENGIEは、自社のSAPプラットフォームをAWS上のSAP S/4HANAにアップグレードしたことで、新しいビジネスフレームワークの予想される納期を半分に短縮することができました。彼らは、AWS対応の高可用性アーキテクチャパターンを使用することによって、HANAインフラストラクチャを適正化しながらこれをすべて行いました。 これらは非常に明白なビジネス上の利点ですが、ビッグデータとアナリティクス、モノのインターネット (IoT)、アプリケーションとAPI、DevOps、および機械学習の分野によってコアとなるSAPビジネスプロセスを拡張して、ビジネス変革を推進することもますます重要になっています。実際、昨年のブログ記事のインフラストラクチャを超えて: スタートアップのスピードでビジネス変革に取り組む方法で、AWSネイティブサービスを使用したこのSAP拡張アプローチについて説明しました。この1年の間に、私たちはその記事で詳述されたアプローチの多くを使ってお客様に協力してきました。 ますます多くのお客様が自社のSAP資産をAWSに移行するにつれて、SAP Cloud PlatformとAWSサービスを組み合わせて、これらの重要な投資を拡大するための追加のリファレンスアーキテクチャや統合パターンに関する支援も要望するようになっています。

Read More

SAP HANAに最適なAmazon EC2 High Memoryインスタンス: 簡単・柔軟・強力

Steven Jonesは、AWSパートナー組織のテクノロジーディレクターおよびグローバルテクニカルリードを務めています。 Amazonでは、製品やサービスを開発する際に、常にお客様のニーズから始めて、そこから遡って取り組みます (Working Backwardという手法)。2017年には、既に4TBメモリを搭載したAmazon Elastic Compute Cloud (Amazon EC2) X1eインスタンス上でSAP HANAの本番環境を稼働していたお客様がいて、企業データの増大に追従する必要がありました。そこでお客様は、私たちにもっと大容量のRAMを搭載したAmazon EC2インスタンスを要望するようになりました。 私たちは、お客様に、それらのインスタンスにはどのような特徴と能力が最も重要であるか尋ねました。一貫したフィードバックは、お客様がAmazon Web Services (AWS)上でSAP HANAを稼働しているのと同じ、使い慣れた経験を期待するというものでした。お客様は特に、Amazon Virtual Private Cloud (Amazon VPC)、セキュリティグループ、AWS Identity and Access Management (IAM)、AWS CloudTrailといった、これまでと同じネットワークとセキュリティ構成を使用でき、APIとAWSマネジメントコンソールでこれらのシステムを管理でき、Amazon Elastic Block Store (Amazon EBS)の柔軟なストレージを使用でき、そして必要なときに柔軟に拡張できることを望まれていました。 手短に言えば、お客様は、大規模なインスタンスを実行するためだけにパフォーマンスや弾力性、柔軟性を犠牲にしたくないとのことでした。

Read More

クイックアップデート:2019年ゴールデンウィーク中に発表された新機能・サービス(抜粋)

AWSでは毎日のように新機能・新サービスがリリースされていますが、それはゴールデンウィークの期間でも例外ではありません。今年のゴールデンウィークの期間中にはre:invent 2018で予告されていたサービスのGA(一般提供開始)等、多数の発表がありました。 ゴールデンウィーク中だったために見逃してしまった方も多いのではと思いますので、今回はその中から日本のAWSユーザに関係が大きそうなリリースをピックアップしてざっくりとご紹介します。なお筆者の感覚で選んでいるため、より重要なものが抜けているかもしれませんがご容赦ください。発表は以下のAWS What’s newページに記載されています。 https://aws.amazon.com/jp/new/(まだ翻訳されていないものもありますので、全ての情報を見るには表示言語をEnglishに切り替えてください)

Read More

Amazon CloudWatch Events を使用したサーバーレスパイプラインの構築

AWS サーバーレスヒーローである Forrest Brazeal 氏によるゲスト投稿。Forrest 氏は、Trek10, Inc. のシニアクラウドアーキテクトであり、Trek10 の Think FaaS サーバーレスポッドキャストのホストを務めており、サーバーレスコミュニティのワークショップやイベントで定期的に講演を行っています。 イベントとサーバーレスは、ベイクドビーンズとバーベキューのようにいつも一緒です。サーバーレスという考え方は、ビジネス上の価値を提供するコードやコンフィギュレーションに焦点を当てます。それは結局のところ、外の世界で起こることに対応する構造化データである、イベントを扱うことを意味します。ポーリング中にリソースを消費する長時間実行されるサーバータスクを維持するのではなく、イベントトリガーに応答してのみ機能するサーバーレスアプリケーションを作成することができます。 AWS でイベントを操作する際には、たくさんの選択肢があります。Amazon Kinesis Data Streams、Amazon Simple Notification Service (SNS)、Amazon Simple Queue Service (SQS) などであり、要件によります。最近では、名前に「イベント」という言葉が付いたサービスを頻繁に使用しています。Amazon CloudWatch Events です。 CloudWatch Events: サーバーレスイベント処理における穴場 最初は、CloudWatch は Lambda ログを収集し、スケジュールに従って機能を実行できるサービスと理解していました。ところが、CloudWatch Events では、CloudWatch API を使用して独自のカスタムイベントを発行することもできます。SNS と同様の料金と配信保証があり、ターゲットとして多数の AWS のサービスをサポートしています。 何よりも、イベントバスをプロビジョニングする必要さえありません。CloudWatch コンソールの中にあるからです。ここで、boto3 AWS SDK for Python を使用して、イベントを発行することができます。 import boto3 cw = […]

Read More

オープンソースプラットフォームで ProxySQL を使用して、Amazon Aurora クラスターでの SQL の読み取りと書き込みを分割する方法

ブログ記事Amazon Aurora PostgreSQL で読み書き用に pgpool の単一のエンドポイントを設定する方法では、Amazon Aurora PostgreSQL エンドポイントの読み取りおよび書き込みの分割機能を使用するアーキテクチャを紹介しています。このタイプのアーキテクチャは Aurora PostgreSQL クラスターに最適ですが、データベースに Amazon Aurora MySQL クラスターを使用している場合はどうでしょうか? この記事は、Aurora MySQL エンドポイントで読み取りおよび書き込みの分割を実現するための中間レイヤーとして ProxySQL を紹介することによって、元の記事を補完します。 Amazon Aurora は、プライマリ DB インスタンス (クラスターエンドポイント) と、リードレプリカ (リーダーエンドポイント) のエンドポイントを提供します。Aurora は、クラスタエンドポイントを自動的に更新するので、常にプライマリインスタンスを指し示すようできています。リーダーエンドポイントを使用して、使用可能なすべてのリードレプリカにまたがる読み取り操作のための接続に対して DNS ラウンドロビンを実行します。さらに、Amazon Aurora カスタムエンドポイントを使用して、アプリケーションのトラフィックをさらに分離することができます。 Amazon Aurora Replica では、通常 100 ms 未満のレプリケーションラグが発生します。したがって、アプリケーションで遅延が許容される場合は、以下に示すように、クラスターエンドポイントとリーダーエンドポイントの両方を使用して、水平方向に拡張されたデータベースを利用することができます。 前の図は、使用するエンドポイントを決定するアプリケーションの現在のアーキテクチャを示しています。ただし、読み取り用と書き込み用両方のデータベースエンドポイント管理は、複雑なアプリケーションになります。一部のサードパーティ製ドライバーは、より狭い範囲のユースケースしかサポートしていませんが、この記事のアイデアを読み書きを分割するユースケースにより広く適用することができます。 この記事では、ProxySQL を使って、書き込みトラフィックをクラスターエンドポイントへ、読み取りトラフィックをリーダーエンドポイントに自動的に転送する MySQL 互換の単一 Aurora エンドポイントを構築する方法をご紹介します。以下の図は、ProxySQL ミドルウェアに基づいて提案されるソリューションを示しています。 アーキテクチャ ProxySQL は、MySQL データベースとデータベースクライアント間に存在する、GNU General […]

Read More

AWS DeepRacer League で競って勝つための方法の紹介と、2 人の新チャンピオンの誕生!

AWS DeepRacer League にとっては忙しい週となりました。世界初のグローバルな自走型レーシングのリーグでは、あらゆるスキルレベルの 機械学習開発者が楽しくエキサイティングな方法で機械学習を実際に体験できます。 2019 年 4 月 29 日、AWS DeepRacer League の仮想サーキットがオープンしました。仮想サーキットでは、AWS DeepRacer コンソールを使用して、レーサーたちは世界中のどこからでも競争することができます。開発者は、仮想サーキットのワールドツアーに参加して競うことで、自分のスキルの腕試しを行えます。この仮想トラックは有名なレースコースからアイデアを得たもので、毎月発表される予定です。参加者は賞 や栄誉をかけて競います。入賞者には、re:Invent 2019 で開催される AWS DeepRacer チャンピオンカップへの出場権が付与されます。仮想ワールドツアーの最初のレーストラックは、ロンドンループとして知られるイギリスのシルバーストーンにある有名なレースコースからヒントを得たものです。レースは 5 月 31 日まで開かれ、世界各地の開発者が、すでにすばらしいラップタイムを叩き出しています。AWS DeepRacer League バーチャルサーキットで勝者として名乗りをあげるため、今すぐレースに参加しましょう! シドニー Summit の入賞者 仮想サーキットに加えて、AWS Summit のカレンダーの第 7 レースがオーストラリアのシドニーで開催されました。シドニーの AWS Summit は 2 日間にわたって盛大に行われ、クラウドコミュニティが一堂に会して AWS のサービスを学び、実際に体験することができました。AWS DeepRacer League には、48 時間を超えて競い合うレース用のトラックが 3 つ用意されました。何百人ものレーサーたちが表彰台でチャンピオンに輝くためにトラックで腕を競い合ったレースでは、期待が裏切られることはありませんでした。 優勝した Matt Kerrison (Matt@GJI) さんは、他の […]

Read More