Amazon Web Services ブログ

先日 (2019/9/11) 開催しました AWS Black Belt Online Seminar「AWS Batch」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190911 AWS Black Belt Online Seminar AWS Batch   AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS Batch と Amazon ECS、AWS Fargate の使い分けについて教えて下さい。 A. AWS Batch では内部的に Amazon ECSを使用しつつ、キューイングされた計算処理を順次実行していくようなバッチコンピューティング環境に特化しております。そのため、このようなバッチ処理であれば AWS Batch をご利用いただき、それ以外のインタラクティブな処理を含む汎用的なワークロードではECS及びECSの機能の一部であるFargateをご利用いただければと思います。 Q. AWS Batch で大量のジョブを実行する場合の設定ポイントについて教えて下さい。 A. AWS Batch で大量のインスタンスを使用する場合は以下の点にご留意ください： 各種リソース制限を確認する: 各アカウントごとに、EC2 の起動台数制限やEBS作成数制限、ECSのクラスターごとコンテナ数制限が存在しています。 大規模利用を検討される場合は、まずこちらの制約にご注意ください。制限を超えるリソースを利用希望の場合は、サービスクォータダッシュボード より申請いただくことが可能です。 複数のインスタンスタイプを指定する: AWS […]

こんにちは、AWSソリューションアーキテクトの小林です。突然ですが、春巻という料理はお好きでしょうか。私は揚げたやつも生春巻も大好きなのですが、なぜ名前が「春」巻なのか気になったことはありませんか？調理法からすると巻揚でも具巻でも良いと思うのです。気になって調べてみたのですが、諸説有りつつも当初は春の食材を使って作る料理だから春巻という名前になったという説が有力だそうです。そのまんまではありますが、なるほど感がありますね。ちなみに英語だとSpring Rollと言うそうですが、直訳なのがこれはこれでちょっと面白いですよね。

(アップデート)2019年11月26日、Dockerでのローカルアクセスに関する内容を追加しました。 2019年9月、Glueのジョブ結果を監視・トラブルシューティングできるApache Spark UI(以下、Spark UI)が利用できるようになりました。Spark UIは、Glue ETL ジョブ実行のさまざまなステージを表す Directed Acyclic Graph (DAG(有向非循環グラフ)) をウェブインターフェイスによって可視化することができます。また、Spark SQL クエリプランを分析し、実行中や終了した Spark executor のイベントタイムラインを確認します。Spark UIはGlue ETL ジョブおよび Glue 開発エンドポイントの両方で利用可能です。 Spark UIを利用することで、イベントタイムラインによるジョブのパフォーマンスボトルネックの特定やデバッグを行うことができます。 本ブログでは、Glueのデータカタログ登録・ジョブ実行からSparkの履歴サーバーを起動、Spark UIでの確認までをご紹介します。 チュートリアル 手順 0.データのダウンロード サンプルデータのダウンロードを行います。(サンプルデータのURL内にある2019年6月の“Green Taxi Trip Records(CSV)”を利用します。) 1.データカタログの登録 1-1.AWSマネジメントコンソールにログインして、サービス一覧から“S3”を選択します。 1-2.[バケットを作成する]ボタンをクリックし、“バケット名”に任意の名前(※世界で一意)を入力、リージョンが“アジアパシフィック(東京)”になっていることを確認し、[作成]ボタンをクリックします。 バケット名：任意の名前(※世界で一意) リージョン：“アジアパシフィック(東京)” 1-3.バケットが作成されたら、“フォルダ作成”のボタンをクリックします。 その後、“datasource”、“script”、“tmp”、“eventlog”、“output”という名前でそれぞれフォルダを作成します。 1-4.“datasource”フォルダに手順“0”でダウンロードしたCSVファイルをアップロードします。 1-5.サービス一覧から“Glue”を選択します。 1-6.左の一覧から“クローラー”を選択し、“クローラーの追加”を選択します。 1-7.“クローラに関する情報の追加”にて、クローラの名前に任意の値を入れて、“次へ”をクリックします。 1-8.“Specify crawler source type”にて、クローラーのソースタイプを“Data stores”に指定し、“次へ”をクリックします。 1-9.下記を設定し、“次へ”をクリックします。 データストアの選択：S3 クロールする場所：自分のアカウントで指定されたパス インクルードパス：s3://[YOUR BUCKET […]

2019/9/26にAWS Loft Tokyoで「SD-WANって何だろう。使い方を知ってみよう」セミナーを開催しました。 当日の様子をレポートします。 ↑左から、スピーカーの海野様、鈴木様、菊池。 ネットワークのLoftイベントは今回が初となります。 当日の来場者数は40人超え、メーカー、デベロッパー、SD-WANをほとんど聞いたことないという方にもご参加頂き、SD-WANへの関心の高さを感じました。 以下セッションの概要です。   SD-WAN（再）入門［Slides］ ヴイエムウェア株式会社　鈴木 章様 SD-WANとは何か、なぜSD-WANが必要かについて解説していただきました。 現在、各企業でオンプレ環境からクラウド環境への移行や、SaaSサービスの利用が増えている中で、通常のネットワーク利用からより細かい利用方法を検討されているユーザが多くなってきています。そこで登場したのがSD-WANです。 旧来のWANの課題であったブランチ管理やアクセス管理、高額な専用線費用といった点を、SD-WANの集中管理、可視化、ローカルブレイクアウトといった機能で解決します。 クラウド移行によりネットワークにもアジリティが求められていること、SD-WANによる解決策について解説いただきました。   SD-WANユースケース［Slides］ シトリックス・システムズ・ジャパン株式会社　海野 俊様 VDIに強みを持つCitrix様より、働き方改革の視点からSD-WANのユースケースをお話しいただきました。 「先日の台風の時どのように働きましたか？」という海野様の問いかけに対し、会場の反応は、朝から出社：1割、午後から出社：4割、在宅勤務：半分といった様子でした。モバイルワークが可能な環境はインターネットが発達したおかげであり、SD-WANとクラウドにより事業継続性と働きやすさを実現できると言います。 SD-WANのローカルブレイクアウトによりストレスフリーでクラウドを利用できるようになったという某食品製造業のユースケース、ゼロタッチプロビジョニングにより2ヶ月で160拠点に展開したというフードサービス業のユースケースをご紹介いただきました。また近年ではEdgeをAWS上に配置しDRサイトとして使用する例もあるとのことです。EdgeはAWS Market placeで購入することができます。   SD-WANユースケース (2)［Slides］ ヴイエムウェア株式会社　鈴木 章様 VMware SD-WAN by Velocloudを利用しているユーザ事例についてご紹介いただきました。 Next-gen小売業のユースケースでは、顧客体験を変えるためお店の様々なものがインターネットに繋がる必要があり、WAN回線がボトルネックとなっていました。そこでSD-WANを導入し、マルチWANで4Gを活用するなどの取り組みをしているとのことです。またゼロタッチプロビジョニングにより店舗のITスタッフ不足を解消したと言います。 テレビショッピングのユースケースもご紹介いただきました。ネット配信用の動画アップロードにおいて抱えていた課題に対し、SD-WANの導入によりスループットを改善、専用線からインターネットにすることでコスト削減も実現しました。 VMware SD-WANでもDR用途でAWSを活用することが可能であり、詳しくはvFORUMでお話いただけるとのことです。   AWSとSD-WAN［Slides］ アマゾンウェブサービスジャパン株式会社　シニアソリューションアーキテクト ネットワークスペシャリスト　菊池 之裕 AWSJ菊池より、AWSとSD-WANとの親和性についてお話ししました。 いままでのSD-WANは拠点間接続の最適化を目指していましたが、これからのSD-WANはマルチクラウド接続やローカルブレイクアウトなど、使い方が変わってきています。 AWSとSD-WANの用途として、１．AWSをブランチの一部として使う、２．SD-WANコントローラをAWSに置き、グローバルインフラを活用してシングルポイントをなくす、といったケースがあります。 AWS上にEdgeを置くのが難しい場合、最近 IKEv2 に対応した AWS Site-to-Site VPN を活用いただけます。SD-WANの対向装置としてAWS VPNを選択するのも一つの手であるとご案内しました。   […]

この記事では、Amazon Athena を使用して Google Analytics データを分析するためのソリューションを紹介します。Google Analytics から Amazon S3 にヒットレベルのデータを移動し、結合と強化を実行し、Amazon Athena と Amazon QuickSight を使用してデータを視覚化することで構築されたリファレンスアーキテクチャが含まれています。Upsolver は、顧客が迅速にデータレイクの自動化やオーケストレーションを開始できるようにします。 Google Analytics は、ウェブプロパティとアプリケーションのパフォーマンスを理解したい組織に人気のあるソリューションです。Google Analytics のデータは、ユーザーが洞察をすばやく抽出できるように収集および集約されます。  これは、単純な分析に最適です。ただし、Google Analytics データを他のデータセットで充実させて、カスタマージャーニーの包括的なビューを作成する必要がある場合はそれほど理想的ではありません。 AWS で Google Analytics データを分析する理由 Google Analytics は、事実上の標準のウェブ分析ツールになっています。少ないデータ量では無料で使用可能であり、追跡、分析、レポートを提供します。  技術に詳しくないユーザーでも、以下のような質問に答えることでウェブサイトのパフォーマンスを理解できます。ユーザーはどこから来たのですか? どのページが、コンバージョン率が最も高いですか? ユーザーはどこで操作負担を経験し、ショッピングカートを放棄しますか? これらの質問は Google Analytics の UI 内で回答されますが、以下のようないくつかの制限があります。 データサンプリング: Google Analytics 標準版は、500,000セッションを超える期間でアドホッククエリを実行すると、サンプルデータを表示します。大規模なウェブサイトであれば、毎週または毎日、この数を簡単に超えることがあります。これにより、各クエリはデータの異なるサンプルによってフィードされる可能性があるため、さまざまなレポート間で信頼性の問題が発生する可能性があります。 既存の AWS スタックとの統合の難しさ: 多くのお客様は、AWS でデータおよび分析プラットフォームを構築しているか、構築中です。お客様は、Google Analytics データで AWS の分析や機械学習の機能を使用して、新しい革新的なユースケースを実現したいと考えています。 […]

  今週 2019年10月1日 から開始している「AWS Innovate」をお楽しみ頂いていますでしょうか？ AWS Innovate はグローバルでも人気のある「クラウド活用のための無償オンラインカンファレンス」です．今回は 2019年10月1日 から 2019年11月5日 までの「計36日間」毎日開催をしており，ライブ配信も含めると「計60個のセッション」を視聴可能です． 本記事では，AWS テクニカルトレーナーである吉田慶章が，私自身の観点から，AWS Innovate「Week.1（2019年10月1日より公開）」で視聴可能なセッションの中から見どころを紹介したいと思います．参加申込みは簡単です！以下の申込みサイトにアクセスをしましょう．いつ申し込むの？今でしょ！ AWS Innovate サイト AWS Innovate 申込みサイト（無料）   セッションカテゴリ 今回の AWS Innovate では「計19種類」のセッションカテゴリをご用意しています．皆さんの「学びたいことは何か？」というモチベーションに合ったセッションから優先的に視聴して頂くのが良いでしょう． 2019年10月1日より公開 業種別 AWS 事例 AWSome Day AWS 認定 – 試験対策「ソリューションアーキテクト – アソシエイト」 AWS 認定 – 試験対策「ソリューションアーキテクト – プロフェッショナル」 AWS イントロダクション 2019年10月8日より公開（ライブ配信と Q&A） データベース移行 ネットワーク 分析 ストレージ 働き方改革 セキュリティ […]

先日 (2019/9/24) 開催しました AWS Black Belt Online Seminar「AI Service」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190924 AWS Black Belt Online Seminar AWS AI Service AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Forecast で使用される祝日情報は日本の祝日を全て網羅していますか？ A. 全ての祝日への対応は保証しておりません。Amazon Forecastでは祝日の判定に Jollyday を利用しています。 Q. AWS Textractの利用構成例において「Textract　⇒　Lambda」という流れになっていましたが、TextractからLambdaを呼び出すことができるのでしょうか？ A. ご紹介した構成例は、スペースの都合上、一部のサービスとの連携を省略しています。詳細は、各サービスのドキュメントを御覧ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 【AWS Innovate Online Conference】 AWS Innovate は、AWS クラウドを活用してビジネス革新を目指しているすべての IT リーダー及び IT プロフェッショナルを対象とした、最新のクラウド情報をお届けするためのオンラインカンファレンスです。この期間で、AWS初心者の方はAWSを始めるための準備を、AWS既存ユーザーの方は情報のアップデートにお役立ていただければと思います。 […]

最後のブログ記事で、AWS Transfer for SFTP (AWS SFTP) の ID プロバイダーとして AWS Secrets Manager を簡単にセットアップし、パスワード認証を有効にする方法を示しました。この記事では、論理ディレクトリと呼ばれる新機能を使用して、ユーザーに仮想ネームスペースの設定情報を渡すために、その ID プロバイダーのセットアップを活用する方法を説明します。 バケットの可視性 現在のセットアップを見てみましょう。ユーザーが AWS SFTP エンドポイントにログインすると、HomeDirectory にドロップされます。たとえば、ユーザー「Jess」の場合、これは/mybucket/home/jess になるでしょう。 ただし、SFTP クライアントコマンドを使用すると、Jess は Amazon S3 階層内の現在のパスを確認し、cd.. を使用してそのフォルダ構造をナビゲートできます。 ユーザーの Jess がスコープダウンして /mybucket/home/${transfer:UserName} にのみアクセスする場合でも、一部のクライアントはユーザーがフォルダを/mybucket/home へトラバースすることを許可しています。ログアウトして再度ログインするだけで、HomeDirectory に戻ります。 例: これを防ぐための新しい方法を見てみましょう。 論理ディレクトリ 論理ディレクトリを使用すると、ユーザーがナビゲートできる仮想ディレクトリ構造を構築できます。エンドユーザーに優れたエクスペリエンスを提供する一方で、エンドユーザーに S3 バケットの絶対パス (バケット名を含む) を公開しないという柔軟性が得られます。 これが適用されるシナリオがいくつかあります。ユーザーのルートディレクトリを Amazon S3 バケット階層内の目的の場所にリセットすることもできます。これは「chroot」操作として知られています。このモードでは、ユーザーが cd.. をどれだけ難しくしようとしても、ルートディレクトリは設定したときのままになります。 2 番目のシナリオでは、バケットとプレフィックスにまたがる独自のディレクトリ構造を作成できます。これは、バケットプレフィックスを使用して複製できない特定のディレクトリ構造を想定しているワークフローがある場合、または S3 内の複数の不連続な場所にリンクする場合に役立ちます。これは、ディレクトリパスがファイルシステムの別の場所を参照する Linux […]

AWS は、開発者がクラウドでアプリケーションを構築できるように幅広いサービスを提供しています。同時に、Windows デスクトップアプリケーションもこうしたサービスを利用できます。本日、Amazon Polly for Windows をリリースいたします。これは、SAPI 準拠の Windows アプリケーションで Amazon Polly の音声を利用できるようにするオープンソースエンジンです。 SAPI とは? SAPI (Speech Application Programming Interface) は、デスクトップアプリケーションが音声合成を実装できるようにする Microsoft Windows API です。アプリケーションが SAPI をサポートしていれば、インストールされている SAPI 音声のいずれかにアクセスして音声を生成することができます。 すぐに使用できる Microsoft Windows には、サポートされている任意の音声アプリケーションで使用できる 1 つの SAPI 男性および女性音声が用意されています。Amazon Polly for Windows を使用すると、使用した分に料金を支払うだけで、25 種類を超える言語で 50 種類を超える追加の音声をインストールすることができます。  詳細については、Amazon Polly のドキュメントを参照し、テキスト読み上げ音声の完全なリストを確認してください。 AWS アカウントの作成 AWS アカウントをまだお持ちでない場合は、こちらからサインアップできます。これにより、無料利用枠で 12 か月間利用できます。最初の 12 か月間、最初の […]

Amazon Transcribe は、開発者が音声文字変換機能をアプリケーションに追加することを容易にする自動音声認識サービス (ASR) です。2018 年 11 月、HTTP/2 を介したストリーミングトランスクリプションを Amazon Transcribe に追加しました。これにより、ライブオーディオストリームをサービスに渡し、その代わりにリアルタイムで文字起こしテキストを受け取ることができるようになりました。最近、WebSocket プロトコルを介したリアルタイムの文字起こしのサポートを開始しました。WebSocket をサポートすることで、特にブラウザーやモバイルベースのアプリケーションを構築したい人にとって、Amazon Transcribe を介した音声文字変換のストリーミングをより幅広いユーザーベースに提供しやすくなります。 このブログ記事では、HTTP/2 で実行されるストリーミング文字起こしサービスは知っていることを前提として、WebSocket を介したリアルタイムサービスの使用方法を示すことに焦点を当てています。ただし、HTTP/2 の使用に関するリファレンスについては、以前のブログ記事と技術ドキュメントをご覧ください。 WebSocket とは? WebSocket は、TCP 上に構築された全二重通信プロトコルです。このプロトコルは、2011 年に RFC 6455 として IETF によって標準化されました。WebSocket は、サーバーとクライアントの両方が同じ接続を介して同時にデータを送信できる長期間有効な接続に適しています。クロスドメインの使用にも実用的です。ご覧ください！ HTTP を使用する場合のように、クロスオリジンリソース共有 (CORS) を心配する必要はありません。 WebSocket で Amazon Transcribe ストリーミングを使用する Amazon Transcribe の StartStreamTranscriptionWebSocket API を使用するには、まず IAM ユーザーに Amazon Transcribe Streaming WebSocket の使用を許可する必要があります。AWS マネジメントコンソールにアクセスし、Identity […]