Amazon Web Services ブログ

 この記事では、中心的な AWS Lake Formation アカウントが、複数のアカウントにあるデータのアクセスや管理を行う方法を解説していきます。このウォークスルーでは、異なるアカウントにあるデータを使い、マスターとなる Lake Formation アカウントにある一元管理されたカタログを示します。 記事の中では、別のアカウントにあるカタログの読み出し、書き込み、更新、およびデータへのアクセスを行う許可を、Lake Formation サービスから付与する方法を説明します。 また、2 つのデータセットを使って、世界中から集めたニュース (gdelt) と、Amazon の製品が受けたレビューの数 (amazonreviews) との間に 相関性 が存在するかを判断していきます。 前提条件 今回の例では、それぞれ S3 バケットとアカウント番号がある、3 つのアカウントを使用する必要があります。 環境の設定 3 つのアカウントは次なようなものです。 Account Products (AP) – これは、Amazon の製品が受けたレビューを保存するためのアカウントです。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Account External (AE) – このアカウントは、100 を超える言語による放送、印刷物、ウェブニュースを世界中から集めモニタリングします。これは、毎日毎秒のように国際社会を動かし続けている、人々、場所、組織、数、テーマ、情報ソース、感情、引用、画像、出来事などを抽出します。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Main Account (MA) – メインとなるアカウントです。他の 2 つのアカウントからのデータを集約します。今回は、このアカウントに Lake Formation を定義します。このアカウントには、製品データと国際ニュース用のアカウントへのアクセス権限があります。 次の図は、全体的なアーキテクチャを示しています。 […]

 re:Invent 2019 まで残り 40 日を切り、興奮が高まるなか、皆様にお会いできることを楽しみにしています。 人工知能と機械学習へのジャーニーを続ける中で、今年は 200 を超える分科会、詳細なチョークトーク、Amazon SageMaker、AWS DeepRacer、ならびに TensorFlow、PyTorch などの深層学習フレームワークをテーマとするワークショップでの実践演習を含めて豊富な技術コンテンツを提供いたします 。Vanguard、BBC、Autodesk、British Airways、Fannie Mae、Thermo Fisher、Intuit など、多数のお客様の声を聞くことができます。また、今年も機械学習サミットを開催します。研究者や起業家から、現時点で最新のブレークスルーと将来の可能性について聞くことができます。 計画を開始するために、re:Invent 2019 セッションカタログから AI および ML セッションのハイライトをいくつかご紹介します。座席の予約も始まっているので、お気に入りのセッションの席を事前に確保してください。 はじめに AI や ML を初めて使用する場合は、こうした概念を学んで始めるためのセッションがいくつかあります。これらのセッションでは、Amazon SageMaker の概要とデモ、多くのアプリケーション向けのさまざまな AI サービス、人気がある AWS DeepLens や AWS DeepRacer など、楽しみながら学習するのに役立つ基本を取り上げます。 リーダーシップセッション: 機械学習 (セッション AIM218-L) 機械学習の黄金時代に乗り出すと、制約や妨げがなくなり、価値はさまざまな業界に広がります。このリーダーシップセッションでは、誰もが機械学習を利用できる道を模索しながら、AWS の最新の機械学習製品について学びます。当社の機械学習サービスの幅と深さについて説明します。この過程で AWS と提携しているお客様の声をお聞きください。 Amazon SageMaker の詳しい説明: A modular solution for […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 コーディングのエディタ/IDEは人それぞれ好みがありますが、最近はVisual Studio Codeを利用している方が増えた気がしています。そのVisual Studio Code上でAWSの開発効率を上げることができるプラグインが用意されている事をご存知でしょうか？Python, Node.js, .NET coreでのAWS開発に対応していて、導入も簡単です。詳しくはこちら(AWS Toolkit for Visual Studio Code)をご覧ください。また、こちらには.NET core+AWSでの利用ガイドもあります。 それでは、先週の主なアップデートについて振り返っていきましょう。

本番環境に対応したアーキテクチャに移行する際、お客様のアプリケーションチームはサンドボックス環境で AWS のサービスを試して、AWS の進化していくイノベーションに対応することができます。アプリケーションチームは、さまざまな AWS のサービスとリソースにタイムリーにアクセスする必要があります。つまり、最低限の権限を与えられることを保証するメカニズムを必要とします。通常、アプリケーションチームは、定期的に Amazon Elastic Block Store のスナップショットバックアップを行う AWS Lambda 関数や、セキュリティチームが管理する一元化された情報セキュリティアカウントにイベントを送信する Amazon CloudWatch Events ルールなどの管理リソースにアクセスできません。 このブログ投稿では、さまざまなサンドボックス、開発、テスト環境で作業しているアプリケーションチームが AWS Identity and Access Management (IAM) ポリシーを作成および検証するため、一元化かつ自動化したワークフローを作成する方法をご紹介します。セキュリティ開発者は、セキュリティチームの特定の要件に従ってこのワークフローをカスタマイズできます。セキュリティ開発者は、アカウントの種類または所有チームに基づいたアクセス許可セットを制限するロジックも作成できます。AWS CodePipeline を使用して、さまざまな段階や複数の AWS アカウントにわたるワークフローを作成および管理します。これについては、次のセクションで詳しく説明します。 ソリューションの概要 次のシナリオから始めましょう。Alice は AWS サンドボックスアカウントの管理者です。これは、組織のデータサイエンティストが Amazon Athena や Amazon EMR などの AWS の分析サービスを試す際に使用します。データサイエンティストは、機密情報が取り出された後、実際のデータセットの一部に対して分析ジョブのサンプルを実行することで、これらのサービスが本番ユースケースに適合しているかを評価します。データセットは既存の Amazon Simple Storage Service (Amazon S3) バケットに保存されます。Alice は新しいプロジェクトごとに、プロジェクトチームに要求された Amazon S3 バケットにアクセスして、分析クラスターを作成できるようにする新しい IAM […]

AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、大規模に分割可能なデータセットに対して、Apache Sparkアプリケーションを水平にスケールアウトできるようにすることです。2つ目は新しいAWS Glueのワーカータイプを使用して、メモリインテンシブ(メモリを大量に消費する)なApache Sparkアプリケーションを垂直にスケールアップするということです。また、Amazon Kinesis Data Firehoseを使ったストリーミングアプリケーションから一般的に取り込まれる多数の小さなファイルに対して、Apache SparkアプリケーションをスケールさせるAWS Glueの使い方についても説明します。最後に、AWS GlueジョブがAmazon S3上に存在する大量のデータセットのパーティション構造を利用して、Apache Sparkアプリケーションの実行時間を短縮する方法についても説明します。

Amplify Console を使うと、開発者は継続的なデプロイを行う Git ベースのワークフローの定義やフルスタックのサーバーレスウェブアプリケーションのホスティングが容易に行えるようになりますフルスタックのサーバーレスアプリの構造では、GraphQL API やデータおよびファイルストレージ、また認証もしくは分析のためのバックエンドのリソースが、React、Gatsby あるいは Angular といったフロントエンドフレームワークと統合されています。Amplify Console に関する詳細については、以前のブログ記事をご参照ください。 今回は、コードを実稼働状態にリリースする前の段階において、プレビュー URL を作成しプルリクエストについてエンドツーエンドのテストが行える機能を発表させていただきます。 プルリクエストプレビュー Amplify Console の設定で、開発者が Git レポジトリにプルリクエストを送信するたびにアプリケーションを一意の URL にデプロイできるようになりました。このプレビュー URL は、実稼働のサイトが使用するものとは完全に異なるものです。プルリクエストをご自身のコードレポジトリのメインブランチにマージする前に、Amplify Console の新機能で変更点を確認できます。Amplify CLI を介してプロビジョニングされたバックエンド環境も含むフルスタックのアプリでは、すべてのプルリクエストがプルリクエストが閉じられると削除される一時的なバックエンドをスピンアップします。これにより、実稼働環境から完全に分離された状態で変更点の確認が可能になります。Amplify Console では、プライベートの Git レポジトリに限り、プルリクエストのためのバックエンドインフラストラクチャを作成します。これにより、不要なプルリクエストによる余計なコスト発生を防ぎます。 この仕組みを理解するために、クラウドベース認証のバックエンドがあるウェブアプリケーションを作成し、Amplify Console でデプロイしてみることにします。最初に React アプリケーションを作成します (React のインストールについてはこちらをご参照ください) 。 npx create-react-app amplify-console-demo cd amplify-console-demo Amplify の環境を初期化します (先に、Amplify CLI のインストール方法をご確認ください) 。Amazon Cognito で提供されている、クラウドベース認証のバックエンドを追加します。Amplify CLI […]

Amazon Elastic File System (Amazon EFS) は、あらゆる分野、あらゆるバーチカルで、世界中の数千社サービスを提供しています。多くのカスタマーには、コンプライアンスまたは規制要件に基づいて、非常に具体的なネットワークとネットワーク管理ポリシーがあります。今日は AWS PrivateLink を使用して Amazon EFS に対して Amazon VPC エンドポイントを作成することにより、コンプライアンスを満たすか、向上させる方法を示します。 Amazon EFS は AWS クラウドサービスとオンプレミスリソースで使用するために Linux ベースのワークロードに対して、単純でスケール自在、伸縮自在な NFS ファイルサービスを提供します。AWS PrivateLink はトラフィックがパブリックインターネットを通過しないようにすることにより、クラウドベースのアプリケーションと共有されるデータのセキュリティを簡素化し、VPC、AWS のサービス、オンプレミスアプリケーション間のプライベート接続を Amazon ネットワークで安全に提供します。 Amazon EFS は AWS PrivateLink を使用するかどうかにかかわらず、すでに業界標準の TLS をサポートして、通過するデータの暗号化 を保護しています。多くのお客様もまた、Amazon EFS API を使用して、EFS ファイルシステムの作成と管理を自動化します。Amazon VPC エンドポイントを使用して、VPC からパブリックインターネットに接続されていない Amazon EFS API を、パブリック IP アドレスを使わずに、また Amazon ネットワークを離れることなく、呼び出すことができます。これにより、適用可能なセキュリティとコンプライアンスの要件を満たし、AWS ネットワーク内にネットワークトラフィックを維持することで、AWS […]

Amazon Polly は、テキストをリアルな音声に変換します。2019 年 7 月、AWS は、 Neural Text-to-Speech (NTTS) テクノロジーで 8 つのアメリカ英語と 3 つのイギリス英語の音声を開始しました。これは、新しい機械学習アプローチにより、音声品質の画期的な改善を実現します。Polly は、現在、アメリカ系スペイン語とブラジル系ポルトガル語で、英語以外で最初の NTTS 音声を追加しています。Lupe と Camila の紹介 アメリカ系スペイン語を選ぶ理由 米国には、推定 5,980 万人のヒスパニック系の人がいます。(この数字は、2018 年 7 月 1 日時点の米国国勢調査の年間推定値に基づいています。) ヒスパニックの視聴者に魅力的なオンラインコンテンツを提供できる企業は、成功の可能性が高まっています。新しいアメリカ系スペイン語の声である Lupe は、こうした傾向を受けて登場しました。Miguel と Penelopeに続き、Amazon Polly ポートフォリオで 3 番目のアメリカ系スペイン語の TTS 音声です。Lupe は、特にニューラルバージョンの音声を聞くと、イントネーションが強化された人間の声のような品質です。Lupe はスペイン語を話すだけでなく、英語にも非常にうまく対処します。完全にバイリンガルのスペイン語と英語の体験を提供します。これはすべて、英語とスペイン語の 72 種類の音素のバリエーションで構成された広範な音素カバレッジのおかげです。対照的に、Penélope と Miguel の電話セットには、スペイン語の音素が 29 しか含まれていません。 新しいブラジル系ポルトガル語 TTS 音声である Camila は、ブラジル系ポルトガル語を話す視聴者にクラス最高の […]

みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング シニアエバンジェリストの亀田です。 2019年9月24日から、Amazon EC2 で vCPU ベースのオンデマンドインスタンス制限が利用可能になりました。 この点に関してサポートに多くのお問い合わせをいただいておりますので、ブログにてその機能やメリットなどをご紹介いたします。 【機能の概要】 Amazon EC2 のオンデマンドインスタンス制限が、現在のインスタンスタイプごとの数量ベースの制限から、新たに vCPU ベースの制限に移行されます。これにより、よりシンプルにAmazon EC2 のオンデマンドインスタンス制限を管理できるようになりました。 現在従来のインスタンスタイプごとの制限に比べて、vCPUの制限範囲において、自由なインスタンスタイプを選ぶことができるようになります。現在オプトイン（管理者による申し込み）で新しい制限タイプへの移行が可能ですが2019年11月8日にはすべてのAWSアカウントが移行されます。 EC2の以下の画面からオプトイン処理が可能です。 すでに上限緩和などで申請済みの制限は再申請の必要はありません。 プラン変更のドキュメントは以下になります。 https://aws.amazon.com/jp/ec2/faqs/#EC2_On-Demand_Instance_limits 上限緩和申請の出し方はこちらのBlogを参考にしてください。 https://aws.amazon.com/jp/blogs/news/aws-service-quotas/ サポートケースでの申請方法については、本ブログの【計算例】を参考にしてください 【変更点】 従来は、インスタンスタイプ毎に制限が設けられており、上限緩和依頼は個別に行なう必要がありました。 vCPU ベースの制限では、インスタンスファミリー毎に上限が設けられます。A, C, D, H, I, M, R, T, Z インスタンスはスタンダードとしてまとまります インスタンスファミリー毎に設けられる vCPU の数と、各インスタンスタイプ毎に設けられる vCPU の数によって、柔軟な組み合わせを単一の上限緩和申請で設定できるようになります。 例：All Standard(A, C, D, H, I, M, R, T, Z)インスタンスにおける vCPU […]

皆さん、こんにちは！ モダンアプリケーション開発スペシャリスト ソリューションアーキテクトの福井です。 本日(10/24）、私が執筆したモダンアプリケーション開発のホワイトペーパーの英語版がAWSのWhitepapers & Guidesの英語サイト（言語でEnglishを選択してください）で公開されましたので、その内容を紹介させて頂きます。   ホワイトペーパーの内容 公開されたホワイトペーパードキュメントは、 「Modern Application Development on AWS – Cloud-Native Modern Application Development and Design Patterns on AWS –」（英語版） というタイトルの42ページのドキュメントで、Introduction、Modern Application Development、Modern Application Design Patterns、Continuous Integration and Continuous Delivery on AWS 、Conclusionの章から構成されています。   Introduction Introductionの章では、なぜモダンアプリケーションが重要なのかを説明しています。この章ではモダンアプリケーションによって我々がInnovation Flywheelと呼んでいる実験、フィードバック、新たなアイデアの創出というイノベーションのループを回すことが重要であることを説明しています。   Modern Application Development Modern Application Developmentの章では、モダンアプリケーションの特徴とモダンアプリケーション開発における6つのベストプラクティスを紹介しています。またベストプラクティスを実践する際に関連するAWSの各サービスについても触れているのでそちらも参考にして頂けます。これらのベストプラクティスは同時にモダンアプリケーション開発のチェックリストとして使えるようにもなっています。   Modern Application Design Patterns Modern Application […]