Amazon Web Services ブログ

 データのソースが増えると、新しく接続されたデータを保存する必要性が高まります。企業のお客様は、オンプレミス Hadoop アプリケーションのデータレイクストレージリポジトリとして Hadoop 分散ファイルシステム (HDFS) を使用しています。お客様は、より安全で、スケーラブルで、アジャイルで、費用対効果の高いソリューションを求めて、データレイクを AWS に移行しています。 AWS への高速転送速度が妥当ではない HDFS 移行には、AWS は AWS Snowball Edge サービスを提供しています。AWS Snowball Edge を使用した HDFS 移行のベストプラクティスは、ファイル転送に中間ステージングマシンを使用することです。このブログ記事では、移行中に中間ステージングマシンを使用する方法を詳しく説明します。 AWS Snowball Edge がお客様に出荷するのは、物理的なデータ移行およびエッジコンピューティングデバイスです (図 1)。デバイスは大量のデータを Amazon Simple Storage Service (Amazon S3) に転送するために使用します。 Amazon S3 は、業界をリードするスケーラビリティ、データの可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。バルク取り込みの場合、データレイクのエントリポイントが Amazon S3 です。99.999999999％ (9 が 11 個) の耐久性を持つオブジェクトストアである Amazon S3 は、10,000 データレイク以上をホストします。 AWS のデータレイクストレージの基盤として、Amazon S3 […]

みなさんこんにちは。ソリューションアーキテクトの岡本です。10/25 に AWS が主催する自動車業界向けイベント「AWS Autotech Forum 2019」が開催されました。「AWS と自動車業界」という組み合わせを意外に感じる方も多いのではないでしょうか？実は自動車業界の様々なワークロードや取り組みの中で AWS が活用されております。本イベントでは Mobility as a Service(MaaS) 、自動運転開発、コネクテッドカー、エッジコンピューティング等の分野に携わるビジネスリーダー及びエンジニアの方々をお招きし、この領域で AWS を活用頂いているお客様から最新の取り組みをご紹介いただきました。本ブログでは各セッションやデモブースの内容を紹介したいと思います。 オープニングセッション 「拡がるモビリティーサービスの実現に向けて」と題し、AWS ソリューションアーキテクト岡本から今年のイベントテーマである MaaS を巡る市場動向を紹介しました。技術トレンドとしての CASE(Connected/Autonomous/Shared/Electric) がそれぞれ深化する中でビジネストレンド MaaS の注目度が高まっており、今後大きな市場の出現が期待されています。MaaS にはエマージングビジネスの側面と企業間アライアンスによる新プラットフォームビジネスの側面があり、それぞれ技術基盤に求められる要件が異なりますが、AWS を活用頂くことでこれらの要件を満たし、ビジネスに集中して頂くことができます。 エマージングビジネスに必要な基盤の要件 コア領域に集中 アイデアをすぐ形に スケーラビリティ 企業間連携及び新プラットフォームに必要な基盤の要件 セキュアなデータ連携 グローバルフットプリント 学習コストの最小化（技術者の”共通言語”化） またゲストスピーカーとしてイスラエル発のスタートアップである Otonomo 様の平戸様と、日本の多くの自動車会社と連携し社会インフラとしての MaaS プラットフォームを推進されている MONET Technologies 株式会社様の 湧川様にご登壇頂き、最新の取り組みをご紹介頂きました。 ブレイクアウトセッション デンソーの MaaS 開発 ～アジャイル開発で顧客との協調・チームビルディング・実装概要～　株式会社デンソー このセッションでは、Small Start でソフトウェアファーストな開発を行う手法として、デンソー デジタルイノベーション室で採用されているアジャイル開発の手法について講演いただきました。試作から本番までの開発プロセスを 4 […]

AWS上で広がり続けるビジネスの運用は、かつてないほど効率的に行えるようになっています。AWS マネジメントツール を使用すると、イノベーションの速度とガバナンスコントロールのどちらかをあきらめる必要は無く、両立させることができるのです。皆さんの環境を効率的に運用管理するために、ビジネスのアジリティ、コンプライアンス、ガバナンスに関するAWSサービスについて興味を持って学んでください！

WinTicket は、インターネットテレビ局 AbemaTV の番組「競輪チャンネル」と連動し、24時間どこでも投票チケットを購入できるほか、レース情報・オッズ・ AI 予想機能、そして開催中の熱戦レースのライブ映像を提供しています。 時速 60km ～ 70km で 9 名の選手がレースする中、 WinTicket のユーザーが視聴環境を問わず、レースの状況を高画質・低遅延で視聴できるようにすることは重要です。そのため、 WinTicket は動画配信ワークフローをクラウドに移行し、AWSメディアサービスを活用することで高画質・低遅延のライブ配信を確立させました。 WinTicket のライブ配信は、全国40以上の競輪場から集約した映像で構成されています。 AbemaTV の番組スタジオで映像を集めてクラウドへ伝送し、 AWS Elemental MediaLive で ABR エンコード、 AWS Elemental MediaPackage で HLS にパッケージ化し、 Amazon CloudFront 経由で視聴者へ低遅延なライブ配信しています。 「 WinTicket はサービスの特性上、レース状況や結果がすぐにわかるようにしなければ、ユーザー体験に影響を及ぼしてしまいます。 AWS Media Services は、他のサービスよりも 1.5 倍ほど低いレイテンシでコンテンツを配信できるため、戦略的な強みが得られました。」と、株式会社サイバーエージェントの CATS ソフトウェア エンジニア 江頭 宏亮 氏は語っています。「今回、 AWS Media Services を採用したことで、配信ワークフローの開発工程数を抑えた、冗長性のある可用性の高いライブ配信システムの構築ができました。配信管理ツールとして採用したサーバレスアーキテクチャを含め、利用している時間帯だけ課金されるため、運用コストを抑えられます。また、スケジュール管理上で蓋絵 […]

AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが、幾千もの同時 ETL ワークフローへのサービスを提供するビッグデータプラットフォームを維持するのを助け、そのことを達成するために必要な運用タスクを簡素化するアーキテクチャについて紹介します。 アーキテクチャコンポーネント 高いレベルにおいては、このアーキテクチャは、ビッグデータプラットフォームに ETL ワークフローのオーサリング、オーケストレーション、そして実行能力を提供するため、Amazon EMR と関連した 2 つのオープンソーステクノロジーを利用しています。Genie は、同時ビッグデータジョブの送信、動的なジョブのルーティング、中央設定管理、そして Amazon EMR クラスタの抽象化のための集中管理型 REST API を提供します。Apache Airflow は、複雑なデータパイプラインのオーサリング、スケジュールおよびモニタをプログラム的に行うことを可能にする、ジョブオーケストレーションのためのプラットフォームを提供します。Amazon EMR は、Apache Hadoop、Apache Spark、および他のビッグデータフレームワークの実行とスケーリングを可能にする、マネージドクラスタプラットフォームを提供します。 次の図は、アーキテクチャを示しています。 Apache Airflow Apache Airflow は、ビッグデータワークフローのオーサリングとオーケストレーションのためのオープンソースツールです。 Apache Airflow を使えば、データエンジニアは有向非巡回グラフ (DAG) を定義できます。DAG はワークフローを実行する方法を記述するもので、Python で書かれています。ワーフローは、独立して実行されるタスクをグループ化する DAG としてデザインされます。DAG はタスク間の関連性と依存関係を追跡します。 演算子は、ワークフロー内の単一タスクを定義するテンプレートを定義します。Airflow は一般的なタスクのための演算子を提供します。また、ユーザーはカスタムの演算子を定義することもできます。この投稿では、タスクを Genie に送信するためのカスタム演算子 (GenieOperator) について説明します。 タスクは、演算子のパラメータ化されたインスタンスです。演算子はインスタンス化されるとタスクと呼ばれます。タスクインスタンスは、タスクの特定の実行を表します。タスクには、関連付けられている DAG、タスク、および特定の時点があります。 DAG とタスクは、オンデマンドで実行することも、DAG の […]

2 年足らず前に、Amazon CloudFront の 100 番目の POP (Points of Presence) を発表しました。 POP (Points of Presence) の フットプリント全体は、1 年あたり 50% 増えています。2017 年に 100 番目の POP (Points of Presence) を開始して以来、中国、イスラエル、デンマーク、ノルウェー、南アフリカ、UAE、バーレーン、ポルトガル、ベルギーを含む 34 か国の 77 の都市に拡大しました。 CloudFrontは、 Superbowl LIII、木曜夜のフットボール (Prime Video 経由)、 ロイヤルウェディング、 冬季オリンピック、コモンウェルスゲーム、多くのサッカー試合 (2019 FIFA ワールドカップを含む)などを含む注目度の高いライブストリーミングイベントを多く配信するために使用されます。 CloudFront は単独で使用する場合でも、またほかの AWS のサービスと共に使用される場合でも、コンテンツを保護し、基礎のソースを守るために役立つ多くのオプションと共に、コンテンツを配信するための素晴らしい方法です。例: DDoS 保護 – Amazon CloudFront の顧客は、2018 年には 84,289 […]

 この記事では、中心的な AWS Lake Formation アカウントが、複数のアカウントにあるデータのアクセスや管理を行う方法を解説していきます。このウォークスルーでは、異なるアカウントにあるデータを使い、マスターとなる Lake Formation アカウントにある一元管理されたカタログを示します。 記事の中では、別のアカウントにあるカタログの読み出し、書き込み、更新、およびデータへのアクセスを行う許可を、Lake Formation サービスから付与する方法を説明します。 また、2 つのデータセットを使って、世界中から集めたニュース (gdelt) と、Amazon の製品が受けたレビューの数 (amazonreviews) との間に 相関性 が存在するかを判断していきます。 前提条件 今回の例では、それぞれ S3 バケットとアカウント番号がある、3 つのアカウントを使用する必要があります。 環境の設定 3 つのアカウントは次なようなものです。 Account Products (AP) – これは、Amazon の製品が受けたレビューを保存するためのアカウントです。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Account External (AE) – このアカウントは、100 を超える言語による放送、印刷物、ウェブニュースを世界中から集めモニタリングします。これは、毎日毎秒のように国際社会を動かし続けている、人々、場所、組織、数、テーマ、情報ソース、感情、引用、画像、出来事などを抽出します。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Main Account (MA) – メインとなるアカウントです。他の 2 つのアカウントからのデータを集約します。今回は、このアカウントに Lake Formation を定義します。このアカウントには、製品データと国際ニュース用のアカウントへのアクセス権限があります。 次の図は、全体的なアーキテクチャを示しています。 […]

 re:Invent 2019 まで残り 40 日を切り、興奮が高まるなか、皆様にお会いできることを楽しみにしています。 人工知能と機械学習へのジャーニーを続ける中で、今年は 200 を超える分科会、詳細なチョークトーク、Amazon SageMaker、AWS DeepRacer、ならびに TensorFlow、PyTorch などの深層学習フレームワークをテーマとするワークショップでの実践演習を含めて豊富な技術コンテンツを提供いたします 。Vanguard、BBC、Autodesk、British Airways、Fannie Mae、Thermo Fisher、Intuit など、多数のお客様の声を聞くことができます。また、今年も機械学習サミットを開催します。研究者や起業家から、現時点で最新のブレークスルーと将来の可能性について聞くことができます。 計画を開始するために、re:Invent 2019 セッションカタログから AI および ML セッションのハイライトをいくつかご紹介します。座席の予約も始まっているので、お気に入りのセッションの席を事前に確保してください。 はじめに AI や ML を初めて使用する場合は、こうした概念を学んで始めるためのセッションがいくつかあります。これらのセッションでは、Amazon SageMaker の概要とデモ、多くのアプリケーション向けのさまざまな AI サービス、人気がある AWS DeepLens や AWS DeepRacer など、楽しみながら学習するのに役立つ基本を取り上げます。 リーダーシップセッション: 機械学習 (セッション AIM218-L) 機械学習の黄金時代に乗り出すと、制約や妨げがなくなり、価値はさまざまな業界に広がります。このリーダーシップセッションでは、誰もが機械学習を利用できる道を模索しながら、AWS の最新の機械学習製品について学びます。当社の機械学習サービスの幅と深さについて説明します。この過程で AWS と提携しているお客様の声をお聞きください。 Amazon SageMaker の詳しい説明: A modular solution for […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 コーディングのエディタ/IDEは人それぞれ好みがありますが、最近はVisual Studio Codeを利用している方が増えた気がしています。そのVisual Studio Code上でAWSの開発効率を上げることができるプラグインが用意されている事をご存知でしょうか？Python, Node.js, .NET coreでのAWS開発に対応していて、導入も簡単です。詳しくはこちら(AWS Toolkit for Visual Studio Code)をご覧ください。また、こちらには.NET core+AWSでの利用ガイドもあります。 それでは、先週の主なアップデートについて振り返っていきましょう。

本番環境に対応したアーキテクチャに移行する際、お客様のアプリケーションチームはサンドボックス環境で AWS のサービスを試して、AWS の進化していくイノベーションに対応することができます。アプリケーションチームは、さまざまな AWS のサービスとリソースにタイムリーにアクセスする必要があります。つまり、最低限の権限を与えられることを保証するメカニズムを必要とします。通常、アプリケーションチームは、定期的に Amazon Elastic Block Store のスナップショットバックアップを行う AWS Lambda 関数や、セキュリティチームが管理する一元化された情報セキュリティアカウントにイベントを送信する Amazon CloudWatch Events ルールなどの管理リソースにアクセスできません。 このブログ投稿では、さまざまなサンドボックス、開発、テスト環境で作業しているアプリケーションチームが AWS Identity and Access Management (IAM) ポリシーを作成および検証するため、一元化かつ自動化したワークフローを作成する方法をご紹介します。セキュリティ開発者は、セキュリティチームの特定の要件に従ってこのワークフローをカスタマイズできます。セキュリティ開発者は、アカウントの種類または所有チームに基づいたアクセス許可セットを制限するロジックも作成できます。AWS CodePipeline を使用して、さまざまな段階や複数の AWS アカウントにわたるワークフローを作成および管理します。これについては、次のセクションで詳しく説明します。 ソリューションの概要 次のシナリオから始めましょう。Alice は AWS サンドボックスアカウントの管理者です。これは、組織のデータサイエンティストが Amazon Athena や Amazon EMR などの AWS の分析サービスを試す際に使用します。データサイエンティストは、機密情報が取り出された後、実際のデータセットの一部に対して分析ジョブのサンプルを実行することで、これらのサービスが本番ユースケースに適合しているかを評価します。データセットは既存の Amazon Simple Storage Service (Amazon S3) バケットに保存されます。Alice は新しいプロジェクトごとに、プロジェクトチームに要求された Amazon S3 バケットにアクセスして、分析クラスターを作成できるようにする新しい IAM […]