Amazon Web Services ブログ

Weekly AWS

週刊AWS – 2019/10/28週

こんにちは、AWSソリューションアーキテクトの小林です。そろそろ紅葉でも見に行ってみようかな、という時期になってきました。どこにでかけようかと色々考えているのですが、なんとなく例年よりも色づきが遅いような印象があります。最近寒くなってきたので、一気に色づいていくパターンなのかもしれません。お勧めの紅葉スポットがあれば是非教えてください。

Read More

AWS GlueとJDBCを使用したSAP HANAからのデータ抽出

必要なデータを検索するためにSAP GUIを果てしなくクリックすることがありませんか?そして、必要な結果を得るための単純なクエリを実行するだけのために、表をスプレッドシートに出力しなければならないときがありませんか? 私にはあります。そのため、SAPデータに簡単にアクセスして、思い通りに利用できる場所に格納したいと思っていました。 この記事では、AWS Glueを使用してSAP HANAとの接続を構成し、 Amazon S3にデータを抽出します。このソリューションにより、SAPをさまざまな分析サービスや可視化サービスに公開し、必要な結果を得ることのできる、シームレスなメカニズムを実現します。

Read More

AWS Well-Architected フレームワーク「信頼性の柱」ホワイトペーパー日本語版の公開

こんにちは。アマゾン ウェブ サービス ジャパン 株式会社 Well-Architected リードの高山です。 このたびクラウド設計・運用のベストプラクティス集である”AWS Well-Architected フレームワーク“から、特に信頼性にフォーカスした「信頼性の柱ホワイトペーパー日本語版」を公開しましたのでお知らせします。 AWS Well-Architected フレームワーク「信頼性の柱」には、インフラストラクチャまたはサービスの障害からの復旧、必要に応じた動的なコンピューティングリソースの獲得、設定ミスや一時的なネットワークの問題などによる障害の軽減などのシステムの機能が含まれます。このホワイトペーパーでは、AWS で信頼性の高いシステムを構築するための、詳細なベストプラクティスを扱っています。 ダウンロードはこちらから> AWS Well-Architected フレームワーク 信頼性の柱ホワイトペーパー(PDF) ■ AWS Well-Architected フレームワークとは? AWS Well-Architected フレームワークは、AWSのソリューションアーキテクト(SA)が、AWSのサービス開始から10年以上に渡り、様々な業種業界、数多くのお客様のアーキテクチャ設計および検証をお手伝いしてきた経験から作成したクラウド活用のベストプラクティス集です。具体的には「運用の優秀性」「セキュリティ」「可用性」「パフォーマンス効率」「コスト最適化」の5つの観点について、クラウドをより活用するための設計原則と、お客様システムがベストプラクティスに沿っているかを確認するための質問と回答で構成されています。本ホワイトペーパーは、クラウドにおけるアーキテクチャ設計や運用に携わっているすべての方に読んでいただきたい内容となっています。 一方でお客様のシステムが必ずしもAWSが提唱する全てのベストプラクティスに沿っている必要はありません。ベストプラクティスをご理解いただいた上で、お客様ご自身でのビジネス的なご判断を実施いただくためのアイデアです。 ■ AWS Well-Architected フレームワーク ホワイトペーパーから先にご覧ください 9月26日にお伝えしたとおり、AWS Well-Architected Toolの日本語化および東京リージョン対応と合わせて、最新の日本語版AWS Well-Architected フレームワークホワイトペーパーも公開しております。こちらを先にお読みいただいた上で、より詳細を扱った信頼性の柱ホワイトペーパーに進んでいただくことをおすすめします。 AWS Well-Architected フレームワーク(ウェブサイト形式で閲覧) | ホワイトペーパー(PDF)    

Read More

オンプレミスの SQL Server Windows ワークロードを Amazon EC2 Linux に移行する

 何十年もの間、IT 管理者は SQL Server ワークロードを Windows でしか実行できませんでした。ただし、SQL Server 2017 の時点で、SQL Server は Linux オペレーティングシステムでも実行できるようになりました。IT 管理者にとって、これは、希望するオペレーティングシステムで SQL Server ワークロードを実行できる機会であり、Windows Server のライセンスコストを削減し、オープンソース技術でアプリケーションスタックの近代化を開始できる機会でもあります。しかも、すべてシステムアーキテクチャやユーザーエクスペリエンスを大幅に変更することはありません。Linux で既存の SQL Server ワークロードを実行したいお客様を支援するために、AWS は Microsoft SQL Server データベースのための Windows から Linux へのプラットフォーム変更アシスタントの提供を開始しました。 この記事では、Microsoft SQL Server データベースのための Windows から Linux へのプラットフォーム変更アシスタントを利用して、Microsoft SQL Server データベースを Windows から Amazon EC2 Linux に移行するプロセスについて解説します。この記事では、プラットフォーム変更アシスタントを実行するための前提条件の設定を示し、2 つの使用例を提示します。最初の例では、プラットフォーム変更アシスタントを利用して、SQL Server 2017 で新しい […]

Read More

AWS Snowball Edge を使用して HDFS ファイルを Amazon S3 データレイクに移行する

 データのソースが増えると、新しく接続されたデータを保存する必要性が高まります。企業のお客様は、オンプレミス Hadoop アプリケーションのデータレイクストレージリポジトリとして Hadoop 分散ファイルシステム (HDFS) を使用しています。お客様は、より安全で、スケーラブルで、アジャイルで、費用対効果の高いソリューションを求めて、データレイクを AWS に移行しています。 AWS への高速転送速度が妥当ではない HDFS 移行には、AWS は AWS Snowball Edge サービスを提供しています。AWS Snowball Edge を使用した HDFS 移行のベストプラクティスは、ファイル転送に中間ステージングマシンを使用することです。このブログ記事では、移行中に中間ステージングマシンを使用する方法を詳しく説明します。 AWS Snowball Edge がお客様に出荷するのは、物理的なデータ移行およびエッジコンピューティングデバイスです (図 1)。デバイスは大量のデータを Amazon Simple Storage Service (Amazon S3) に転送するために使用します。 Amazon S3 は、業界をリードするスケーラビリティ、データの可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。バルク取り込みの場合、データレイクのエントリポイントが Amazon S3 です。99.999999999% (9 が 11 個) の耐久性を持つオブジェクトストアである Amazon S3 は、10,000 データレイク以上をホストします。 AWS のデータレイクストレージの基盤として、Amazon S3 […]

Read More

【開催報告】AWS Autotech Forum 2019

みなさんこんにちは。ソリューションアーキテクトの岡本です。10/25 に AWS が主催する自動車業界向けイベント「AWS Autotech Forum 2019」が開催されました。「AWS と自動車業界」という組み合わせを意外に感じる方も多いのではないでしょうか?実は自動車業界の様々なワークロードや取り組みの中で AWS が活用されております。本イベントでは Mobility as a Service(MaaS) 、自動運転開発、コネクテッドカー、エッジコンピューティング等の分野に携わるビジネスリーダー及びエンジニアの方々をお招きし、この領域で AWS を活用頂いているお客様から最新の取り組みをご紹介いただきました。本ブログでは各セッションやデモブースの内容を紹介したいと思います。 オープニングセッション 「拡がるモビリティーサービスの実現に向けて」と題し、AWS ソリューションアーキテクト岡本から今年のイベントテーマである MaaS を巡る市場動向を紹介しました。技術トレンドとしての CASE(Connected/Autonomous/Shared/Electric) がそれぞれ深化する中でビジネストレンド MaaS の注目度が高まっており、今後大きな市場の出現が期待されています。MaaS にはエマージングビジネスの側面と企業間アライアンスによる新プラットフォームビジネスの側面があり、それぞれ技術基盤に求められる要件が異なりますが、AWS を活用頂くことでこれらの要件を満たし、ビジネスに集中して頂くことができます。 エマージングビジネスに必要な基盤の要件 コア領域に集中 アイデアをすぐ形に スケーラビリティ 企業間連携及び新プラットフォームに必要な基盤の要件 セキュアなデータ連携 グローバルフットプリント 学習コストの最小化(技術者の”共通言語”化) またゲストスピーカーとしてイスラエル発のスタートアップである Otonomo 様の平戸様と、日本の多くの自動車会社と連携し社会インフラとしての MaaS プラットフォームを推進されている MONET Technologies 株式会社様の 湧川様にご登壇頂き、最新の取り組みをご紹介頂きました。 ブレイクアウトセッション デンソーの MaaS 開発 ~アジャイル開発で顧客との協調・チームビルディング・実装概要~ 株式会社デンソー このセッションでは、Small Start でソフトウェアファーストな開発を行う手法として、デンソー デジタルイノベーション室で採用されているアジャイル開発の手法について講演いただきました。試作から本番までの開発プロセスを 4 […]

Read More

re:Invent 2019 の AWS マネジメント&ガバナンスセッションご案内

AWS上で広がり続けるビジネスの運用は、かつてないほど効率的に行えるようになっています。AWS マネジメントツール を使用すると、イノベーションの速度とガバナンスコントロールのどちらかをあきらめる必要は無く、両立させることができるのです。皆さんの環境を効率的に運用管理するために、ビジネスのアジリティ、コンプライアンス、ガバナンスに関するAWSサービスについて興味を持って学んでください!

Read More

WinTicket 、 AWS メディアサービスで競輪ファンに高画質レース映像を低遅延ライブで提供

WinTicket は、インターネットテレビ局 AbemaTV の番組「競輪チャンネル」と連動し、24時間どこでも投票チケットを購入できるほか、レース情報・オッズ・ AI 予想機能、そして開催中の熱戦レースのライブ映像を提供しています。 時速 60km ~ 70km で 9 名の選手がレースする中、 WinTicket のユーザーが視聴環境を問わず、レースの状況を高画質・低遅延で視聴できるようにすることは重要です。そのため、 WinTicket は動画配信ワークフローをクラウドに移行し、AWSメディアサービスを活用することで高画質・低遅延のライブ配信を確立させました。 WinTicket のライブ配信は、全国40以上の競輪場から集約した映像で構成されています。 AbemaTV の番組スタジオで映像を集めてクラウドへ伝送し、 AWS Elemental MediaLive で ABR エンコード、 AWS Elemental MediaPackage で HLS にパッケージ化し、 Amazon CloudFront 経由で視聴者へ低遅延なライブ配信しています。 「 WinTicket はサービスの特性上、レース状況や結果がすぐにわかるようにしなければ、ユーザー体験に影響を及ぼしてしまいます。 AWS Media Services は、他のサービスよりも 1.5 倍ほど低いレイテンシでコンテンツを配信できるため、戦略的な強みが得られました。」と、株式会社サイバーエージェントの CATS ソフトウェア エンジニア 江頭 宏亮 氏は語っています。「今回、 AWS Media Services を採用したことで、配信ワークフローの開発工程数を抑えた、冗長性のある可用性の高いライブ配信システムの構築ができました。配信管理ツールとして採用したサーバレスアーキテクチャを含め、利用している時間帯だけ課金されるため、運用コストを抑えられます。また、スケジュール管理上で蓋絵 […]

Read More

Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1

AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが、幾千もの同時 ETL ワークフローへのサービスを提供するビッグデータプラットフォームを維持するのを助け、そのことを達成するために必要な運用タスクを簡素化するアーキテクチャについて紹介します。 アーキテクチャコンポーネント 高いレベルにおいては、このアーキテクチャは、ビッグデータプラットフォームに ETL ワークフローのオーサリング、オーケストレーション、そして実行能力を提供するため、Amazon EMR と関連した 2 つのオープンソーステクノロジーを利用しています。Genie は、同時ビッグデータジョブの送信、動的なジョブのルーティング、中央設定管理、そして Amazon EMR クラスタの抽象化のための集中管理型 REST API を提供します。Apache Airflow は、複雑なデータパイプラインのオーサリング、スケジュールおよびモニタをプログラム的に行うことを可能にする、ジョブオーケストレーションのためのプラットフォームを提供します。Amazon EMR は、Apache Hadoop、Apache Spark、および他のビッグデータフレームワークの実行とスケーリングを可能にする、マネージドクラスタプラットフォームを提供します。 次の図は、アーキテクチャを示しています。 Apache Airflow Apache Airflow は、ビッグデータワークフローのオーサリングとオーケストレーションのためのオープンソースツールです。 Apache Airflow を使えば、データエンジニアは有向非巡回グラフ (DAG) を定義できます。DAG はワークフローを実行する方法を記述するもので、Python で書かれています。ワーフローは、独立して実行されるタスクをグループ化する DAG としてデザインされます。DAG はタスク間の関連性と依存関係を追跡します。 演算子は、ワークフロー内の単一タスクを定義するテンプレートを定義します。Airflow は一般的なタスクのための演算子を提供します。また、ユーザーはカスタムの演算子を定義することもできます。この投稿では、タスクを Genie に送信するためのカスタム演算子 (GenieOperator) について説明します。 タスクは、演算子のパラメータ化されたインスタンスです。演算子はインスタンス化されるとタスクと呼ばれます。タスクインスタンスは、タスクの特定の実行を表します。タスクには、関連付けられている DAG、タスク、および特定の時点があります。 DAG とタスクは、オンデマンドで実行することも、DAG の […]

Read More

200 個の Amazon CloudFront POP (Points of Presence) + 料金の引き下げ

2 年足らず前に、Amazon CloudFront の 100 番目の POP (Points of Presence) を発表しました。 POP (Points of Presence) の フットプリント全体は、1 年あたり 50% 増えています。2017 年に 100 番目の POP (Points of Presence) を開始して以来、中国、イスラエル、デンマーク、ノルウェー、南アフリカ、UAE、バーレーン、ポルトガル、ベルギーを含む 34 か国の 77 の都市に拡大しました。 CloudFrontは、 Superbowl LIII、木曜夜のフットボール (Prime Video 経由)、 ロイヤルウェディング、 冬季オリンピック、コモンウェルスゲーム、多くのサッカー試合 (2019 FIFA ワールドカップを含む)などを含むビジビリティの他界ライブストリーミングイベントを多く配信するために使用されます。 CloudFront は単独で使用する場合でも、またほかの AWS のサービスと共に使用される場合でも、コンテンツを保護し、基礎のソースを守るために役立つ多くのオプションと共に、コンテンツを配信するための素晴らしい方法です。例: DDoS 保護 – Amazon CloudFront の顧客は、2018 年には 84,289 […]

Read More