Amazon Web Services ブログ

Apache Flink と Amazon Kinesis Data Analytics を使用した ETL のストリーミング

ほとんどの企業は、リアルタイムで増え続ける量のデータを継続的に生成します。データは、ユーザーがモバイルゲームをプレイし、ロードバランサーがリクエストをログに記録し、顧客がウェブサイトで買い物をし、IoT センサーの温度が変化する場合に生成されます。このデータを迅速に分析することで、時間に敏感なイベントを活用し、顧客体験を向上させ、効率を高め、イノベーションを促進できます。多くの場合、これらの洞察を得る速度は、データレイク、データストア、およびその他の分析ツールにデータをロードできる速度に依存します。データの量と速度が増加するにつれて、着信データをロードするだけでなく、ほぼリアルタイムで変換および分析することも重要になります。 この記事では、洗練されたストリーミング抽出・変換・ロード (ETL) パイプラインの基礎として Apache Flink を使用する方法について説明します。Apache Flink は、データストリームを処理するためのフレームワークおよび分散処理エンジンです。AWS は、Amazon Kinesis Data Analytics を介して Apache Flink に完全マネージド型サービスを提供します。これにより、洗練されたストリーミングアプリケーションを迅速かつ簡単に、運用オーバーヘッドを抑えて、構築および実行できます。 この記事では、Apache Flink と Kinesis Data Analytics を使用して強力で柔軟なストリーミング ETL パイプラインを実装するために必要な概念について説明します。また、さまざまなソースとシンクのコード例を調べます。詳細については、GitHub リポジトリを参照してください。リポジトリには AWS CloudFormation テンプレートも含まれているため、数分で開始し、サンプルのストリーミング ETL パイプラインを調べることができます。 Apache Flink で ETL をストリーミングするためのアーキテクチャ Apache Flink は、無限と有限のデータストリーム上のステートフルな計算のためのフレームワークおよび分散処理エンジンです。Apache Kafka、Amazon Kinesis Data Streams、Elasticsearch、Amazon Simple Storage Service (Amazon S3) のコネクタを含む、高度にカスタマイズ可能な幅広いコネクタをサポートしています。さらに、Apache Flink は、イベントを変換、集約、強化するための強力な API を提供し、1 […]

Read More

AWS DMS を使用して Oracle から Amazon Aurora に移行する継続的なデータベースレプリケーション

これは IPG のゲスト投稿です。同社の説明によれば、「IPG は日本に拠点を置いており、テレビ関連のデータを専門に取り扱っています。日本全国の放送局から送られてきたデータを使用し、使いやすく理解しやすいようにフォーマットし、メタタグで構造化し、スマートフォンなどのプラットフォームで簡単に利用できるようにしています」 この記事では、AWS DMS を使用して、Oracle から Amazon Aurora への移行中にテストしたさまざまな最適化および MySQL 互換性について説明し、各ソリューションの欠点と利点を示し、取り扱うユースケースに最適なソリューションについて説明します。 次の図は、衛星、放送局、コンテンツプロバイダーから送られてきたデータを IPG がどのように移転させているかを示しています。 最初に Oracle データベースを使用して、テレビ番組のデータとそのさまざまな関連情報を保存および管理しました。入力データの詳細は次のとおりです。 EPG データ – 約 250,000 の番組 (地上波、BS、CS100°、新しい 4K8K の衛星放送を含む 8 日先までのテレビ番組情報) 放送局 – 約 200 の放送局と約 1000 のチャンネル コンテンツプロバイダー – 約 10 社 このデータは 30 の企業に送信され、それらの企業のサービスで使用されます。 システム操作には、40 個のバッチプログラム、10 個の操作 UI、40 個の API サービスを含むソフトウェアプログラムの複雑なネットワークを使用しました。 Oracle に関する懸念事項 このシステムは耐久性があり安定していますが、次の点に懸念がありました。 […]

Read More

Amazon API Gateway を Amazon EKS における Ingress として利用する

チームが Amazon EKS にマイクロサービスをデプロイすると、通常、フロントエンドおよびサードパーティーアプリケーションで使用する REST API を公開します。ベストプラクティスは、これらの API を API Gateway で管理することです。 これにより、API の一意のエントリポイントが提供され、各マイクロサービスのセキュリティ、キャッシュ、スロットル、監視などの API 固有のコードを実装する必要もなくなります。このパターンは、ALB Ingress Controller と Amazon API Gateway を使用して実装できます。Amazon API Gateway は、あらゆる規模でセキュアな API を管理するための完全マネージドサービスです。このアプローチは機能しますが、いくつかの構成ファイルを作成する必要があります。このタスクをどのように自動化できますか? この記事では、オープンソースソリューション API Gateway Ingress Controller の使用方法を示します。これは、Amazon API Gateway の HTTP プロキシモードを活用して Amazon EKS で実行する API をすばやく設定することで、手動手順を削減します。API Gateway Ingress Controller は、リバースプロキシポッドの前に Network Load Balancer を構成します。これは、パスベースのルーティングを処理し、HTTP リクエストをポッドにルーティングします。次の図は、この記事で説明した高レベルのアーキテクチャを示しています。 Kubernetes Ingress […]

Read More

AWS がスタートアップ企業向けに Activate Founders パッケージをスタート🚀

今この記事をお読みのあなたは、スタートアップ企業の方ですか? AWS は本日、スタートアップ企業向けに Activate Founders パッケージを発表いたします。🚀🚀🚀本パッケージでは新たな特典セットをご用意しています。皆さんのスタートアップ企業がベンチャーキャピタル、アクセラレーター、インキュベーターからの出資を受けていない場合は、1,000 USD の AWS Activate クレジット (有効期間 2 年) および AWS テクニカルサポートで利用できる 350 USD の AWS 開発者サポートクレジット (有効期間 1 年) の受け取りを申請できます。 👉🏽Activate Founders パッケージの詳細については、 aws.amazon.com/activate をご覧いただき、ぜひこの機会にお申し込みください。 Activate Founders パッケージはどんなスタートアップ企業にメリットがあるのでしょうか? Activate Founders パッケージは、機関投資家からの資金提供を受けていない、または受ける計画もない多数のスタートアップ企業にメリットがあります。 Activate Founders パッケージはお客様にどんな特典がありますか? Activate Founders クレジットを使ってみましょう。💰AWS でスタートアップ向けのアーキテクチャを実験、ビルド、テスト、デプロイする際のコストを削減するチャンスとなります。 AWS 開発者サポートクレジットを使用すると、スタートアップ企業では AWS テクニカルサポートに E メール📧すれば、サポートケースに無制限にアクセスできます。 7 Core AWS Trusted Advisor […]

Read More

Amazon FSx for Lustre の最新情報: 長期間、高パフォーマンスワークロード用の永続ストレージ

昨年、Amazon FSx for Lustre についての記事を投稿した際、当社のお客様がサブミリ秒の遅延で、膨大な量の IOPS (1 秒あたりの入出力オペレーション数) を実現する大量の並列クライアントに対応するペビバイト規模の高度に配列化された POSIX 準拠のファイルシステムを作成するために、FSx for Lustre をどう使用できるかについてお話ししました。 マネージドサービスとして Amazon FSx for Lustre を使用することで、世界でも最も人気のある高パフォーマンスファイルシステムを簡単に起動および実行できます。お客様は機械学習、ハイパフォーマンスコンピューティング (HPC)、金融モデリングなど、速度が重要なワークロードにこのサービスを使用しています。 今後は、耐久性と可用性に優れたハイパフォーマンスファイルシステムを作成する機能と、3 つのパフォーマンスティア、そして、急激なワークロードの増加に、より良いサポートを提供するようデザインされた新しい次世代スクラッチファイルシステムをリリースすることで、Amazon FSx for Lustre を強化していきます。 最新の更新 今日のニュースの本題に入る前に、サービスに盛り込まれた最新の更新をいくつかご紹介します。 データリポジトリ API – この更新により、一連の API が導入され、FSx から S3 へ簡単にファイルをエクスポートできるようになりました。また、その中には S3 への変更済みファイルの送信を開始、監視、およびキャンセルする機能も含まれています。詳しくは、Amazon FSx for Lustre と Amazon S3 の間でデータを移動するための新しい機能強化を参照してください。 SageMaker の統合 – この更新により、Amazon FSx for Lustre ファイルシステムに保存したデータを […]

Read More

アカウント間の Amazon RDS DB インスタンスを単一の共有ドメインに参加させる

セットアップとメンテナンスを簡素化し、AWS Managed Microsoft AD ディレクトリのコストを削減しながら、Amazon Relational Database Service (RDS) for SQL Server DB インスタンスのセキュリティを強化するにはどうすればよいですか? AWS は、複数の AWS アカウントと Amazon VPC にデプロイされた Amazon RDS for SQL Server DB インスタンスが、AWS リージョン内の Microsoft Active Directory (AWS Managed Microsoft AD) の単一の AWS Directory Service に参加できるようになったことを発表しました。これにより、ディレクトリをセットアップしてそのセキュリティ設定を一度行えば、すべての DB インスタンスの認証に使用できるため、ディレクトリ対応データベースのワークロードを管理しやすくなります。この記事では、アカウント間および VPC 間ドメインに参加するために Amazon RDS DB インスタンスを準備する方法について学びます。 注: この記事は Amazon RDS for SQL […]

Read More

Amazon SageMaker で DeepChem を使用して、仮想スクリーニングを行う

 仮想スクリーニングは、膨大な量の分子ライブラリを検索して、ターゲット特性を示す可能性が最も高い構造を特定することにより、薬物または物質の発見に用いられる計算手法です。 利用できる計算時間の急激な増加とシミュレーションの絶え間ない改善により、仮想スクリーニングは分子発見のための画期的なツールになりつつあります。 ディープラーニングテクノロジーは、この計算仮想コンパウンドスクリーニングで広く使用されており、そのようなテクノロジーは飛躍的に進化しています。DeepChem は最も人気のあるオープンソースツールの 1 つで、創薬、物質科学、量子化学、生物学においてディープラーニングを広く利用できるようにしています。詳細については、GitHub の「創薬、量子化学、物質科学および生物学のためのディープラーニングの民主化」をご参照ください。 この記事では、DeepChem を Amazon SageMaker で使用する方法について説明します。Amazon SageMaker は、機械学習 (ML) モデルをすばやく簡単に構築、トレーニング、デプロイできるようにする完全マネージド型のサービスです。ML は、モデルを構築し、トレーニングし、本番環境にデプロイするプロセスが複雑で時間がかかるため、本来よりも難しいと感じることが多々あります。Amazon SageMaker はその複雑さを軽減します。 Amazon SageMaker で DeepChem をインストールする DeepChem をインストールするには、AWS アカウントをセットアップし、最初の Amazon SageMaker ノートブックインスタンスを作成します。次の手順を実行します。 AWS アカウントがまだない場合は、AWS アカウントを作成します。 AWS にサインアップすると、AWS アカウントは Amazon SageMaker を含むすべての AWS のサービスに自動的にサインアップされます。請求は、利用したサービスに対してのみ行われます。Amazon SageMaker を初めて使用する場合は、「Amazon SageMaker の仕組み」をご参照ください。 Amazon SageMaker コンソールで、[Notebook instances] を選択します。 [Create notebook instance] を選択します。 […]

Read More

Amazon EBS マルチボリュームのクラッシュ整合性のあるスナップショットを使用した Oracle のバックアップおよびリカバリのパフォーマンスの改善

 Amazon Elastic Block Store (EBS) スナップショットは、ポイントインタイムスナップショットを取得することにより、EBS ボリューム上のデータを Amazon S3 にバックアップする機能を提供します。Amazon EC2 で Oracle Database を実行し、EBS ボリュームを使用する場合、バックアップ要件を満たすために EBS スナップショットを使用している可能性があります。2019 年 5 月より前は、データベースをバックアップモードにして、データベースファイルを含む各 EBS ボリュームのスナップショットを個別に作成する必要がありました。このアプローチには、主に 3 つの欠点がありました。 データベースと対話する必要があった 複数の API を呼び出して、ボリュームの個別のスナップショットを作成する必要があった バックアップモードでは、データベースブロックは最初に変更されたときにログバッファに完全にコピーされ、これにより、特定のワークロードでより多くの REDO が生成され、データベースのパフォーマンスに影響が出る可能性がある AWS は、1 回の API 呼び出しと最小限の I/O の一時停止で、EC2 インスタンスにアタッチされたすべての EBS ボリュームにわたってクラッシュ整合性のあるスナップショットを作成できる新しい機能を 2019 年 5 月にリリースしました。詳細については、「Amazon EC2 インスタンス上の複数の Amazon EBS ボリュームにわたってクラッシュ整合性のあるスナップショットを取得する」を参照してください。 この機能と Oracle Database […]

Read More

最初の IoT ヒーローを含む最新の AWS ヒーローのご紹介!

AWS ヒーロープログラムは、地域コミュニティで活躍する傑出したリーダー個人を表彰するものです。AWS ヒーローは、AWS の知識を共有し、さまざまな方法でピアツーピア学習を促進したことで知られるようになった人たちです。AWS ヒーロープログラムは、AWS が世界中のコミュニティで色々なものを育てようという熱意が高まるにつれて拡大し、今では 35 か国に AWS ヒーローがいます。 本日、最新の AWS ヒーローをご紹介できることを嬉しく思います。ご紹介するヒーローには、ボスニア、インドネシア、ナイジェリア、スウェーデン初のヒーローや、初の IoT ヒーローが含まれます。   Joshua Arvin Lat – フィリピン首都圏 Machine Learning ヒーローの Joshua Arvin Lat は、Complete Business Online、Insites、Jepto の CTO です。彼は 9 つの AWS 認定を取得しており、認定内容領域専門家として参加し、貢献し、AWS Certified Machine Learning (アイテム開発ワークショップ中の専門試験) を更新するのを支援しました。彼は過去 4~5 年間、AWS ユーザーグループフィリピンのコアリーダーの 1 人で、さらに AWS Summit Singapore (TechFest)、AWS Community Day (メルボルン) など、いくつかの国際的な […]

Read More

Amazon FSx for Windows File Server を Windows コンテナの永続ストレージとして使用する

この投稿は、Marcio Morales、Sandeep Srinivas Indraganti、Alain Vetier、Pavneet Ahluwalia による寄稿です。 このブログ投稿では、Amazon Elastic Container Service (ECS) で動作中の Windows コンテナ用の永続ストレージとして、Amazon FSx for Windows File Server を使用する方法について順を追って説明します。AWS System Manager ドキュメントを使用して、コンテナインスタンス上のファイル共有マッピングを自動化し、Docker ボリュームをコンテナに提供するための ECS タスク定義を設定します。 現在、Amazon FSx File Share を介して Windows コンテナの永続ストレージを公式にサポートしています。マネージド機能は、以下で強調表示されているワークアラウンドに必要とされる差別化されていない手間がかかる作業を取り除くことを目的としています。 では、これをどのように実現するかをご説明します。 Windows Server バージョン 1709 (Windows Server 2016「半期チャネル」) で「SMB グローバルマッピング」と呼ばれる SMB プロトコルの既存の機能を活用します。SMB グローバルマッピングを使用すると、SMB 共有をホストにマウントし、その共有上のディレクトリをコンテナに渡すことができます。コンテナを特定のサーバー、共有、ユーザー名、またはパスワードで設定する必要はありません。これらはすべてホストが代わりに処理します。コンテナは、ローカルストレージがある場合と同じように機能します。 前提条件および仮定 コンピューターに AWS CLI と AWS Tools […]

Read More