Amazon Web Services ブログ

Category: Amazon Kinesis

AWS Lake Formation による効果的なデータレイクの構築 パート 2: ストリーミングデータソース用の governed table を作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で、AWS Lake Formation のトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表しました。 このシリーズのパート 1 では、governed table を作成して、オブジェクトを追加する方法を説明しました。この記事では、この例を拡張し、Lake Formation トランザクションを使用して governed table にストリーミングデータを取り込む方法を示します。

Read More
FireLens の内部構造を示す図。

詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る

この記事は Under the hood: FireLens for Amazon ECS Task (記事公開日: 2019 年 11 月 18 日) を翻訳したものです。 2019 年 11 月、Amazon ECS は FireLens によるカスタムログルーティングのサポートを発表しました。FireLens によって、人気の高いオープンソースのロギングプロジェクトである Fluentd や Fluent Bit を簡単に使用することができ、さまざまな AWS サービスやパートナーの宛先にログを送信することができます。 この記事では、私たちがなぜ、どのようにして FireLens を作ったのか、詳しく説明します。また、私が FireLens を使用した結果を共有し、FireLens を設定するための推奨事項を紹介します。この記事では、FireLens、Fluent Bit や Fluentd について深く掘り下げます。Fluentd や Fluent Bit に馴染みのない方は、読み進める前に、Fluentd や Fluent Bit と FireLens のドキュメントをよく理解しておくことをお勧めします。

Read More

Amazon FSx for Windows File Serverでファイルアクセス監査が可能になりました

このブログは2021年6月8日にMartin Beeby (Principal Advocate)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 Amazon FSx for Windows File Server は、業界標準のSMB(Server Message Block)プロトコルでアクセス可能なフルマネージドファイルストレージを提供します。Windows Server上に構築され、豊富なエンタープライズストレージ機能を、AWSの持つ拡張性、信頼性、および低コストと共に提供します。 ユーザークォータ、シャドウコピーを使用したエンドユーザーによるファイルのリストア、Microsoft Active Directoryとの統合などの主要機能に加え、今回、Windowsイベントログを使用したファイル、フォルダ、ファイル共有へのエンドユーザーのアクセス監査に対応しました。

Read More

Amazon FSx for Windows ファイルサーバーでファイルアクセス監査が利用可能に

Amazon FSx for Windows ファイルサーバーは、業界標準の Server Message Block (SMB) プロトコル経由でアクセスできるフルマネージドファイルストレージを提供しています。Windows Server 上に構築され、AWS に期待されるスケーラビリティ、信頼性、および低コストを備えたエンタープライズストレージ機能の豊富なセットを提供します。 チームは、ユーザークォータ、エンドユーザーファイルの復元、Microsoft Active Directory 統合などの主要な機能に加えて、Windows イベントログを使用したファイル、フォルダ、およびファイル共有に対するエンドユーザーアクセスの監査のサポートを追加しました。 ファイルアクセス監査の概要 ファイルアクセス監査を使用すると、他の多くの AWS のサービスにログを送信し、ログをクエリ、処理、および保存することができます。ファイルアクセス監査を使用することにより、エンタープライズストレージ管理者およびコンプライアンス監査担当者は、時間の経過とともにログが増大するのに伴って生じるストレージ管理の必要性を排除しながら、セキュリティとコンプライアンスの要件を満たすことができます。ファイルアクセス監査は、金融サービスやヘルスケア業界などの規制が厳しいお客様にとって特に重要です。

Read More

Amazon Kinesis Data Analytics Studio の概要 – SQL、Python、または Scala を使用してストリーミングデータをすばやく操作する

タイムリーなインサイトを得て、ビジネスとアプリケーションから受け取った新しい情報に迅速に対応するための最善の方法は、ストリーミングデータを分析することです。これは通常、レコード単位または変動する時間枠で連続的かつ増分的に処理する必要があるデータのことで、相関、集計、フィルタリング、サンプリングなどのさまざまな分析に使用できます。 ストリーミングデータの分析を容易にするために、Amazon Kinesis Data Analytics Studio を紹介します。 まず、Amazon Kinesis コンソールから Kinesis データストリームを選択し、1 回クリックするだけで、Apache Zeppelin と Apache Flink を搭載した Kinesis Data Analytics Studio ノートブックを起動し、ストリーム内のデータをインタラクティブに分析できるようになりました。

Read More

AWS Service Catalog とAWS Marketplace の CloudEndure を使用して、AWS アカウントのプロビジョニングとサーバーの移行を自動化する

AWS クラウドに移行する予定の会社の移行プロジェクトに関与している場合は、移行の準備、ポートフォリオの発見、計画、設計など、さまざまな段階を経ることでしょう。ほとんどの場合、これらの段階の後に正念場を迎え、物理ベース、仮想ベース、またはクラウドベースのインフラストラクチャワークロードの AWS への移行を開始します。AWS のお客様は、CloudEndure (現在は AWS の会社) などのツールを使用して、アプリケーションの移行、災害復旧や AWS へのレガシーインフラストラクチャのバックアップを自動化します。移行中にお客様が直面する課題の 1 つに、サーバーを管理して、数百または数千の AWS アカウントで構成される階層的なアカウント構造に移動することがあります。このブログ記事では、新しい CloudEndure 移行プロジェクトのセットアップを自動化する方法と、お使いの環境で新しいアカウントを販売するたびに「アカウント自動販売機」を使用してこのプロセスを自動化する方法を学びます。 はじめに CloudEndure は、AWS への大規模な移行と障害復旧のデプロイを簡素化、迅速化、自動化するのに役立ちます。継続的なデータレプリケーションはバックグラウンドで行われ、アプリケーションの中断やパフォーマンスへの影響はありません。これにより、データがリアルタイムで同期され、カットオーバー/フェイルオーバーウィンドウが最小限に抑えられます。カットオーバー/フェイルオーバーが開始されると、CloudEndure は高度に自動化されたマシン変換とオーケストレーションプロセスを実行します。これにより、最も複雑なアプリケーションやデータベースでも、互換性の問題なく、最小限の IT スキルで AWS でネイティブに実行できます。AWS Marketplace から CloudEndure をデプロイできます。 このアカウントの自動販売機を作成するには、AWS Service Catalog、AWS Lambda、AWS Organizations などのネイティブの AWS のサービスを追加で使用します。また、CloudEndure との API 統合を使用して、アカウントの作成後に新しいプロジェクトをセットアップします。さらに、移行をサポートするために、販売したアカウントで AWS Direct Connect、Amazon Kinesis Data Firehose、Amazon S3 Transfer Acceleration などの追加の AWS のサービスを設定して、この参考用のサンプルソリューションを拡張できます。 このソリューションのサービス このソリューションで使用するサービスの簡単なレビューを次に示します。 […]

Read More
Media Seminar Q1 Analytics

2021Q1メディア企業向けAnalytics & AI/MLセミナー : 大阪リージョン/分析基盤

2021年3月18日にメディア業界のお客様向けにAnalytics & AI/MLをテーマとしたセミナーを開催いたしました。テレビ・動画配信・新聞・雑誌などのメディア企業では、デジタル変革の中でデータを活用する重要性が高まっています。本セミナーではメディア企業はいかにデータを活用し、新たなビジネスを展開していくかに焦点をあて、DMP (データマネジメントプラットフォーム) / CDP (カスタマーデータプラットフォーム)のメリットと活用事例についてご紹介させていただきました。

Read More

【開催報告】AWS re:Invent Recap Analytics 〜新サービスアップデート&クイックデモ〜

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 2021年1月29日に、2020年 AWS re:Invent Recapシリーズのひとつとして、分析サービスのRecapセミナーを開催いたしました。2020年 AWS re:Invent では、AWSの分析サービスに関して、新しいサービスおよび多くのアップデートが発表されました。本セッションでは、新しく発表されたサービスやアップデートを中心に共有させていただくとともに、お客さまの課題や問題をどのように解決できるのか、クイックデモを交えてご紹介させていただきました。

Read More
リテールDX

【開催報告】AWS リテールセミナーシリーズ #3 Retail DX – Turn Your Data into Action 価値を得る動と静

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの伊藤です。2020年10月28日にAWSはリテールビジネスにおけるオンラインセミナー「AWS リテールセミナーシリーズ」の第3回を開催いたしました。本Blogでは、今回のテーマである「Retail DX – Turn Your Data into Action 価値を得る動と静」について、セミナーの配信会場の様子を含めながらレポートしたいと思います。 AWSではこれまで、「Born from Retail, Built for Retailers」というメッセージを掲げ、Amazon での経験をもとにした様々なソリューションを小売業のお客様にご提案してきました。しかし、世の中がかつてない変容を遂げようとしている中、小売業のお客様においても、消費者の新たな購買行動に対応していくために変革を行っていくことが喫緊の課題となっています。そのようなお客様に対し、AWSが持つ知見や技術を広くお伝えするために、このセミナーシリーズが企画されました。 10月28日の第3回では、個社ごとに異なるビジネス価値創出戦略において、ビジネス価値を得るためにデータをアクションに繋げるためのアーキテクチャとはどのようなものなのかという視点で、モダンアーキテクチャのご紹介、蓄積された静的データの活用方法、リアルタイムな動的データの取得と活用のユースケースと具体的なアーキテクチャをご紹介させていただきました。ここから、簡単にではありますが、それぞれのセッションの内容ついて振り返っていきたいと思います。動画も公開されていますので、お時間がある方はぜひご覧ください!

Read More

Fluent Bit for Amazon EKS on AWS Fargate をリリース

本投稿は、Akshay Ram, Prithvi Ramesh, Michael Hausenblas による寄稿を翻訳したものです。   Container roadmap 上の issue 701 では、 EKS on Fargate 利用時の CNCF Fluent Bit を利用したログルーターのサポートについて議論していました。このブログ記事では、EKS on Fargete利用時におけるいくつかの設定ステップによってCloudWatch へ直接ログを送信する事が出来る新しい機能とそれを利用する流れをみていきましょう。 以前は、AWS Fargate 上で動くAmazon EKS の Pod から コンテナログを送信するためには サイドカーコンテナを動かす必要がありましたが、組み込みのログルーターを利用出来るようになりました。これはサイドカーをインストールしたり維持する必要が無いという事を意味しています。ユーザーはデータの送信先を選択するだけで、ログは選択した送信先にルーティングされます。 私たちは、2つの設計原則を維持しながらこの機能を構成しました。 一貫性:必要に応じて、ネイティブの Kubernetes オブジェクトを利用して、コンピューティングタイプ(EC2、マネージドノードグループ、Fargate)に渡った一貫したインターフェイスをお客様に提供する シンプル:お客様のインフラストラクチャーや add-ons をさらに管理する この設計原則に従う事で、Fluent Bit 設定言語と Kubernetes Config Map を、プライマリインターフェイスとして選択し、 Kubernetes クラスターにおける標準的な方法としてロギングを設定する様にしました。Fluent Bit をプラットフォームの中に含める事で、Fluent Bit のライフサイクル管理をシンプルにしました。ログを何処に送るかを指定するだけで、後はAWSによって管理されます。   […]

Read More