Amazon Web Services ブログ

Category: Amazon Athena

use-amazon-athena-and-aws-cloudtrail-to-estimate-billing-for-aws-config-rule-evaluations

Amazon Athena と AWS CloudTrail を使用したAWS Config Rules 利用料の見積もり

AWS Config  は、AWSリソースがあるべき設定状態に準拠しているかを監査するサービスです。記録された設定項目の数と 1 か月あたりのリソースごとに行われる AWS Config Rules の評価件数に基づいて課金されます。 この記事では、Amazon Athena を使用して AWS CloudTrail ログをクエリし、AWS Config Rules 評価の詳細な請求内訳を確認する方法をご紹介します。請求の内訳を把握することで月額コストに最も寄与しているルールを特定することができれば、特定のルールの実行頻度を減らしてコストを抑えるといったコスト最適化施策を講じることができます。なお、この記事ではAWS Configの設定項目の確認については触れていません。詳細については、ブログ記事「Identifying resources with the most configuration changes using AWS Config」を参照してください。

Read More

Amazon Athena が大阪リージョンでご利用いただけるようになりました

みなさん、こんにちは。アマゾン ウエブ サービス ジャパン、シニアエバンジェリストの亀田です。 Amazon Athena が大阪リージョンでご利用いただけるようになりましたので、お知らせいたします。 Amazon Athena Athena はインタラクティブなクエリサービスで、Amazon S3 内のデータを標準 SQL を使用して簡単に分析することができます。サーバーレスで動作するため、インフラストラクチャの管理や支払いは不要で、実行したクエリに対してのみ料金が発生します。Athena はクエリエンジンに、ペタバイトクラスまでのあらゆるサイズのデータ​​ソースに対してインタラクティブな分析クエリを実行するためのオープンソースの分散型SQLクエリエンジンである ANSI SQL に準拠したPrestoを使用しているため、特別な学習コスト無く従来のSQLを用いてデータ分析を行うことができ、CSV、JSON、ORC、Parquet などのさまざまな標準データフォーマットに対応しているためデータ処理の前準備のための作業工数も最小化することができます。 Athena を使用することで、従来時間がかかっていた分析用データを準備するための複雑な ETL ジョブが不要になり、だれでも慣れ親しんだ SQL のスキルを使って、大型データセットをすばやく、簡単に分析できるようになります。

Read More

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More
FireLens の内部構造を示す図。

詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る

この記事は Under the hood: FireLens for Amazon ECS Task (記事公開日: 2019 年 11 月 18 日) を翻訳したものです。 2019 年 11 月、Amazon ECS は FireLens によるカスタムログルーティングのサポートを発表しました。FireLens によって、人気の高いオープンソースのロギングプロジェクトである Fluentd や Fluent Bit を簡単に使用することができ、さまざまな AWS サービスやパートナーの宛先にログを送信することができます。 この記事では、私たちがなぜ、どのようにして FireLens を作ったのか、詳しく説明します。また、私が FireLens を使用した結果を共有し、FireLens を設定するための推奨事項を紹介します。この記事では、FireLens、Fluent Bit や Fluentd について深く掘り下げます。Fluentd や Fluent Bit に馴染みのない方は、読み進める前に、Fluentd や Fluent Bit と FireLens のドキュメントをよく理解しておくことをお勧めします。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 1: governed tableを作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 数千人ものお客様が Amazon Simple Storage Service でデータレイクを構築しています。AWS Lake Formation を使用すると、数か月ではなく数日で簡単にデータレイクを構築できます。しかし、データレイクにはまだ対処すべき困難な課題がいくつかあります: データレイクでのストリーミングの更新と削除(データベースレプリケーションなど)をサポートし、GDPR や CCPA などのプライバシー規制をサポート テーブルレベルまたは列レベルのアクセス制御だけでなく、行レベルのアクセス制御により、きめ細かでセキュアな共有を実現 Amazon S3 のさまざまなテーブルやファイルのレイアウトを最適化し、分析のパフォーマンスを向上 AWS re:Invent 2020 で、Lake Formation のトランザクション、行レベルのセキュリティ、高速化のプレビューを発表しました。これらの機能は新しい API から利用でき、行レベルのセキュリティによって Lake Formation によるガバナンスを拡張し、データレイク上でのトランザクションを提供します。

Read More

AWS WAF と AWS Shield Advanced のコストをどのように見積もるか?

このブログ記事は Benjamin Lecoq,  AWS Senior Technical Account Manager によって投稿されました。 コスト管理に関するブログ記事の多くは、AWS の使用料や支出を全体的に管理・最適化するためのベストプラクティスを紹介することに重点を置いています。 この記事では、AWS セキュリティ製品にかかる費用をどのように見積もることができるかについて、範囲を絞ってご紹介します。

Read More
athena-federated-query dynamodb quicksight hands-on

Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開

Amazon AthenaはS3上に置かれたファイルにクエリ(SQL)を実行できるサーバレスのサービスです。先日GAしたFederated Query機能を利用すると、クエリの範囲をS3に加えて多数のデータソース(例えば他のRDBやAmazon DynamoDB等)に広げ、複数のデータソースにまたがってSQL処理することが可能になります。(Federated Queryの機能説明はこちらにあります) 先日(4/17)、「AWSの基礎を学ぼう」というオンライン勉強会に講師として呼んでいただく機会があったので、このFederated Queryを使ったハンズオンキットを作成しました。今回これをダウンロード可能にしましたので、紹介します。

Read More

【資料&動画公開】AWSで実践!ビジネスを変革するデータ活用ソリューション

2021年3月25日に「AWSで実践!ビジネスを変革するデータ活用ソリューション 」というイベントを実施しました。蓄積されたデータをこれから活用されようとお考えの方向けのセミナーで、特に「簡単に始めていただける」という点にフォーカスして、AWSのソリューションアーキテクトよりご説明しましたた。 今回このセミナーの資料や動画が公開になりましたので、以下で紹介します。

Read More

【開催報告】AWS re:Invent Recap Analytics 〜新サービスアップデート&クイックデモ〜

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 2021年1月29日に、2020年 AWS re:Invent Recapシリーズのひとつとして、分析サービスのRecapセミナーを開催いたしました。2020年 AWS re:Invent では、AWSの分析サービスに関して、新しいサービスおよび多くのアップデートが発表されました。本セッションでは、新しく発表されたサービスやアップデートを中心に共有させていただくとともに、お客さまの課題や問題をどのように解決できるのか、クイックデモを交えてご紹介させていただきました。

Read More

【開催報告&資料公開】放送業界向け InterBEE 2020 / re: Invent 2020 Recap セミナー

1 月 28 日に放送業界のお客様向けに、昨年開催された InterBEE 2020 と AWS re:Invent 2020 の Recap セッションを実施しました。 ■InterBEE 2020 Recap アマゾンウェブサービスジャパン ソリューションアーキテクト 門田 梓 [Slide] ソリューションアーキテクトの門田より、InterBEE 2020 で発表した AWS を活用した放送業界の AWS 活用事例を紹介しました。2020 年は新型コロナウイルスの感染拡大が番組制作に非常に大きく影響した年でした。登壇いただいたお客様は、この困難に立ち向かうため、AWS のサービスとツールを活用して コストを必要最小限に、ゼロから作るより迅速に、拡張性や可用性のメリットを手に入れています。本セッションでご紹介した概要は以下の通りです。

Read More