Amazon Web Services ブログ

Category: Analytics

Simple Replay ユーティリティで Amazon Redshift RA3 への移行評価を簡易化

本記事は Amazon Web Services, Senior Analytics Specialist Solutions Architect である Manash Deb, Senior Database Engineer である Srinath Madabushi によって投稿されたものです。 Amazon Redshift は、高速かつフルマネージドであり広く普及しているクラウドデータウェアハウスです。標準 SQL を使用して、データウェアハウス、業務データベース、データレイク全体でエクサバイト単位のデータを処理できます。Amazon Redshift では様々なワークロードに対応するために複数のノードタイプが用意されており、要件に応じて RA3、DC2、DS2 から選択できます。RA3 は最新のインスタンスタイプで、コンピューティングとストレージを個別にスケーリングして料金を支払うことができます。また、クラスター間のデータ共有やアベイラビリティーゾーン間のクラスター再配置などの高度な機能も使用できます。アップグレード時のノード数とノードタイプに関する推奨事項の詳細については、RA3 ノードタイプへのアップグレードを参照してください。 マネージドストレージを備えた新しい Amazon Redshift RA3 ノードを使用して、クラウドデータウェアハウスを拡張し、コストを削減 と Amazon Redshift ベンチマーク: RA3 と DS2 インスタンスタイプの比較 では、DS2 から RA3 への移行の利点を詳細に説明しています。既存の DS2 をお使いのお客様に加え、DC2 をお使いのお客様の多くも、RA3 のメリットについて学び、パフォーマンスを評価した後に RA3 へ移行しました。しかし、この新しい RA3 ノードタイプのパフォーマンスを評価するためには、既存のワークロードを手動で再現する必要があります。 […]

Read More

Amazon SageMakerとAmazon QuickSightを使用した有害事象のリアルタイム検出システムの構築

この記事は “Build a system for catching adverse events in real-time using Amazon SageMaker and Amazon QuickSight” を翻訳したものです。 ソーシャルメディアプラットフォームは、消費者が服用している医薬品を含むさまざまな製品について話すためのコミュニケーションチャネルを提供します。製薬会社にとって、製品の作用を監視して効果的に追跡することで、製品に関する顧客からのフィードバックが得られます。これは、患者の安全の維持と向上に不可欠です。しかし、医薬品投与による予期せぬ医療事象が発生した場合は、有害事象(AE)に分類されます。これには、投薬過誤、薬物有害反応、アレルギー反応、過剰摂取が含まれます。AEは、病院、介護施設、外来患者の環境など、どこでも発生する可能性があります。

Read More

Coca-Cola Bottler が AWS で製造プロセスをデジタル化

Coca-Cola İçecek 社 (CCI 社) は、世界第 6 位の Coca-Cola 製品のボトラーです。トルコのイスタンブールに本社を置く CCI 社は、いくつかの印象的な数字をもたらしています。トルコ、アゼルバイジャン、イラク、ヨルダン、カザフスタン、キルギスタン、パキスタン、シリア、タジキスタン、トルクメニスタンの 10 カ国で事業を展開し、26 のボトリング工場で毎年 12 億ケースの飲料を製造して、4 億もの消費者に提供しています。 CCI 社は、デジタルプラントのレプリカ、つまりデジタルツインをクラウド上に構築することで、製造施設を近代化しています。高度な分析、人工知能(AI)、リアルタイム資産モニタリングで価値を引き出そうと考えています。実際、CCI 社は他のコカ・コーラのボトラー各社が同じデジタル製造ソリューションを施設に導入できるように、再現可能なプレイブックを構築しました。

Read More
Amazon QuickSight

Amazon QuickSight の新しいフリーフォーム・レイアウトモードにて、見事でピクセル・パーフェクトなダッシュボードを作成

本記事は Amazon Web Services, principal product manager for Amazon QuickSightであるJose KunnackalとSenior Solution Architect for Amazon QuickSightであるArun Santhosh によって投稿されてものです。 Amazon QuickSightの最新の更新では、新しい自由形式のダッシュボードレイアウトオプションに加えて、ビジュアルごとのきめ細かなインタラクションコントロールと条件付きレンダリングオプションが導入され、ダッシュボード作成者にさまざまなクリエイティブな可能性を広げます。この記事では、利用可能な新機能と、それらを使用して見事なダッシュボードを作成して共有する方法について説明します。組織内の QuickSightリーダー(Reader)向け、またはエンドユーザー向けのアプリケーションへの埋め込みにも使用できます。

Read More

Snowflake から Amazon Redshift レイクハウスアーキテクチャに移行する

本記事は Amazon Web Services, Solutions Architect で Analytics Specialist である Soujanya Konka と Solutions Architect で Big data and Analytics Specialist である Shraddha Patel によって投稿されたものです。   収集したデータが増えるにつれて、有意義な洞察をタイムリーに引き出すことがより求められるようになります。データウェアハウスは、データの格納、変換、データへのアクセスを容易にするという重要な役割を果たすことで、データマイニング、ビジネスインテリジェンス(BI)、レポート、診断に加え、予測分析(predictive analysis)、最適化分析(prescriptive analysis)、コグニティブ分析(cognitive analysis)などの幅広いユースケースを実現します。Amazon Redshift の新機能により、幅広いデータ要件に対応し、抽出、ロード、変換 (ELT) ジョブとクエリのパフォーマンスを向上できます。たとえば、Concurrency Scaling、新しい RA3 インスタンスタイプ、Elastic Resize、マテリアライズドビューがあります。Federated Query により、Amazon Aurora または Amazon Relational Database Service (Amazon RDS) PostgreSQL (訳注:MySQLも2021年9月より一般提供を開始)の運用中のデータベースに Redshift から直接クエリできます。 SUPER データ型は半構造化データやドキュメントを値として格納できます。Amazon Redshift […]

Read More

AWS DevOps Monitoring Dashboard ソリューションを使用して CI/CD メトリクスのキャプチャと分析を自動化する方法

この記事は 2021年4月14日に Solutions Builder and Data Analytics SME の Aijun Peng と Technical Program Manager の Rakshana Balakrishnan により投稿された How to automate capture and analysis of CI/CD metrics using AWS DevOps Monitoring Dashboard solution を翻訳したものです。 世界中の企業が、ソフトウェア・デリバリー・プロセスの生産性を向上させるために、DevOps ツールに投資しています。お客様からは、継続的インテグレーション/継続的デリバリ (CI/CD) パイプラインのパフォーマンスや運用に関するメトリクスを収集して、DevOps の自動化から得られる価値を定量化し、ソフトウェアデリバリーの効率化を行える箇所を特定したい、という声が寄せられています。しかし、お客様の中には、適切なメトリクスを特定し、CI/CD パイプラインのさまざまなコンポーネントからメトリクスを集約することは、複雑で時間のかかるものであるため、困難であると感じている方もいらっしゃいます。 この記事では、AWS DevOps Monitoring Dashboard ソリューションを使うことで、DevOps メトリクスを収集して可視化するためのセットアッププロセスを自動化し、時間と労力を節約する方法を紹介します。このソリューションは、あらゆる規模の組織がソフトウェア・デリバリー・プロセスにおける主要な運用指標を収集、分析、可視化することを容易にするリファレンス実装です。

Read More

Amazon Redshift で slowly changing dimension を実装する

本記事は Amazon Web Services, Data Warehouse Specialist Solutions Architect である Milind Oke と Analytics Specialist Solutions Architect である Bhanu Pittampally によって投稿されたものです。 Amazon Redshift は、フルマネージドな、ペタバイトスケールのクラウドデータウェアハウスサービスです。データウェアハウス内での使用に最適化されたデータのスキーマとして、スタースキーマが挙げられます。スタースキーマとは、ディメンションという、ファクト(注:ビジネス関連の測定データ)やメジャーなどの情報をカテゴライズし、ビジネスクエスチョンに回答するための構造です。ディメンションテーブルの属性(カラム)は、ファクトテーブルのメジャーに対してビジネス上の意味を与えます。ディメンションテーブル内のレコードは、顧客 ID などのユニークなキーによって特定され、ファクトテーブルのレコードはディメンションテーブルの主キーに対して外部キーを持ちます。ディメンションテーブルとファクトテーブルは、これらそれぞれの主キーと外部キーを介して結合されます。

Read More

Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイク、データストア、および分析サービスに確実にロードするための便利な方法を提供します。Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにストリーミングデータをキャプチャ、変換、配信することができます。Amazon Kinesis Data Firehoseは、データのスループットに合わせて自動的にスケーリングされるフルマネージドサービスであり、継続的な管理を必要としません。また、データストリームをロードする前にバッチ、圧縮、変換、暗号化できるため、ストレージの使用量が最小限に抑えられ、セキュリティが向上します。 Amazon Kinesis Data Firehose を使用するお客様は、多くの場合、分析のためにデータを送信先に送る前に、各コードに含まれる情報に基づいて受信データを動的に分割したいと考えています。その一例として、モノのインターネット (IoT)から受信したデータを生成したデバイスの種類 (Android、iOS、FireTV など) に基づいてセグメント化することが挙げられます。以前は、この機能を実現するには、データが Amazon S3 に書き出されたあとに全く別のジョブを実行してデータをパーティショニングし直す必要がありました。

Read More

大量の音声データからインサイトを発見する

近年データドリブン経営が注目されています。多くの企業がデータの価値を理解し、各業務プロセスからデータを収集し始めました。その流れでコールセンター、各種会議または金融機関対面窓口の通話も録音され保存されていますが、それらの音声データをどう活用するかという点では、まだ課題があります。またデータアナリティクスや人工知能の開発者が音声認識、自然言語処理およびデータ分析の一連ワークフローを構築する必要があり、人材とリソースの不足によって音声データの利活用が進んでいない状況です。 このブログ記事では、AWS上で上記ワークフローを構築する方法を示しています。AWS Glueを利用して、大量の音声データに対してAmazon Transcribe を利用した文字起こしを行い、次に変換された文字に対してAWS LambdaでAmazon Comprehendを呼び出してキーワードを抽出します。最後にAmazon Athena と Amazon QuickSight を利用して会話データにおけるキーワードの出現頻度を可視化するワードクラウドを作成します。

Read More

新機能 – Amazon Redshift 向け AWS Data Exchange

2019 年に AWS Data Exchange について説明し、データ製品の検索、サブスクライブ、および使用方法について説明しました。現在では、次の 10 のカテゴリで 3600 を超えるデータ製品を選択できます。 導入記事では、データ製品をサブスクライブし、そのデータセットを Amazon Simple Storage Service (Amazon S3) バケットにダウンロードする方法を説明しました。次に、AWS Lambda 関数、AWS Glue クローラ、 Amazon Athena クエリなど、さらなる処理のためのさまざまなオプションを提案しました。 今回は、Amazon Redshift 向け AWS Data Exchange の導入により、サードパーティデータの検索、サブスクライブ、使用がさらに簡単にします。

Read More