Amazon Web Services ブログ

Capella が宇宙環境を利用して地球をより身近に

オンデマンドで合成開口レーダー (Synthetic Aperture Radar, SAR) により撮影した地球観測画像を提供している Capella Space 社は、AWS へ All-in する方針を発表しました。これにより Capella 社は、業務の自動化や規模拡大に向けて、IT インフラすべてを AWS 上で稼働します。

Read More

【開催報告】「AWSではじめるデータレイク」出版記念 AWS Data Lake ハンズオンセミナー

こんにちは。AWS ソリューションアーキテクトの倉光 怜です。 7月1日に、「「AWSではじめるデータレイク」出版記念 AWS Data Lake ハンズオンセミナー」を開催いたしました。去年から行ってきた恒例のワークショップです。今回はオンラインでの開催であったにも関わらず、100名を超えるお客様にご参加頂きました。   はじめに、AWSにおけるデータ活用のベストプラクティスである Amazon S3 を中心とした Data Lake について解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、Amazon Athena や Amazon Redshift など各 AWS サービスを駆使して実際にラムダアーキテクチャを構築することがゴールです。とはいえ、全てを構築するのはボリュームが大きいため、スピードレイヤー or バッチレイヤー or 全部入りでコース分けて取り組めるようハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回は、サポートするソリューションアーキテクト5名でオンラインで対応させていただきました。全部入りコースをすべて完了すると下記アーキテクチャが構築できます。   ハンズオン終了後にはAsk the Speakerとして、書籍「AWSではじめるデータレイク」の著者である志村と関山がお客様からいただいた質問にお答えするというコーナーを設け、多くの方からご質問をいただきました。 なお、書籍の予約等もAmazon等ですでに開始しております。書店・オンラインショップでお見かけの際にはぜひよろしくお願いいたします。 AWSではじめるデータレイク(テッキーメディア)   今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか?ハンズオン自体はこちらのGithubページに公開しておりますので、ご自身で試していただくことも可能です。 「AWS Data Lake ハンズオンセミナー」は、今後も継続開催予定です。皆様のご参加お待ちしております。

Read More

[AWS Black Belt Online Seminar] Amazon Athena 資料及び QA 公開

先日 (2020/06/17) 開催しました AWS Black Belt Online Seminar「Amazon Athena」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200617 AWS Black Belt Online Seminar Amazon Athena from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. スキャンしたデータサイズに関して従量課金とありますが、S3 の料金とは別途発生するのでしょうか? A. Amazon Athena の料金はクエリでスキャンされたデータ量に基づき、5 USD/TB で課金されます。その他に、クエリ結果を保存するストレージ料金、S3 API リクエスト、データ転送に対する Amazon S3 利用料、AWS Glue データカタログの利用料が発生いたします。 Q. ファイルが分割可能というのはどのような状態をさすのでしょうか。いくつかのファイルが置いてある状態ではないのでしょうか? A. 1つのファイルを分割することができるかどうか、をさします。Amazon Athena は単一ファイルのサイズが閾値を超えた場合に、対象のファイルを分散処理できるように複数のチャンクに分割します。その際、ファイルの圧縮形式・ファイルフォーマットによっては分割できない場合があり、この場合は分散処理できず期待したパフォーマンスが得られなくなります。主なファイルフォーマット・圧縮フォーマットの分割可否は以下の通りです: gzip 圧縮ファイルは分割することができません。 bzip2 圧縮されたファイルは bzip2 がファイルを分割可能な単位で圧縮するアルゴリズムのため、分割することができます。 Snappy […]

Read More

[AWS Black Belt Online Seminar] Amazon Quantum Ledger Database (QLDB) 資料及び QA 公開

こんにちわ、ソリューションアーキテクトのザビオ(@zabbiozabbio)です! 先日 (2020/06/09) 開催しました AWS Black Belt Online Seminar「Amazon Quantum Ledger Database (QLDB) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200609 AWS Black Belt Online Seminar Amazon Quantum Ledger Database (QLDB) from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q1. 運用の途中に、ジャーナルのスキーマやテーブル構造が変更される場合もPartiQLによってDDLのような形で保存されるのでしょうか。 はい、すべてのトランザクションは遡ることが可能なので、PartiQLで表現されるDDLや、Amazon ION形式として保存されます。 Q2. Amazon Quantum Ledger Database (QLDB)もチェーンコードを記述できるのでしょうか。 QLDBはDatabaseのためチェーンコードの記述はできません。 Q3. QLDB からエクスポートしたあとの、Transaction IDは固定化するのでしょうか。 従来のものからエクスポートしたものは、固定化されます。TransactioIDや、その他メタデータはそのまま値を引き継ぎます。メタデータについてはこちらを参照ください。 Q4. QLDB のデータ検証はどのように行われるのでしょうか。 Validationの機能を利用することで、いつでも暗号学に基づいたデータ検証が確認できます。 Q5. […]

Read More

Amazon SES 東京リージョン対応のお知らせ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、アドボケイトの亀田です。 Amazon SESが東京リージョンでご利用いただけるようになりましたので、お知らせいたします。SESは、デジタルマーケティング担当者やアプリケーション開発者がマーケティング、通知、トランザクションに関するEメールを送信できるように設計された、クラウドベースのEメール送信サービスで、2011年1月にリリースされています。 AWSが提供するSMTPインターフェースやAWS SDKを用いて、既存アプリケーションへの統合をサポートし、従量課金型でメールを送信できます。また毎月62,000通のメールを無料で配信することができます。 2015年9月には、メール送信に加えて、メール受信機能がリリースされ、DNSのTXTレコードを設定することでメールを受信しAmazon S3へ保存したりAWS Lambda関数を起動したりすることでお使いの問い合わせ処理を行うアプリケーションとの統合も可能になりました。 さらに2016年3月には、カスタムFROMドメイン設定(SPFやDKIM)に対応し、メール送信時にFROMをAWS所有のamazonses.comドメインではなく、皆さんがお持ちのドメインを設定することが可能となりより使いやすくなっています。 バウンス、苦情、グローバルサプレッションリスト SESを用いてメール配信を行う際には、発生するエラーの種類や迷惑メールとして扱われるケース、そしてメールが届かない原因などについてご理解いただき、エラーに対する処理を適宜行う必要があります。ここでは主なものを纏めます。 バウンス – バウンスにはソフトバウンスとハードバウンスの2種類があります。 ソフトバウンス – 一時的な E メール配信の障害。たとえば、メールボックスがいっぱいである、接続が多すぎる (スロットリングとも呼ばれる)、または接続がタイムアウトになった場合です。Amazon SES は、ソフトバウンスを何回か再試行します。それでも E メールを配信できない場合、Amazon SES は再試行を停止します。 ハードバウンス – 永続的な E メール配信の障害。たとえば、メールボックスが存在しない場合です。Amazon SES は、DNS ルックアップの失敗を除いて、ハードバウンスを再試行しません。ハードバウンスの原因となっている E メールアドレスに対して配信の試行を繰り返さないことを強くお勧めします。 苦情 – 多くの E メールクライアントプログラムには、メッセージをスパムフォルダに移動して E メールプロバイダーに転送するためのボタン ([Mark as Spam (スパムとしてマーク)] など) が用意されています。また、ほとんどの E メールプロバイダーでは、ユーザーが不要な E メールメッセージを転送して E […]

Read More

Amazon QuickSight と AWS Lake Formation で列レベルの承認を適用する

Amazon QuickSight は、インサイトの提供を容易にし、Amazon Simple Storage Service (Amazon S3) 上に構築したデータレイクとシームレスに統合する、高速でクラウド対応のビジネスインテリジェンスサービスです。組織内の QuickSight ユーザーは、大抵の場合、コンプライアンスとセキュリティ上の理由から、列のサブセットのみにアクセスする必要があります。列レベルのセキュリティを適用するための適切なソリューションがない場合、ビュー、データマスキング、暗号化など、追加のソリューションを開発して、セキュリティを適用する必要があります。 QuickSight アカウントでは、AWS Lake Formation の列レベルの承認を利用して、ユーザーにきめ細かいレベルのアクセス制御が適用できるようになりました。 ソリューションの概要 このソリューションでは、Lake Formation を使用してエンドツーエンドのデータパイプラインを構築し、Amazon Aurora MySQLデータベースから Amazon S3 データレイクにデータを取り込み、Lake Formation を使用して QuickSight ユーザーに列レベルのアクセス制御を適用します。 次の図は、本ソリューションのアーキテクチャを示しています。 チュートリアルの概要 このソリューションの詳細な手順には、Lake Formation を使ったデータレイクの構築が含まれています。構築には、ソースとして Aurora MySQL データベース、ターゲットデータレイクストレージとして Amazon S3 を使用します。ソースデータベースからデータレイクに単一のテーブルをインポートする Lake Formation のワークフローを作成します。次に、Lake Formation のセキュリティ機能を使用して、インポートしたテーブルで QuickSight サービスの列レベルのセキュリティを適用します。最後に、QuickSight を使用してこのデータレイクに接続し、Lake Formation が QuickSightユーザーにアクセス権を付与した列のみを可視化します。 このソリューションを実装するには、次の手順を実行してください。 前提条件 ソースデータベースの作成 ソースデータベースから単一のテーブルへのインポート […]

Read More

Amazon RDS Proxy の一般提供を開始

AWS re:Invent 2019 において、Amazon RDS Proxy のプレビューの提供を開始しました。これは、Amazon Relational Database Service (RDS) のフルマネージドで可用性の高いデータベースプロキシであり、アプリケーションのスケーラビリティ、データベース障害への耐性、そして安全性を向上させるものです。MySQL エンジンのプレビューに続き、PostgreSQL 互換にまで拡張しました。本日より、両方のエンジンで一般提供を開始します。 AWS Lambda、Fargate、Amazon ECS、または EKS を使用する最新のサーバーレスアーキテクチャで構築されたアプリケーションを含む多くのアプリケーションは、データベースサーバーへの多数の開いた接続を持ち、データベース接続を高速で開閉し、大量のデータベースメモリやコンピューティングリソースを消費しています。 Amazon RDS Proxy を使用すると、データベースで確立された接続をアプリケーションでプールおよび共有できるため、データベースの効率、アプリケーションのスケーラビリティ、およびセキュリティが向上します。RDS Proxy を使用すると、Amazon Aurora および RDS データベースのフェイルオーバー時間が最大 66% 削減され、データベースの認証情報、認証、およびアクセスは、AWS Secrets Manager および AWS Identity and Access Management (IAM) との統合により管理できます。 Amazon RDS Proxy は、ほとんどのアプリケーションでコードを変更することなく有効にできます。追加のインフラストラクチャをプロビジョニングまたは管理する必要はなく、プロキシが有効になっているデータベースインスタンスの vCPU ごとに支払うだけです。 Amazon RDS Proxy – 開始方法 AWS マネジメントコンソールに移動し、RDS データベースの […]

Read More

未来を見据えたテレビ歴史の保存とアーカイブ

Team Coco が AWS と Iron Mountain を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトからハイライトを永続的に保存、トランスコード、表示、クリップ、および公開して、何百万人もの Conan ファンに公開した方法。 古い英詩があります。古いもの、新しいもの、人から借りたもの、青いものなど、花嫁が身に付けると幸せになるといわれるものを持参する限り、新たなことに取り組むときに幸運を掴めるというものです。 ほとんどの人は、結婚を申し込むほどの重要な日に古くからの知恵を使うようにしています。しかし、Team Coco では、これをまったく別の種類の提案に使用することにしました。私たちの上司は、伝説的な深夜テレビの司会者である Conan O’Brien が率いるチームから来ました。そして、彼は私たちが大胆な計画に乗り出すことを要求しました。 彼が担当した NBC ショーの 2725 件のエピソードをデジタル化する エピソードを将来性のあるデジタル形式で永続的に保存する すべてのエピソードを表示およびカタログ化するシステムを実装する ロックされて何年も保管庫の劣化テープに保管されていたお気に入りの瞬間にファンがアクセスできる画期的なサービスを提供する そして、1993 年 9 月の最初のショーから 25 周年目までに出版を始めることを目標としていたので、すぐに作業を始める必要があります。上司を落胆させたくはありません。 Team Coco では、新しい挑戦に対して肯定的に反応したいのは山々ですが、このような一生に一度の機会に直面することはありませんでした。この種のタスクを処理するための最良の方法に関するロードマップを提供する類似プロジェクトから単純な類似点を見つけることは困難でした。Team Coco の小規模チームが従来のオンプレミス手段を使用して、デジタル化、保存、トランスコーディング、およびカタログ化の範囲と規模を処理することは不可能でした。しかし、私たちの厳しい生産スケジュールによって悪化しました。これにより、AWS クラウドという、目標を達成するためのワークフローを構築する唯一の実行可能な方法が残りました。このブログ記事では、Team Coco が AWS を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトのハイライトを永続的に保存、トランスコード、表示、クリップして、何百万人もの Conan ファンに公開した方法について説明します。 古いものと借りたもの: テープ保管庫、ビデオテープマスター、輸送、デジタル化 プロジェクトの前は、利用可能な最高品質のクリップはファンのアップロードによるものでした。 テープをデジタル化するプロセスの簡単な概要は次のとおりです。 […]

Read More

AWS Lake Formation で Amazon QuickSight の作成者に対するきめ細かなアクセス許可の設定を実現

Amazon QuickSight と AWS Lake Formation セキュリティモデルの統合をお知らせします。これにより、QuickSight の作成者に対するきめ細かなアクセス制御の設定が可能になります。データレイク管理者は、Lake Formation コンソールを使用して、 QuickSight ユーザーおよびグループに対して、Lake Formation を介して登録および管理される AWS Glue データカタログのデータベース、テーブル、および Amazon Simple Storage Service (Amazon S3) バケットへのアクセス許可を付与できるようになりました。 この新機能は、以前 QuickSight で導入されたきめ細かなアクセス制御機能を強化します。これにより、管理者は、AWS Identity and Access Management (IAM) ポリシーを使用して、Amazon S3、Amazon Athena、Amazon Relational Database Service (Amazon RDS)、および Amazon Redshift への QuickSight 作成者のアクセス権限をスコープダウンすることができます。アクセス権限のスコープダウンは、QuickSight ユーザーまたは QuickSight ポータルのグループに IAM ポリシーをアタッチすることによって有効になります。詳細については、Amazon S3 および Amazon Athena に対する […]

Read More

Amazon Textract、Amazon Comprehend、および Amazon Lex を使ったインボイスからの対話型インサイトの取得

さまざまな業界の企業が、インボイスなどの処理する必要がある大量の物理的ドキュメントを抱えています。表、フォーム、段落、およびチェックボックスが含まれている場合、スキャンしたドキュメントからの情報の抽出は困難です。企業は、手作業、カスタムコード、または光学文字認識 (OCR) テクノロジーを使ってこれらの問題に対応してきましたが、これにはフォームの抽出とカスタムワークフローのためのテンプレートが必要です。 それに加えて、ドキュメントからのテキストまたはコンテンツの抽出後、エンドユーザーのためにこれらの領収書またはインボイスからインサイトも抽出したいとも考えています。しかし、これには複雑な NLP モデルの構築が必要となります。モデルのトレーニングには、大量のトレーニングデータとコンピューティングリソースが必要です。機械学習モデルの構築とトレーニングには、高額な費用と時間がかかりかねません。 また、これらのドキュメントとやり取りするための人間的なインターフェイスを提供しても、エンドユーザーにとっては扱いにくいものです。エンドユーザーはしばしばヘルプデスクに電話をかけますが、これも企業のコストを徐々に増加させます。 この記事では、AWS の AI サービスを使ってテキストデータの処理とインサイトの検出を自動化する方法について説明します。Amazon Textract、Amazon Comprehend、および Amazon Lex などの AWS の AI サービスを使用することで、自動化されたサーバーレスソリューションをセットアップしてこの要件に対応できます。今回は、以下のステップを順に説明していきます。 Amazon Textract を使って pdf または画像の領収書/インボイスからテキストを抽出する。 Amazon Comprehend を使ってインサイトを取得する。 Amazon Lex を使って、これらのインサイトと自然言語でやり取りする。 次に、この問題を解決するソリューションを構築するためのサービスとアーキテクチャについて説明します。 使用されるサービス このソリューションは、スケーラブルかつコスト効率性に優れたアーキテクチャを実装するために、以下の AI サービス、サーバーレステクノロジー、およびマネージドサービスを使用します。 Amazon Cognito – ウェブおよびモバイルアプリケーションにユーザーサインアップ、サインイン、およびアクセスコントロールを簡単に素早く追加できるようにします。 AWS Lambda – データの変更、システム状態の変化、ユーザーアクションなどのトリガーに応答してコードを実行します。Amazon S3 は Lambda 関数を直接トリガーできるため、さまざまなリアルタイムのサーバーレスデータ処理システムを構築できます。 Amazon Lex – 対話型 Chatbot を作成するためのインターフェイスを提供します。 Amazon […]

Read More