Amazon Web Services ブログ

先日 (2020/06/17) 開催しました AWS Black Belt Online Seminar「Amazon Athena」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200617 AWS Black Belt Online Seminar Amazon Athena AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. スキャンしたデータサイズに関して従量課金とありますが、S3 の料金とは別途発生するのでしょうか？ A. Amazon Athena の料金はクエリでスキャンされたデータ量に基づき、5 USD/TB で課金されます。その他に、クエリ結果を保存するストレージ料金、S3 API リクエスト、データ転送に対する Amazon S3 利用料、AWS Glue データカタログの利用料が発生いたします。 Q. ファイルが分割可能というのはどのような状態をさすのでしょうか。いくつかのファイルが置いてある状態ではないのでしょうか？ A. 1つのファイルを分割することができるかどうか、をさします。Amazon Athena は単一ファイルのサイズが閾値を超えた場合に、対象のファイルを分散処理できるように複数のチャンクに分割します。その際、ファイルの圧縮形式・ファイルフォーマットによっては分割できない場合があり、この場合は分散処理できず期待したパフォーマンスが得られなくなります。主なファイルフォーマット・圧縮フォーマットの分割可否は以下の通りです: gzip 圧縮ファイルは分割することができません。 bzip2 圧縮されたファイルは bzip2 がファイルを分割可能な単位で圧縮するアルゴリズムのため、分割することができます。 Snappy で圧縮されたデータそれ自体は分割することができませんが、Parquet ファイル形式が分割可能なブロックごとに Snappy 圧縮を実施しているため、分割可能となります。 Q. […]

こんにちわ、ソリューションアーキテクトのザビオ(@zabbiozabbio)です！ 先日 (2020/06/09) 開催しました AWS Black Belt Online Seminar「Amazon Quantum Ledger Database (QLDB) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200609 AWS Black Belt Online Seminar Amazon Quantum Ledger Database (QLDB) AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q1. 運用の途中に、ジャーナルのスキーマやテーブル構造が変更される場合もPartiQLによってDDLのような形で保存されるのでしょうか。 はい、すべてのトランザクションは遡ることが可能なので、PartiQLで表現されるDDLや、Amazon ION形式として保存されます。 Q2. Amazon Quantum Ledger Database (QLDB)もチェーンコードを記述できるのでしょうか。 QLDBはDatabaseのためチェーンコードの記述はできません。 Q3. QLDB からエクスポートしたあとの、Transaction IDは固定化するのでしょうか。 従来のものからエクスポートしたものは、固定化されます。TransactioIDや、その他メタデータはそのまま値を引き継ぎます。メタデータについてはこちらを参照ください。 Q4. QLDB のデータ検証はどのように行われるのでしょうか。 Validationの機能を利用することで、いつでも暗号学に基づいたデータ検証が確認できます。 Q5. アプリケーションの一部をQLDBに置き換えることを考えております。RDBと併用することにおいて懸念点はありますか？またSQLとほぼ同様なインターフェースがあるとのことですがRDBのような他のテーブルとのJOINや複雑な検索は可能でしょうか。 QLDBはRDBと同じようなインターフェースはありますが、すべてのPartiQLをサポートしているわけではありません。 DBへのアクセスパターンや、ワークロード次第になりますが、大きく以下2種類に分類されるかと思います。 複雑なSQLはRDBMSで処理させ、確実に整合性を保証し、履歴を残し、改ざんを検知するものは、QLDBを使う。 QLDBで実行できるものはQLDBで実行し、QLDBで処理できないものは、QLDB […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、アドボケイトの亀田です。 Amazon SESが東京リージョンでご利用いただけるようになりましたので、お知らせいたします。SESは、デジタルマーケティング担当者やアプリケーション開発者がマーケティング、通知、トランザクションに関するEメールを送信できるように設計された、クラウドベースのEメール送信サービスで、2011年1月にリリースされています。 AWSが提供するSMTPインターフェースやAWS SDKを用いて、既存アプリケーションへの統合をサポートし、従量課金型でメールを送信できます。また毎月62,000通のメールを無料で配信することができます。 2015年9月には、メール送信に加えて、メール受信機能がリリースされ、DNSのTXTレコードを設定することでメールを受信しAmazon S3へ保存したりAWS Lambda関数を起動したりすることでお使いの問い合わせ処理を行うアプリケーションとの統合も可能になりました。 さらに2016年3月には、カスタムFROMドメイン設定（SPFやDKIM）に対応し、メール送信時にFROMをAWS所有のamazonses.comドメインではなく、皆さんがお持ちのドメインを設定することが可能となりより使いやすくなっています。 バウンス、苦情、グローバルサプレッションリスト SESを用いてメール配信を行う際には、発生するエラーの種類や迷惑メールとして扱われるケース、そしてメールが届かない原因などについてご理解いただき、エラーに対する処理を適宜行う必要があります。ここでは主なものを纏めます。 バウンス – バウンスにはソフトバウンスとハードバウンスの2種類があります。 ソフトバウンス – 一時的な E メール配信の障害。たとえば、メールボックスがいっぱいである、接続が多すぎる (スロットリングとも呼ばれる)、または接続がタイムアウトになった場合です。Amazon SES は、ソフトバウンスを何回か再試行します。それでも E メールを配信できない場合、Amazon SES は再試行を停止します。 ハードバウンス – 永続的な E メール配信の障害。たとえば、メールボックスが存在しない場合です。Amazon SES は、DNS ルックアップの失敗を除いて、ハードバウンスを再試行しません。ハードバウンスの原因となっている E メールアドレスに対して配信の試行を繰り返さないことを強くお勧めします。 苦情 – 多くの E メールクライアントプログラムには、メッセージをスパムフォルダに移動して E メールプロバイダーに転送するためのボタン ([Mark as Spam (スパムとしてマーク)] など) が用意されています。また、ほとんどの E メールプロバイダーでは、ユーザーが不要な E メールメッセージを転送して E […]

Amazon QuickSight は、インサイトの提供を容易にし、Amazon Simple Storage Service (Amazon S3) 上に構築したデータレイクとシームレスに統合する、高速でクラウド対応のビジネスインテリジェンスサービスです。組織内の QuickSight ユーザーは、大抵の場合、コンプライアンスとセキュリティ上の理由から、列のサブセットのみにアクセスする必要があります。列レベルのセキュリティを適用するための適切なソリューションがない場合、ビュー、データマスキング、暗号化など、追加のソリューションを開発して、セキュリティを適用する必要があります。 QuickSight アカウントでは、AWS Lake Formation の列レベルの承認を利用して、ユーザーにきめ細かいレベルのアクセス制御が適用できるようになりました。 ソリューションの概要 このソリューションでは、Lake Formation を使用してエンドツーエンドのデータパイプラインを構築し、Amazon Aurora MySQLデータベースから Amazon S3 データレイクにデータを取り込み、Lake Formation を使用して QuickSight ユーザーに列レベルのアクセス制御を適用します。 次の図は、本ソリューションのアーキテクチャを示しています。 チュートリアルの概要 このソリューションの詳細な手順には、Lake Formation を使ったデータレイクの構築が含まれています。構築には、ソースとして Aurora MySQL データベース、ターゲットデータレイクストレージとして Amazon S3 を使用します。ソースデータベースからデータレイクに単一のテーブルをインポートする Lake Formation のワークフローを作成します。次に、Lake Formation のセキュリティ機能を使用して、インポートしたテーブルで QuickSight サービスの列レベルのセキュリティを適用します。最後に、QuickSight を使用してこのデータレイクに接続し、Lake Formation が QuickSightユーザーにアクセス権を付与した列のみを可視化します。 このソリューションを実装するには、次の手順を実行してください。 前提条件 ソースデータベースの作成 ソースデータベースから単一のテーブルへのインポート […]

AWS re:Invent 2019 において、Amazon RDS Proxy のプレビューの提供を開始しました。これは、Amazon Relational Database Service (RDS) のフルマネージドで可用性の高いデータベースプロキシであり、アプリケーションのスケーラビリティ、データベース障害への耐性、そして安全性を向上させるものです。MySQL エンジンのプレビューに続き、PostgreSQL 互換にまで拡張しました。本日より、両方のエンジンで一般提供を開始します。 AWS Lambda、Fargate、Amazon ECS、または EKS を使用する最新のサーバーレスアーキテクチャで構築されたアプリケーションを含む多くのアプリケーションは、データベースサーバーへの多数の開いた接続を持ち、データベース接続を高速で開閉し、大量のデータベースメモリやコンピューティングリソースを消費しています。 Amazon RDS Proxy を使用すると、データベースで確立された接続をアプリケーションでプールおよび共有できるため、データベースの効率、アプリケーションのスケーラビリティ、およびセキュリティが向上します。RDS Proxy を使用すると、Amazon Aurora および RDS データベースのフェイルオーバー時間が最大 66% 削減され、データベースの認証情報、認証、およびアクセスは、AWS Secrets Manager および AWS Identity and Access Management (IAM) との統合により管理できます。 Amazon RDS Proxy は、ほとんどのアプリケーションでコードを変更することなく有効にできます。追加のインフラストラクチャをプロビジョニングまたは管理する必要はなく、プロキシが有効になっているデータベースインスタンスの vCPU ごとに支払うだけです。 Amazon RDS Proxy – 開始方法 AWS マネジメントコンソールに移動し、RDS データベースの […]

Team Coco が AWS と Iron Mountain を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトからハイライトを永続的に保存、トランスコード、表示、クリップ、および公開して、何百万人もの Conan ファンに公開した方法。 古い英詩があります。古いもの、新しいもの、人から借りたもの、青いものなど、花嫁が身に付けると幸せになるといわれるものを持参する限り、新たなことに取り組むときに幸運を掴めるというものです。 ほとんどの人は、結婚を申し込むほどの重要な日に古くからの知恵を使うようにしています。しかし、Team Coco では、これをまったく別の種類の提案に使用することにしました。私たちの上司は、伝説的な深夜テレビの司会者である Conan O’Brien が率いるチームから来ました。そして、彼は私たちが大胆な計画に乗り出すことを要求しました。 彼が担当した NBC ショーの 2725 件のエピソードをデジタル化する エピソードを将来性のあるデジタル形式で永続的に保存する すべてのエピソードを表示およびカタログ化するシステムを実装する ロックされて何年も保管庫の劣化テープに保管されていたお気に入りの瞬間にファンがアクセスできる画期的なサービスを提供する そして、1993 年 9 月の最初のショーから 25 周年目までに出版を始めることを目標としていたので、すぐに作業を始める必要があります。上司を落胆させたくはありません。 Team Coco では、新しい挑戦に対して肯定的に反応したいのは山々ですが、このような一生に一度の機会に直面することはありませんでした。この種のタスクを処理するための最良の方法に関するロードマップを提供する類似プロジェクトから単純な類似点を見つけることは困難でした。Team Coco の小規模チームが従来のオンプレミス手段を使用して、デジタル化、保存、トランスコーディング、およびカタログ化の範囲と規模を処理することは不可能でした。しかし、私たちの厳しい生産スケジュールによって悪化しました。これにより、AWS クラウドという、目標を達成するためのワークフローを構築する唯一の実行可能な方法が残りました。このブログ記事では、Team Coco が AWS を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトのハイライトを永続的に保存、トランスコード、表示、クリップして、何百万人もの Conan ファンに公開した方法について説明します。 古いものと借りたもの: テープ保管庫、ビデオテープマスター、輸送、デジタル化 プロジェクトの前は、利用可能な最高品質のクリップはファンのアップロードによるものでした。 テープをデジタル化するプロセスの簡単な概要は次のとおりです。 […]

Amazon QuickSight と AWS Lake Formation セキュリティモデルの統合をお知らせします。これにより、QuickSight の作成者に対するきめ細かなアクセス制御の設定が可能になります。データレイク管理者は、Lake Formation コンソールを使用して、 QuickSight ユーザーおよびグループに対して、Lake Formation を介して登録および管理される AWS Glue データカタログのデータベース、テーブル、および Amazon Simple Storage Service (Amazon S3) バケットへのアクセス許可を付与できるようになりました。 この新機能は、以前 QuickSight で導入されたきめ細かなアクセス制御機能を強化します。これにより、管理者は、AWS Identity and Access Management (IAM) ポリシーを使用して、Amazon S3、Amazon Athena、Amazon Relational Database Service (Amazon RDS)、および Amazon Redshift への QuickSight 作成者のアクセス権限をスコープダウンすることができます。アクセス権限のスコープダウンは、QuickSight ユーザーまたは QuickSight ポータルのグループに IAM ポリシーをアタッチすることによって有効になります。詳細については、Amazon S3 および Amazon Athena に対する […]

さまざまな業界の企業が、インボイスなどの処理する必要がある大量の物理的ドキュメントを抱えています。表、フォーム、段落、およびチェックボックスが含まれている場合、スキャンしたドキュメントからの情報の抽出は困難です。企業は、手作業、カスタムコード、または光学文字認識 （OCR） テクノロジーを使ってこれらの問題に対応してきましたが、これにはフォームの抽出とカスタムワークフローのためのテンプレートが必要です。 それに加えて、ドキュメントからのテキストまたはコンテンツの抽出後、エンドユーザーのためにこれらの領収書またはインボイスからインサイトも抽出したいとも考えています。しかし、これには複雑な NLP モデルの構築が必要となります。モデルのトレーニングには、大量のトレーニングデータとコンピューティングリソースが必要です。機械学習モデルの構築とトレーニングには、高額な費用と時間がかかりかねません。 また、これらのドキュメントとやり取りするための人間的なインターフェイスを提供しても、エンドユーザーにとっては扱いにくいものです。エンドユーザーはしばしばヘルプデスクに電話をかけますが、これも企業のコストを徐々に増加させます。 この記事では、AWS の AI サービスを使ってテキストデータの処理とインサイトの検出を自動化する方法について説明します。Amazon Textract、Amazon Comprehend、および Amazon Lex などの AWS の AI サービスを使用することで、自動化されたサーバーレスソリューションをセットアップしてこの要件に対応できます。今回は、以下のステップを順に説明していきます。 Amazon Textract を使って pdf または画像の領収書/インボイスからテキストを抽出する。 Amazon Comprehend を使ってインサイトを取得する。 Amazon Lex を使って、これらのインサイトと自然言語でやり取りする。 次に、この問題を解決するソリューションを構築するためのサービスとアーキテクチャについて説明します。 使用されるサービス このソリューションは、スケーラブルかつコスト効率性に優れたアーキテクチャを実装するために、以下の AI サービス、サーバーレステクノロジー、およびマネージドサービスを使用します。 Amazon Cognito – ウェブおよびモバイルアプリケーションにユーザーサインアップ、サインイン、およびアクセスコントロールを簡単に素早く追加できるようにします。 AWS Lambda – データの変更、システム状態の変化、ユーザーアクションなどのトリガーに応答してコードを実行します。Amazon S3 は Lambda 関数を直接トリガーできるため、さまざまなリアルタイムのサーバーレスデータ処理システムを構築できます。 Amazon Lex – 対話型 Chatbot を作成するためのインターフェイスを提供します。 Amazon […]

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 事業開発担当 甲谷です。 6/4に、「Amazon Redshift事例祭り（移行編）～Let’s Modernize Our Data Warehouses!」を開催いたしました。本ブログ記事では、本イベントの内容について簡単にご紹介するとともに、詳細に関しては各発表スライドへのリンクを設けておりますので、ご関心の有る方はダウンロードください。 今回はデータウェアハウス(DWH) Modernizationということで、既存のオンプレミスのデータウェアハウス(DWH)環境から、AWSの高速かつ完全マネージド型のDWHであるAmazon Redshiftへ移行されたお客様に、移行の決め手や移行後の効果について「本音」でお話ししていただきました。セミナーではオンライン形式で、お客様の移行体験談を中心に、AWSソリューションアーキテクトから移行に関するTIPS、DWH Migration Program、APNプログラムについてもご紹介しました。

本Blogでは日本時間の本日未明に終了した「AWS Public Sector Summit Online」 における、ブレイクアウトセッションのハイライトをご紹介いたします（記載は2020年7月1日時点）。 【キーノート編】も本日併せて公開されておりますので、ご参照ください（こちら。World Wide Public Sector部門のバイス・プレジデントであるテレサ・カールソンが登壇した基調講演のハイライトです）。　YouTubeでの動画公開が可能となり次第、各セッションへのリンクも貼られる予定です。 おすすめのブレイクアウト・セッション 以下、日本のお客様向けに、今回のサミットで開催された２５のブレイクアウト・セッションの中から幾つかをご紹介させていただきます（開催終了後も、こちらに登録いただくことで全セッションを聴講いただくことが可能です。 公共機関のＤＸ、マネジメント＆イノベーション系のセッション： “Critical components for transformation within an international government context” Céline Degrauwe（Digital Transformation Adviser for Government, AWS）は、次のように述べます。　いずれの国の政府機関にとっても、①「リーダーによる強力なコミットメント」、②“イノベーションを選好する文化の確立” – 例えば「デザイン・シンキング」を起点とし、市民のニーズからミッションとツールとしてのテクノロジーを逆算して設定、③データ・クラシフィケーションを自組織内で実施し、クラウドに相応しい分類方針をセットすることが必要──である旨、３つの考え方を紹介しています。例えば、“Gov.BR”の事例では、Brazilの政府機関では４００以上の新しいデジタルサービスを投入しています。AWSも、「Executive Education」を」 を標準3日間のコースとして提供し、政府部門のDXを支援しています。民間部門と公共部門の大部分の重要なデータは合致し、現代では多大な協働が期待されています。“Procurement is the gateway to innovation“とも述べ、各国でのクラウドの買い方に関する調達改革の必要性もこのセッションでは強調されました。 “Understanding optimizing costs with the AWS Cloud” ── David Lurie（Business Development Capture Manager Canada, Worldwide Public sector, […]