Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

【開催報告】「AWSではじめるデータレイク」出版記念 AWS Data Lake ハンズオンセミナー

こんにちは。AWS ソリューションアーキテクトの倉光 怜です。 7月1日に、「「AWSではじめるデータレイク」出版記念 AWS Data Lake ハンズオンセミナー」を開催いたしました。去年から行ってきた恒例のワークショップです。今回はオンラインでの開催であったにも関わらず、100名を超えるお客様にご参加頂きました。   はじめに、AWSにおけるデータ活用のベストプラクティスである Amazon S3 を中心とした Data Lake について解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、Amazon Athena や Amazon Redshift など各 AWS サービスを駆使して実際にラムダアーキテクチャを構築することがゴールです。とはいえ、全てを構築するのはボリュームが大きいため、スピードレイヤー or バッチレイヤー or 全部入りでコース分けて取り組めるようハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回は、サポートするソリューションアーキテクト5名でオンラインで対応させていただきました。全部入りコースをすべて完了すると下記アーキテクチャが構築できます。   ハンズオン終了後にはAsk the Speakerとして、書籍「AWSではじめるデータレイク」の著者である志村と関山がお客様からいただいた質問にお答えするというコーナーを設け、多くの方からご質問をいただきました。 なお、書籍の予約等もAmazon等ですでに開始しております。書店・オンラインショップでお見かけの際にはぜひよろしくお願いいたします。 AWSではじめるデータレイク(テッキーメディア)   今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか?ハンズオン自体はこちらのGithubページに公開しておりますので、ご自身で試していただくことも可能です。 「AWS Data Lake ハンズオンセミナー」は、今後も継続開催予定です。皆様のご参加お待ちしております。

Read More

[AWS Black Belt Online Seminar] Amazon Athena 資料及び QA 公開

先日 (2020/06/17) 開催しました AWS Black Belt Online Seminar「Amazon Athena」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200617 AWS Black Belt Online Seminar Amazon Athena from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. スキャンしたデータサイズに関して従量課金とありますが、S3 の料金とは別途発生するのでしょうか? A. Amazon Athena の料金はクエリでスキャンされたデータ量に基づき、5 USD/TB で課金されます。その他に、クエリ結果を保存するストレージ料金、S3 API リクエスト、データ転送に対する Amazon S3 利用料、AWS Glue データカタログの利用料が発生いたします。 Q. ファイルが分割可能というのはどのような状態をさすのでしょうか。いくつかのファイルが置いてある状態ではないのでしょうか? A. 1つのファイルを分割することができるかどうか、をさします。Amazon Athena は単一ファイルのサイズが閾値を超えた場合に、対象のファイルを分散処理できるように複数のチャンクに分割します。その際、ファイルの圧縮形式・ファイルフォーマットによっては分割できない場合があり、この場合は分散処理できず期待したパフォーマンスが得られなくなります。主なファイルフォーマット・圧縮フォーマットの分割可否は以下の通りです: gzip 圧縮ファイルは分割することができません。 bzip2 圧縮されたファイルは bzip2 がファイルを分割可能な単位で圧縮するアルゴリズムのため、分割することができます。 Snappy […]

Read More

[AWS Black Belt Online Seminar] Amazon Quantum Ledger Database (QLDB) 資料及び QA 公開

こんにちわ、ソリューションアーキテクトのザビオ(@zabbiozabbio)です! 先日 (2020/06/09) 開催しました AWS Black Belt Online Seminar「Amazon Quantum Ledger Database (QLDB) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200609 AWS Black Belt Online Seminar Amazon Quantum Ledger Database (QLDB) from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q1. 運用の途中に、ジャーナルのスキーマやテーブル構造が変更される場合もPartiQLによってDDLのような形で保存されるのでしょうか。 はい、すべてのトランザクションは遡ることが可能なので、PartiQLで表現されるDDLや、Amazon ION形式として保存されます。 Q2. Amazon Quantum Ledger Database (QLDB)もチェーンコードを記述できるのでしょうか。 QLDBはDatabaseのためチェーンコードの記述はできません。 Q3. QLDB からエクスポートしたあとの、Transaction IDは固定化するのでしょうか。 従来のものからエクスポートしたものは、固定化されます。TransactioIDや、その他メタデータはそのまま値を引き継ぎます。メタデータについてはこちらを参照ください。 Q4. QLDB のデータ検証はどのように行われるのでしょうか。 Validationの機能を利用することで、いつでも暗号学に基づいたデータ検証が確認できます。 Q5. […]

Read More

Amazon SES 東京リージョン対応のお知らせ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、アドボケイトの亀田です。 Amazon SESが東京リージョンでご利用いただけるようになりましたので、お知らせいたします。SESは、デジタルマーケティング担当者やアプリケーション開発者がマーケティング、通知、トランザクションに関するEメールを送信できるように設計された、クラウドベースのEメール送信サービスで、2011年1月にリリースされています。 AWSが提供するSMTPインターフェースやAWS SDKを用いて、既存アプリケーションへの統合をサポートし、従量課金型でメールを送信できます。また毎月62,000通のメールを無料で配信することができます。 2015年9月には、メール送信に加えて、メール受信機能がリリースされ、DNSのTXTレコードを設定することでメールを受信しAmazon S3へ保存したりAWS Lambda関数を起動したりすることでお使いの問い合わせ処理を行うアプリケーションとの統合も可能になりました。 さらに2016年3月には、カスタムFROMドメイン設定(SPFやDKIM)に対応し、メール送信時にFROMをAWS所有のamazonses.comドメインではなく、皆さんがお持ちのドメインを設定することが可能となりより使いやすくなっています。 バウンス、苦情、グローバルサプレッションリスト SESを用いてメール配信を行う際には、発生するエラーの種類や迷惑メールとして扱われるケース、そしてメールが届かない原因などについてご理解いただき、エラーに対する処理を適宜行う必要があります。ここでは主なものを纏めます。 バウンス – バウンスにはソフトバウンスとハードバウンスの2種類があります。 ソフトバウンス – 一時的な E メール配信の障害。たとえば、メールボックスがいっぱいである、接続が多すぎる (スロットリングとも呼ばれる)、または接続がタイムアウトになった場合です。Amazon SES は、ソフトバウンスを何回か再試行します。それでも E メールを配信できない場合、Amazon SES は再試行を停止します。 ハードバウンス – 永続的な E メール配信の障害。たとえば、メールボックスが存在しない場合です。Amazon SES は、DNS ルックアップの失敗を除いて、ハードバウンスを再試行しません。ハードバウンスの原因となっている E メールアドレスに対して配信の試行を繰り返さないことを強くお勧めします。 苦情 – 多くの E メールクライアントプログラムには、メッセージをスパムフォルダに移動して E メールプロバイダーに転送するためのボタン ([Mark as Spam (スパムとしてマーク)] など) が用意されています。また、ほとんどの E メールプロバイダーでは、ユーザーが不要な E メールメッセージを転送して E […]

Read More

【開催報告】Amazon Redshift事例祭り(移行編)~Let’s Modernize Our Data Warehouses!

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 事業開発担当 甲谷です。 6/4に、「Amazon Redshift事例祭り(移行編)~Let’s Modernize Our Data Warehouses!」を開催いたしました。本ブログ記事では、本イベントの内容について簡単にご紹介するとともに、詳細に関しては各発表スライドへのリンクを設けておりますので、ご関心の有る方はダウンロードください。 今回はデータウェアハウス(DWH) Modernizationということで、既存のオンプレミスのデータウェアハウス(DWH)環境から、AWSの高速かつ完全マネージド型のDWHであるAmazon Redshiftへ移行されたお客様に、移行の決め手や移行後の効果について「本音」でお話ししていただきました。セミナーではオンライン形式で、お客様の移行体験談を中心に、AWSソリューションアーキテクトから移行に関するTIPS、DWH Migration Program、APNプログラムについてもご紹介しました。

Read More

速報!本日未明に終了したAWS公共部門 サミットのハイライトを紹介します-後編【ブレイクアウト・セッション編】

本Blogでは日本時間の本日未明に終了した「AWS Public Sector Summit Online」 における、ブレイクアウトセッションのハイライトをご紹介いたします(記載は2020年7月1日時点)。 【キーノート編】も本日併せて公開されておりますので、ご参照ください(こちら。World Wide Public Sector部門のバイス・プレジデントであるテレサ・カールソンが登壇した基調講演のハイライトです)。 YouTubeでの動画公開が可能となり次第、各セッションへのリンクも貼られる予定です。 おすすめのブレイクアウト・セッション 以下、日本のお客様向けに、今回のサミットで開催された25のブレイクアウト・セッションの中から幾つかをご紹介させていただきます(開催終了後も、こちらに登録いただくことで全セッションを聴講いただくことが可能です。 公共機関のDX、マネジメント&イノベーション系のセッション: “Critical components for transformation within an international government context” Céline Degrauwe(Digital Transformation Adviser for Government, AWS)は、次のように述べます。 いずれの国の政府機関にとっても、①「リーダーによる強力なコミットメント」、②“イノベーションを選好する文化の確立” – 例えば「デザイン・シンキング」を起点とし、市民のニーズからミッションとツールとしてのテクノロジーを逆算して設定、③データ・クラシフィケーションを自組織内で実施し、クラウドに相応しい分類方針をセットすることが必要──である旨、3つの考え方を紹介しています。例えば、“Gov.BR”の事例では、Brazilの政府機関では400以上の新しいデジタルサービスを投入しています。AWSも、「Executive Education」を」 を標準3日間のコースとして提供し、政府部門のDXを支援しています。民間部門と公共部門の大部分の重要なデータは合致し、現代では多大な協働が期待されています。“Procurement is the gateway to innovation“とも述べ、各国でのクラウドの買い方に関する調達改革の必要性もこのセッションでは強調されました。 “Understanding optimizing costs with the AWS Cloud” ── David Lurie(Business Development Capture Manager Canada, Worldwide Public sector, […]

Read More

速報!本日未明に終了したAWS公共部門 サミットのハイライトを紹介します-前編【キーノート編】

AWSジャパン・パブリックセクターより、日本時間の本日未明に終了した「AWS Public Sector Summit Online」 における、政府機関・教育機関・NPO向けのハイライトをご紹介いたします(記載は2020年7月1日時点)。 本年のサミットには、世界各国から多数の政府・行政機関・教育機関・NPOの皆様、ユーザーの皆様よりオンラインでのご参加をいただきました。日本からも、深夜の時間帯にもかかわらず多数の聴講をいただいたことに、感謝を申し上げます。 なお、日本のお客様向けに、今回のサミットで開催された25のブレイクアウト・セッションの中から幾つかをご紹介させていただく投稿も今回併せて準備させていただきました(こちらが【ブレイクアウト・セッション編】)。例年、日本のお客様からは高い関心が寄せられるセキュリティ系のセッションをはじめ、公共機関のDX、マネジメント&イノベーション系のセッションが充実しています。ぜひご参照ください。 キーノートの11個のハイライト: クラウドによるミッション達成とパブリック・セクターDXの促進 日本時間の本日未明(米国現地ワシントンDCでの6月30日)に終了した、AWS パブリックセクター・サミット・オンライン 2020 (以下、「サミット」)では、アマゾンウェブサービス(AWS)のWorld Wide Public Sector部門のバイス・プレジデントであるテレサ・カールソンが、基調講演を行いました(動画全編はこちら)。テレサは、過去数か月間のコロナウィルスがもたらした困難な時期を振り返り ── 未だ多くの国においてこの危機は現在進行形ですが ──、パブリック・セクターのユーザーが多くの教訓を共有すること、そして世界中の人々がミッションを遂行することを支援し続けているAWS のコミットメントについて語りました。 「コロナ危機に臨んで構築中のソリューションは、公共部門のITへのアプローチを根本的に変化させている。危機以前の”古い考え方”に戻ることはない」── とテレサは述べます。 前例のない危機に直面した各国の政府機関は、クラウドの俊敏性・スピード・柔軟性をあらためて実感しました。クラウドの本格活用により、お客様はミッションに集中しながら、この危機を乗り越えつつあります。基調講演では、以下に紹介するとおり、AWS のユーザーである各国の公的機関における取り組みと、AWS がそれらのお客様のミッションをサポートする方法について紹介が行われました。キー・テイクアウェイとして注目いただきたいポイントを、以下にご紹介します: #1:データの新しいフロンティアを受け入れる:AWS の航空・宇宙および衛星ソリューション AWS は、この「惑星」の内外でのお客様のミッションを支援することに、全力を尽くしています。最近新しく立ち上げられた「 AWS 航空・宇宙および衛星ソリューション事業」は、宇宙におけるイノベーションを推進するために創設され、退役した空軍少将クリント・クロサイエを本部門のリードとしてAWSに迎えられたことを、歓迎したいと思います。彼には、宇宙でのミッションにクラウドソリューションを提供すべく専門家のチームを率いてもらいます。 航空・宇宙および衛星ソリューションチームは、AWS Ground Station を使用してデータをダウンリンク・処理・分析・配信する費用対効果の高い方法で世界中のお客様に対するサポートを、既に開始しています。規模の大小を問わず、多くの民間企業や公的機関では、AWS Ground Station を使用して衛星通信業務を迅速に拡張し、宇宙スタートアップもまた、衛星地上インフラストラクチャの構築に必要な主要な設備投資をAWSを利用することで圧倒的に合理化しています。 航空・宇宙および衛星分野のフロントランナーとしては、AWSのお客様の 「Capella Space」社 が AWSへの「オールイン(=すべてのIT環境をAWSへ移行済)」を達成しています。AWS を利用し、Capella は世界最大の商用人工レーダーを搭載した衛星システムを打ち上げています( Synthetic Aperture Radar, SAR)。SARは、雲を貫通し、全天候条件下でデータを収集し、昼夜を問わずデータを把捉できる独自のレーダーです。Capella Space はすでに SAR データセットを AWS に移行しており、分析や機械学習などのサービスを活用して、このデータを迅速かつ低コストで顧客に提供しています。 […]

Read More

Amazon RDS for SQL Server において SSAS / SSRS / SSIS がサポートされました

SQL Server を利用されているお客様の中には、SQL Server に搭載されている BI 機能、SQL Server Analysis Services (SSAS) / SQL Server Reporting Services (SSRS)  / SQL Server Integration Services ( SSIS ) を利用されているお客様も多いと思います。以前はこれらの機能を利用する際は EC2上に SQL Server を構成する必要がありましたが、Amazon RDS for SQL Server でも利用可能になり(※)、マネージド型サービスならではのメリットを享受できます。有用な情報をまとめましたので、ぜひご活用頂ければと思います。 サポートするバージョン / エディション 【SQL Server Analysis Services】 SQL Server 2016 Standard エディションまたは Enterprise エディション (13.00.5426.0.v1 以降)  か SQL Server 2017 […]

Read More
QuickSight hands on

BIサービス Amazon QuickSight のセルフハンズオンキットに「販売管理ダッシュボード編」が追加

Amazon QuickSight は、誰もが簡単に利用でき、サーバレスなので運用管理の負荷も少ないBIサービスです。 これまでQuickSightを体験していただくためにQuickSight Basicハンズオンを定期的に開催してきたのですが、先日これに加えて「販売管理ダッシュボード編」を開催させていただきました。 今回これら2つのハンズオンがダウンロード可能になり、お手元の環境でも2種類のハンズオンを試していただけるようになりましたので、それぞれ概要を紹介します。

Read More

IoT@Loft#11 スマートビルディングにおけるIoT活用の取り組み 

こんにちは、AWSソリューションアーキテクトの市川 です。6月17日に開催された IoT@Loft の第 11 回目であるこの回のテーマは、「スマートビルディングにおける IoT 活用の取り組み」でした。 スマートビルディングの領域では、ビルのセキュリティの確保や居住者への快適性の提供、またエネルギー利用のいっそうの効率化などの要求や、労働力の減少に伴うリモート管理や機械警備の重要性などの社会的なニーズのように、様々な領域で IoT を活用したソリューション開発の取り組みが行われています。 今回、様々な分野でビルディングのスマート化にご尽力されているエンジニアの方々にご登壇頂き、現場の課題とそれに応えるソリューション事例などをご紹介していただきました。 IoT@Loft とは ? IoT 関連ビジネスで開発を担当するデベロッパーのためのイベントです。IoT の分野は、「総合格闘技」と呼ばれるほど、必要な技術分野が非常に多岐に渡ること、ビジネスモデルが複雑なケースが多く、全体を理解することは難しいと言われています。その結果、実証実験 (Proof of Concept : PoC) から商品への導入が進まないケースや、PoC でさえ十分に実現できていないケースも多々あります。 IoT@Loft は、そういった IoT 特有の課題と向き合い、情報共有・意見交換を行う場として、参加者の事業や製品開発を成功に近づけることができれば幸いです。この勉強会では、膨大な IoT 関連の情報の見通しを良くするために、各回ごとにテーマを定め、それに沿った形で登壇者に事例や技術のご紹介を頂きます。テーマは、インダストリー、ソリューション、テクノロジー、開発フェーズなどを軸に決めていきます。 セッションの紹介 3度目のオンライン開催でしたが、今回も多くの方に視聴していただきました。オフラインでは人によっては質問しづらいといったこともありますが、今回も多くの質問をいただいております。この記事では各セッションの概要について紹介した後、QAも紹介します。 LT1 – エネルギーマネジメントにおけるAWSを活用したIoTデータ取得ソリューション 登壇資料:エネルギーマネジメントにおけるAWSを活用したIoTデータ取得ソリューション 事例ブログ:ユーティリティにおけるAWS IoTを用いた分析・可視化(北海道ガス株式会社の事例) こちらのセッションでは、北海道ガス株式会社より2名の方の登壇いただき、IoT初心者の非クラウドネイティブな社員による、PoC段階の検討に関して共有していただきました。 背景や課題として、建物はエネルギーシステム全体としての最適利用・省エネが求められるが、実際には個々のサービス・プロダクトは最適化されていても、それらをまとめて管理するのは、導入するお客様(ビルの管理等をされている方)となっていることでした。大規模な物件であれば、BEMS(Building Energy Management System) を導入しており、専門の人が計測・制御を行うことが多いが、中小規模の物件ではこれらの導入は難しいことがあります。また、北海道という土地柄、年間を通して寒暖の差が大きく、季節に合わせた機器の設定運用が必要というのが特徴としてあります。 今回は、このような中小規模のスタンドアロンなガス熱源設備に対するPoCを行ないました。目的としては、省エネ・設備最適運用支援を目的に、機器データを集めて蓄積・可視化することにフォーカスしています。 PoCを進める上で、1)どの様にデータを変換するか、2)PLCをどうゲートウェイに繋げるか、3)ゲートウェイ〜クラウドがよくわからない、といった課題がありましたが、一つ一つ解決しながら進めることでデータの収集から可視化までを進めることが出来ました。PoCの初期の段階ではSoracomさんのサービスを利用することで、データの蓄積・可視化を素早く行うことが出来たが、将来的に蓄積したデータを利用してBIツールとの連携や、分析を行うことを考えていたので、最終的にはAWS IoT のサービスを利用して、データレイクを構築し、可視化するところまで実現できました。これにより、熱源機器のデータを連携することで、省エネ支援を実現することが確認できました。PoCを進める上で、データ取得ソリューションは作り込まない事により、素早く構築することで現場の課題を早期に見つけることが出来たとのことです。 Q&A Q. SORACOM HarvestやLagoonも使用されていたとのことですが、それらからAWSのサービス、IoT AnalyticsやQuickSightなどに移行、変更した理由について教えていただけますでしょうか。 SORACOMさんのサービスでもデータの蓄積は問題なく出来ますが、後々解析で利用したいという考えがありましたので、IoT Analyticsに移行しました。QuickSightは組み込みの異常検知の機能などあるためそれを使いたいと思い移行しています。 Q. 短期間での投資回収可能とのことでしたが、通信やクラウドを含めた全体のコスト感はどのくらいなのでしょうか?全体の構成の中で、特にどのあたりにコストがかかっているかを教えていただきたいです。 […]

Read More