Amazon Web Services ブログ

【開催報告】AWS Data Lake ハンズオンセミナー 2019 初夏

こんにちは。AWS ソリューションアーキテクトの上原誠(@pioh07)です。 5月29日に、「AWS Data Lake ハンズオンセミナー」を開催いたしました。去年から行ってきた恒例のワークショップで第7回目となります。去年も盛況でしたが、今回も130名くらいのお客様にご参加頂きました。 はじめに、AWSにおけるデータ活用のベストプラクティスである Amazon S3 を中心とした Data Lake について解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、Amazon Athena や Amazon Redshift の各 AWS サービスを駆使して実際にラムダアーキテクチャを構築することがゴールです。とはいえ全てを構築するのはボリュームが大きいため、スピードレイヤー or バッチレイヤー or 全部入りでコース分けて取り組めるようハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回、参加者も多くいらっしゃいましたので、サポートするソリューションアーキテクトも6名で対応させていただきました。 今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか?   次回は真夏の7月に開催予定です。ご参加お待ちしております。    

Read More

AWSジャパン ソリューションアーキテクト新卒向け短期インターンシップ紹介

こんにちは。2019 年 4 月に新卒として入社いたしました、アマゾン ウェブ サービス ジャパン株式会社 (AWSジャパン) アソシエイトソリューションアーキテクトの岩井泰児です。AWSジャパンでは 2019 年夏に Solutions Architect (SA) と Cloud Support Engineer (CSE) の新卒向け短期インターンシップを開催します。今回の記事では昨年度 AWSジャパンで行われた SA 短期インターンシップについてご紹介します。   Amazon のウェブサイトを自分が設計するとすれば、どのようなインフラストラクチャーを構築すればよいでしょうか? 全世界にスケール。数億人規模のユーザー。とてつもない技術的な困難が予期されます。  

Read More

[AWS Black Belt Online Seminar] Amazon Simple Email Service (SES) 資料及び QA 公開

先日 (2019/5/21) 開催しました AWS Black Belt Online Seminar「Amazon Simple Email Service (SES)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190521 AWS Black Belt Online Seminar Amazon Simple Email Service (Amazon SES) from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 一般的に、SPF、DKIMやそれらに基づいたDMARC準拠を実施すれば、メールのセキュリティ対策としては十分なのでしょうか。 A. 大事なのは相手先メールサービスも関係しているいうことです。どれがいいのか?これで十分なのか? ではなく、やれることは全てやっておいた方がより安定する可能性があるということです。 SPF, DKIM, DMARC だけに限りません。 Q. SESのバウンス例はバウンス処理をする為にあの構成を組まないといけないということですか? A. あくまでバウンス処理の構成例となります。必ずそのような構成にしなければならないわけではありません。お客様がバウンス処理を実装する際のお役に立てればと思います。 Q. SES での受信メールにLambdaをアクションさせています。大量mailを受信したとき、S3への書き込みやLambdaのスロットリングエラーが発生した時は、何のErrorで確認できますか ? また、Error リトライはどうなりますか ? A. CloudWatch […]

Read More

AWS DeepRacer League のストックホルムの入賞者からレースのヒントをもらい、さらに AWS DeepRacer TV のご紹介をします!

AWS DeepRacer League は、世界初のグローバル自走型レーシングリーグです。世界各地で 21 の AWS Summits レースと Amazon の厳選されたイベントが開かれているほか、オンラインで毎月仮想レースが開催され、レースが行われています。世界のどこにいようと、そしてスキルレベルに関係なく、リーグに参加することができます。AWS DeepRacer のレーシングカーをゲットし、レースで優勝して re:Invent 2019 旅行を勝ち取りましょう (費用は全額こちらで負担いたします)。そして AWS DeepRacer チャンピオンカップで競い合いましょう。 AWS DeepRacer レーサーになる 今週、Summit Circuit がスウェーデンで開かれ、シーズンも折り返し地点に突入し、競争はヒートアップしています。AWS Summit Stockholm でのレースも刺激的でした。表彰台に上った 3 人のレーサーがリーグに参加するためにサミットにやって来たのです。 第 3 位は Charlie で、5 月 8 日にロンドンで開催された AWS Summit にも参戦しました。トップ 10 でフィニッシュしたことで AWS DeepRacer レーシングカーを勝ち取りましたが、ストックホルムに来てもう一度勝利してみたかったのです。ロンドンでは彼は 9.7 秒のタイムで、首位からわずか 0.8 秒遅れただけでした。自分のモデルにもう少しトレーニングを行ったことで、彼は 9.5 秒のタイムをたたき出し、ストックホルムで第 3 位を獲得することができました。2 […]

Read More
Weekly AWS

週刊AWS – 2019/5/20週

みなさん、こんにちは。AWSソリューションアーキテクトの下佐粉(しもさこ)です。 復活した 週刊AWS 第二回をお送りします。このシリーズでは、毎日のようにリリースされるAWSの新機能や新サービスを一週間単位でコンパクトに紹介しています。毎週火曜か水曜ぐらいを目処に更新していく予定です。 最近急に暑くなってきましたが、私達は目前に迫ってきたAWS Summit Tokyoと、AWS Summit Osakaの準備にバタバタとした日を過ごしています。では暑さにめげず、先週(5/20週)の主なアップデートについて振り返っていきましょう。

Read More

Amazon Connectのスケジュールされた レポートを自動的に送信する

コンタクトセンターではデータが重要です。 スーパーバイザとマネージャは、レポートを使用して、チームのパフォーマンスを確認し、要員配置の計画を立てます。 必要なときに必要なデータを人々に提供することは不可欠です。 このブログ記事では、レポートの生成を有効にしてEメールで自動的にユーザーに送信する方法について説明します。 以下のサービスを使用します。 Amazon S3 AWS Lambda Amazon SES Amazon CloudWatch with Amazon Connect このブログでは、 AWS CloudFormationを使用してデプロイを簡素化する方法についても説明します。 このブログのソリューションでは、 Amazon Connectのネイティブレポート機能を使用してレポートを設定およびスケジュールします。 そのスケジュール設定されたレポートは、Amazon Connectの設定で指定したS3バケットに作成されます。 レポートがS3に作成されると、Lambda関数を起動するイベントが発生します。 Lambda関数はイベントを読み取り、S3からレポートを取得して、指定されたEメールアドレスに送信します。 すべてのアクティビティは追跡目的でCloudWatchに記録されます。 では始めましょう。 このセットアップを完了するには、次のものが必要です。 アクティブなAWSアカウント us-east-1(バージニア北部)またはus-west-2(オレゴン)のいずれかにあるAmazon Connectインスタンス。 Amazon SESはこれらのAmazon Connectリージョンでのみ使用可能であるため、この設定ではこれら2つのリージョンのみがサポートされています。 インスタンスを作成したら、電話番号を取得します。 詳細については、Amazon Connect の使用開始を参照してください。 あなたのアカウントに設定されたAmazon SES。 このソリューションでは、Amazon SESを使用してレポートを指定の受信者にEメールで送信します。 SESを使用してEメールを送信するには、送信元アドレスを確認して、自分が所有者であることを示します。 サンドボックスにいる場合は、 送信先アドレスも確認する必要があります。 あなたは、Eメールアドレスまたはドメイン全体を確認することができます。 検証プロセスについては、Amazon SES のIDの検証を参照してください。 アカウントをサンドボックスから削除する方法については、Amazon SES サンドボックスの外への移動を参照してください。 このCloudFormationテンプレートを実行するための適切なIAM権限。 これには、IAMロールとLambda関数を作成する権限が含まれます。 […]

Read More

機械学習と Amazon SageMaker ノートブックを使用したデータウェアハウステーブルの探索

あなたは、機械学習 (ML) 環境で探索したいデータウェアハウステーブルを持つデータサイエンティストですか? もしそうなら、読んでください。 この記事では、データウェアハウスに保存され、Amazon SageMaker ノートブックから AWS Glue データカタログでカタログ化されている大規模データセットに対して探索的分析を実行する方法を紹介します。Amazon SageMaker で実行されている Jupyter ノートブックから企業データウェアハウス内のデータセットを特定して探索する方法について詳しく説明します。Amazon Redshift から Amazon EMR に興味深い情報を抽出し、そこでさらに変換する方法を示します。そうすると、すべてシームレスな体験として、ノートブックのデータを分析して視覚化し続けることができます。 この記事は、以下の以前の記事を基にしていますので、最初にその記事を確認することをお勧めします。 Amazon EMR で Spark によってサポートされる Amazon SageMaker ノートブックを作成する Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 Amazon SageMaker の概要 Amazon SageMaker は、フルマネージド ML サービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、ML モデルを迅速かつ容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接デプロイすることもできます。Amazon SageMaker には Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 課題は、対象となるデータセットを見つけることです。データがデータウェアハウスにある場合は、関連する情報のサブセットを抽出し、それを Jupyter ノートブックにロードして詳細な探索やモデリングを行います。個々のデータセットが大きくなり、数が増えるにつれて、対象となる可能性があるすべてのデータセットを抽出し、ノートブックにロードしてマージすると、実用的ではなくなり生産性が低下します。こうした種類のデータの組み合わせや探索に、データサイエンティストは最大 80% […]

Read More

RDS SQL Server での SQLAgentOperatorRole の活用

SQL Server DBA およびユーザーは、SQL Server インスタンスでジョブをスケジュールするために SQL Server エージェントを長い間使用してきました。これは、スケジュールに従って、アドホックベースで、またはイベントに応じてジョブを起動できる便利なツールです。SQL Server エージェントは常に Amazon Relational Database Service (Amazon RDS) でサポートされていますが、権限が制限されています。たとえば、RDS マスターユーザーでも SQL Server Management Studio (SSMS) ユーザーインターフェイスを使用して、インスタンスでスケジュールされたすべてのジョブを確認することはできません。最近の RDS の変更により、より多くの権限がマスターユーザーに付与されており、上記の制限はなくなりました。このブログでは、権限への変更と、新しい権限をシームレスに使用する方法について説明します。 新しい SQL Server エージェントの権限 RDS SQL Server は、Enterprise、Standard、および Web エディションで SQL Server エージェントをサポートしています。RDS SQL Server インスタンスのマスターユーザーは、デフォルトで SQLAgentUserRole に追加されます。マスターユーザーは他のユーザーを SQLAgentUserRole に追加することもでき、このロールの一部であるすべてのユーザーは SQL エージェントジョブを作成できます。ジョブを作成したユーザーだけが、そのジョブを表示、有効化、無効化、編集、実行、開始、および停止できます。これは一部のユースケースでは十分ですが、このレベルのアクセスでは不十分なユースケースもあります。たとえば、メンテナンスジョブが個々のユーザーアカウントを使用して作成されるデータベース管理者 (DBA) のチームでは、ジョブを作成した DBA が多忙なときは別の DBA がジョブを開始することがあります。この要件やその他の要件に対処するため、2019 […]

Read More

最新情報 – AWS Config ルールの従量課金制モデルの更新

AWS Config ルールを使用すると、クラウドリソースに対して動的コンプライアンスの確認を実行できます。AWS Config によって提供される AWS リソース設定の追跡に基づき、事前に定義されたルールとカスタムルールの組み合わせを使用して、AWS リソースに加えられたすべての変更がルールで指定された条件に準拠していることを継続的かつ動的に確認し、準拠していないリソースを修正するためのアクション (自動または手動) を実行できます。 現在は、84 種類の定義済みルールから選択でき、もっと多いルールを準備中です。これらの管理されたルールは、時々改善および更新されています。EC2 の検索と一致するルールは以下のとおりです。 カスタムルールは AWS Lambda 関数に基づいて構築されており、定期的に実行することも、構成の変更によってトリガーすることもできます。準拠していないリソースが検出されたときに修復アクションを実行するように、オプションでルールを設定できます。多くの組み込みアクションがあり、AWS Systems Manager のドキュメントを使用して独自のアクションを作成することもできます。 新しい従量課金制 本日は、AWS Config ルールが新しい従量課金制モデルに切り替えることをお知らせいたします。2019 年 8 月 1 日から、毎月実行したルール評価の数に基づいて請求が行われます。AWS パブリックリージョンの新しい料金は次のとおりです。 1 か月あたりのルール評価 評価あたりの料金 0~100,000 0.0010 USD 100,001~500,000 0.0008 USD 500,001 以上 0.0005 USD 複数のアカウントやリージョンで使用するとコストが高くなる、アクティブな設定ルールに対して支払う必要がなくなります。記録された設定アイテム、および S3 ストレージの使用、SNS メッセージング、Lambda 関数の呼び出しなどの追加費用は引き続きお支払いいただきます。 この料金設定は AWS の一括請求と連携して機能し、ほぼ全員の AWS のお客様が Config ルールの請求額を大幅に削減できるように設計されています。新しいモデルを使用すると、世界規模で費用対効果の高い方法を用いて拡張できます。AWS […]

Read More

EMR Notebooks: Jupyter ノートブックをベースとしたマネージド型分析環境

ノートブックは、インタラクティブにビッグデータアプリケーションを開発するための標準ツールとなりつつありますが、その理由は簡単に想像がつきます。柔軟性のあるアーキテクチャは、複数言語でのデータの実験、インタラクティブなコードのテスト、そして大規模データセットの可視化を可能にしてくれます。科学者と開発者がノートブックツールに簡単にアクセスできるように、AWS は Amazon EMR ノートブックのサービスを開始しました。これは、人気のあるオープンソースアプリケーション、Jupyter ノートブックをベースとしたマネージド型ノートブック環境です。EMR Notebooks は Spark Magic カーネルをサポートし、このカーネルは PySpark、Spark SQL、Spark R、および Scala といった言語を使用して、EMR クラスターにジョブをリモートで送信することができます。Spark Magic カーネルは、クラスターで実行される Spark の REST サーバーである Apache Livy 経由で Spark コードを送信します。 EMR Notebooks は、Apache Spark でのアプリケーションの実験と構築を容易にするように設計されています。このブログ記事では、まず EMR Notebooks が提供するいくつかのメリットについてお話しします。その後、異なる EMR クラスターへのノートブックのアタッチとデタッチ、ノートブック内からの Spark アクティビティの監視、ユーザーアクセス許可を制御するためのタグの使用、およびノートブックユーザーとそのアクションを追跡するためのユーザー偽装のセットアップなどの機能をいくつかご紹介します。EMR Notebooks の作成と使用について学ぶには、「Amazon EMR ノートブックの使用」にアクセスする、または AWS オンラインテックトークのオンラインセミナーの手順に従うことができます。 EMR Notebooks のメリット EMR Notebooks の便利な機能のひとつは、基礎となるクラスターインフラストラクチャからのノートブック環境の分離です。この分離は、新しいクラスターを起動するたびにノートブックをデプロイまたは設定する作業に煩わされることなく、一時的なクラスターに対してノートブックコードを簡単に実行できるようにしてくれます。SSH アクセスをセットアップするための時間を費やしたり、ポートフォワーディングのためにブラウザを設定したりすることなく、EMR の AWS […]

Read More