Category: General

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 先週は 年に一度の大きなイベント AWS re:Invent 2019がラスベガスで開催されて、いつも以上に多くの新サービスや新機能が発表されましたね！エキサイティングな発表が多くて嬉しいのですが、とてもこの連載の枠に全ての重要な発表が収まりそうにりません。 そこで今回の週刊AWSでは、AWS re:Invent 2019 で発表された内容から、筆者ら（小林、下佐粉）が「個人的に凄いと思った発表10選」を独断でチョイスしてお送りします。なお、re:Invent 2019で発表された内容を全部知りたい！という方向けに関連資料も最後にまとめています。では、厳選10個のアップデートをご覧ください。

先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。   20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）   ＜ラスベガスでのライブ配信の裏側＞ 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が孤独に一人で対応しました。 いつもは真面目なブログを心がけている AWS Webinar チームですが、今回は特別に SA 小林によるラスベガスでの単独ライブ配信の裏側をこそっとお見せしたいと思います。   ①　あんなに明るい声で速報をお伝えしていた小林ですが、実際はホテルの一室で小さくなって対応してました。               ②　もうちょっと近寄ったショットで。Webinar 配信は小スペースでも安定したインターネット回線さえあれば配信できます。配信は順調のようでトークが止まらない様子。         […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 4日目（12月5日）が終了しました。今日はWerner Vogelsによるre:Invent 2019 最後の基調講演がありました。 Deep Racer リーグ決勝戦では、日本からの参加者がワンツーフィニッシュとなりました。   そしてこの後は最後の　Have Fun Event、re:Playがあります。 12月5日ですが、アップデートは1つでした。 Amazon Builders’ Libraryがリリースされました Amazon Builders ‘Libraryは、AmazonがAmazon.comとAWSを支えるソフトウェアをどのように設計、リリース、運用するかを読者に紹介する生きた記事のコレクションです。ビルダーズライブラリの記事は、Amazonのシニアテクニカルリーダーとエンジニアによって書かれており、アーキテクチャ、ソフトウェア配信、運用に関するトピックをカバーしています。たとえば、読者はAmazonがソフトウェア配信を自動化して年間1億5千万件以上の展開を達成する方法や、Amazonのエンジニアがシャッフルシャーディングなどの原則を実装して、可用性とフォールトトレラントな復元力のあるシステムを構築する方法を見ることができます。 – シニアエバンジェリスト 亀田

Amazonのお客様は、私たちがビジネスをどのように構築し、運営しているかについてもっと知りたいとよく言っています。小売業では、Amazon Fulfillment Centerを視察し、倉庫の整理方法を確認します。法人のお客様は、しばしば当社のリーダーシップ原則について質問し、時には彼ら自身の使用のためにそれらを採用します（そしてそれから適応させます）。私は定期的に彼らを私たちのエグゼクティブ・ブリーフィング・センター（EBC）にお迎えし、長期的な成功の一環として失敗を受け入れる、考え方や、私たちの技術革新の軽いチャーなどについて話をしています。 私たちのビジネスを取り巻く同じ好奇心が開発文化を取り囲んでいます。Amazon.com、AWS、その他のビジネスの根底にあるハードウェアおよびソフトウェアシステムをどのように設計、構築、測定、実行、スケーリングするかをよく聞かれます。 新しいビルダーズライブラリー 今日、Amazon Builders’ Libraryを発表できてうれしいです。システムの構築および実行方法を正確に説明する詳細な記事のコレクションを開始します。各記事は、ビジネスのその部分で深い専門知識を持つシニアテクニカルリーダーによって書かれています。 このライブラリは、私たちの仕事の根底にある理論と実践に直接アクセスできるように設計されています。学生、開発者、開発マネージャー、アーキテクト、およびCTOはすべて、このコンテンツが役立つと感じるでしょう。これは、「店舗で販売されていない」学校で教えられていないコンテンツです！ ライブラリはカテゴリ別に整理されています。 アーキテクチャ –セキュリティ、耐久性、高可用性、パフォーマンスの最適化を支援するクラウドサービスを設計する際に行う設計上の決定。 Software Delivery＆Operations –新しいソフトウェアをクラウドにリリースし、その後ヘルスと高可用性を維持するプロセス。 ライブラリ内で、この投稿を書いている間に2つの記事を簡単に見て、多くのことを学びました！ 乗り越えられないキューバックログの回避 –プリンシパルエンジニアのDavid Yanacekは、メッセージキューの内外を調査し、発生する可能性のある障害モードの多くを含む利点とリスクを調査します。彼は、キューを使用してAWS LambdaとAWS IoT Coreを強化する方法について説明し、レスポンシブを維持し、「言葉で言えば」「魔法のリソースの分離」を実装するために使用される高度な戦略について説明します。Davidは、複数のキューの使用、シャッフルシャーディング、遅延キュー、バックプレッシャーなどを含む、復元力のある非同期マルチテナントシステムについても解説しています。 分散システムの課題 –シニアプリンシパルエンジニアのJacob Gabrielson は、分散システムが失敗する多くの方法について説明します。3つの異なるタイプ（オフライン、ソフトリアルタイム、およびハードリアルタイム）のシステムを定義した後、彼はBizarroとの類推を使用して、なぜハードリアルタイムシステムが（再び、彼の言葉で）「率直に言って」パックマンに基づいた例を使い、要求/応答通信を追加し、成功または失敗する可能性のあるすべての方法を列挙します。彼は、テストケースの数を減らす方法について議論し、分散システムのテストに伴う他の多くの問題についても話しました。 これらは2つの記事にすぎません。コレクション全体をチェックアウトしてください。 Welcome 私たちは、より多くのコンテンツを持っています。そして我々はまた、あなたの話に興味を持っています。この投稿に関するフィードバックをお気軽にお寄せください。ご連絡いたします。 – Jeff;

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 3日目（12月4日）が終了しました。本日は早朝からチャリティマラソン4K/8K Runがあり、多くの方がラスベガスの街を走っていました。 この後朝6時ごろ、多くの人が参加し会場はすごく混雑していました。 走り終わってさわやかな汗を流した人たちです。 そしてそのあと、Global Partner Summitのキーノートが行われました。 またWorkshopコーナーでは日曜の夜に発表されたDeep Composerを使ったワークショップが行われ、参加した方は実機を手に入れているようです。   それでは12月4日のまとめです。 Amazon Kinesis Video StreamsがWebRTCによる双方向のメディアストリーミングに対応しました WebRTCは、シンプルなAPIを介してWebブラウザー、モバイルアプリケーション、接続されたデバイス間のリアルタイム通信を可能にするオープンソースプロジェクトです。WebRTCを備えたKinesis Video Streamsを使用すると、開発者は、リアルタイムの双方向メディアストリーミングと、アプリケーションと接続されたデバイス間の双方向性を備えたアプリケーションを構築できます。 Amazon Neptune Workbenchがリリースされました グラフデータを照会するためのコンソール内エクスペリエンスであるWorkbenchがリリースされました。Jupyterノートブックを使用して、Neptuneデータベースをすばやく簡単に照会できます。これは、ライブコードとナラティブテキストを備えた完全に管理されたインタラクティブな開発環境です。 ノートブックは、SageMakerのノートブックサービスを通じてホストおよび請求され、インスタンスが準備完了状態にある間、ノートブックインスタンスに対して課金されます。 Amplify for iOS and Androidがプレビューリリースされました モバイル開発者がスケーラブルで安全なクラウドベースのサーバーレスアプリケーションを構築できるようにするオープンソースライブラリです。ライブラリを使用して、分析、AI / ML、API（GraphQLおよびREST）、データストア、ストレージなどの機能をモバイルアプリケーションに簡単に追加できます。Amplifyのエスケープハッチのサポートにより、生成されたiOSおよびAndroid SDKを追加のユースケースに使用できます。 Amazon Chime Meetings App for Slackがリリースされました SlackユーザーはAmazon Chime Meetings App for Slackを使用して、Slackワークスペースチャンネルと会話から直接Amazon Chimeオンライン会議を開始および参加できます。Amazon Chime Basicを使用すると、ユーザーは1対1の音声通話とビデオ通話を開始し、参加者としてグループ会議に参加できます。Amazon Chime Proへのアップグレードにより、Slackユーザーは、最大100人の参加者と16のビデオストリームでのグループ会議のホスト、会議リンクからのゲストアクセス、会議ダイヤルイン、SIPのサポートなど、Slackワークスペースから高度な会議機能にアクセスできます。Slackワークスペースの管理者は、Slack […]

2019年12月3日 Amazon SageMaker の新しい機能であり、データの前処理や後処理、モデルの評価といったワークロードをフルマネージドなインフラストラクチャの上で簡単に実行する機能である、Amazon SageMaker Processing を発表できることを嬉しく思います。 精度の高い機械学習（ML）モデルを学習するためには、多くの異なるステップを必要としますが、以下のようなデータの前処理より重要なものはないでしょう。 機械学習アルゴリズムが活用できる入力フォーマットへデータセットを変換 カテゴリカル特徴量のOne-Hot エンコーディングのような、既存の特徴量をさらに表現力の高い特徴量へ変換 数値型特徴量のリスケールや平準化 住所をGPSの座標に置き換えるような、高レベルな特徴量の作成 自然言語処理を適用するための文章のクリーニングやトークン化 これらのタスクは、データセットに応じて異なるスクリプトを実行することになり、そして、後で学習の際に使われるための加工済データを保存します。あなたが想像する通り、機械学習チームにとって、これらを手作業で行ったり、自動化ツールを構築してスケールさせることは魅力的なな計画とは言えません。同様のことが後処理ジョブ（フィルタリングや照合など）やモデル評価ジョブ（異なるテスト用データセットに対するスコアリング）にも言えるかも知れません。 これらの課題を解決するために、 Amazon SageMaker Proscessing が開発されました。より詳細をご紹介させて下さい。 Amazon SageMaker Processing の紹介 Amazon SageMaker Processing はデータサイエンティストと機械学習エンジニアが前処理、後処理、モデル評価といったワークロードを Amazon SageMaker 上で簡単に行うための新しい Python SDK を導入します。 この SDK はデータセットの変換のために使われるおそらく最も人気のあるライブラリである scikit-learn 向けの SageMaker の組み込みコンテナを使います。 必要に応じて、特定の Docker イメージに制限されることなく、独自の Docker イメージをお使い頂くことが出来ます。これにより、最大限の柔軟性を提供し、SageMaker Processing や Amazon ECS や Amazon Elastic Kubernetes Servicesなどの AWS […]

2019年12月3日、Amazon SageMaker の新しい機能であり、本番環境にある機械学習 （ML） モデルを監視し、データの品質に問題が発生した場合には通知する、Amazon SageMaker Model Monitor を発表できることを嬉しく思います。 私がデータ関連の仕事を始めてから最初に学んだことは、データの品質に注意を払って払いすぎることは無いということでした。予期しない NULL な値を持ったデータや、特殊な文字エンコーディングがなされたデータベースに格納されていたデータによる問題の解決に数時間かかった経験がある人は挙手して下さい。 モデルは文字通り大量のデータから構築されるため、機械学習の実践者がなぜ多くの時間を、データセットの確認に時間を使うのかは容易に理解できます。特に、彼らは学習用データセット（モデルの学習に使われる）と、評価用データセット（精度を測るのに使われる）のデータサンプルが同じ統計的な特徴を持っていることを確認します。 そこに魔物がいます！実験に使われるデータセットを完全にコントロールしたとしても、構築したモデルが受け取るであろう、現実世界のデータが同じようにコントロールされるとは言えません。もちろん、現実世界のデータはきれいではないでしょうし、もっと気にかかるのは、受け取るデータの統計的特徴量が徐々に変化するような、データドリフトです。最小値、最大値、平均、分散など、これらの属性は、モデルが学習されている間の仮説や決定を形作ります。これらの値の重大な変化が、推論の精度に影響を与えることは、直感的に感じることができるでしょう。ローン審査予測において、入力データのドリフトや、たとえそれが欠損であったとしても、より多くの額を予測することを想像して下さい。 これらの条件を検知することはとても難しいことです。モデルによって受け取られるデータを捕捉する必要があり、学習用データと比較するために全ての統計解析を行い、ドリフトの発生を検知するルールを定義し、発生した場合にはそれを通知する、といったことをモデルを更新する度に行う必要があります。機械学習実践の専門家は、これらの複雑なツールを開発する方法を確かに知っているでしょうが、多くの時間と労力が必要になります。Undifferentiated heavy lifting が再び襲いかかってきます。 これらの負荷を減らし、お客様が価値創造に集中することを助けるために、我々は Amazon SageMaker Model Monitor を開発しました。詳細をお伝えさせて下さい。 Amazon SageMaker Model Monitor の紹介 典型的なモデル監視は以下のようになります。最初に 既存のもの、もしくは監視を目的に作られた新しいもの、どちらかの SageMaker エンドポイント を開始するところから始めます。Model Monitor は組み込みアルゴリズム、組み込みフレームワーク、独自コンテナのいずれかであっても、どのようなエンドポイントに対して使うことが出来ます。 SageMaker SDK を使うことによって、エンドポイントへ送付される設定可能なデータを捕捉する（要望に応じて推論結果についても捕捉することができます）ことができ、Amazon Simple Storage Service (S3) バケットを保存することができます。捕捉されたデータはメタデータ（コンテンツタイプやタイムスタンプなど）が付与され、他の S3 オブジェクトと同様に保護とアクセスをすることができます。 その後、エンドポイントにデプロイされているモデルを学習するときに使われるデータからベースラインを作ります（もちろん既存のベースラインを再利用することも可能です）。これは Amazon SageMaker Processing ジョブを起動します。これは Model Monitor が下記のような処理を行うものです。 入力データのスキーマ、例えばタイプやそれぞれの特徴の完全性についての情報を予想します。必要に応じて見返したり、更新することができます。 […]

2019年、多くの注目を集めたAWS DeepRacerリーグはre:Invent 2019でいよいよ最終章へ突入しました。 各地のAWS Summitやバーチャル リーグで勝ち抜いたレーサーたちがラスベガスに集結し、さらにre:Inventで開催される３つのレースで構成されたコンペティション[Championship Cup」で厳しい競争を勝ち抜いたのちに世界一が決まります。ファイナリストとしてクオリファイされたのは世界各国から64名。そのうち日本からは8名が参戦しています。 簡単に世界一になるまでの流れを説明します。 まず、世界一になるためにはre:Invent 2019の中で開催される3回のコンペティションで勝たなければなりません。さらに、使用するコースもこれまでと異なる形状のものとなり、難易度が各段に上がっています。 初戦は「The Qualifying 64 Group racing」 MGM Grand Arenaで6面のトラックを使って行われる初戦では、64名を4つのグループに分け最速タイムを競います。 一人4分の持ち時間のレースを4回行い、合計16分走ります。その中で最も速いラップタイムが記録となります。なぜ4回も？これには理由があります。限られた時間内で多数のレースを展開するには複数トラックが必要になりますが、物理的なトラックにはそれぞれ微妙な「くせ」があります。ほんの少し傾斜していたり、Wifiの状態が異なっていたり、条件は全く同一というわけにはいきません。より公平な評価が可能なレース環境とするためこのような形がとられているのです。 そして、各グループの上位4位、16名が次のステージに進みます。 2戦目は「Bracket of 16 racing」 これまでのレースはシンプルに全参加者でタイムを競う形式をとっていましたが、このBracket of 16 racingでは、「対戦相手」のいるトーナメント形式をとります。ぶっちぎりの速さでなくてもよく、ただ対戦相手より0.01秒でも速ければ勝ちです。 トーナメントで3回勝てば決勝戦へと進むことができます。決勝に進むのは3名です。 そして最後の決戦となる「The final 3 showdown」 re:Invent Day4のKeynote直前に開催されるこのレースは、会場をVenetianに移して行われます。 このレースはWerner Vogelsのキーノートの直前に実施され、結果はKeynote内で発表されます。まさにこの1年の戦いの最終決戦にふさわしい大舞台が用意されたと言えるでしょう。これまでのレースと異なり、一人当たりの持ち時間はたったの90秒。この短い時間の中で有効ラップであり、なおかつ速いタイムが求められます。 そして12月3日、初戦の「The Qualifying 64 Group racing」が行われ、 日本から参加された3名の方がみごと「Bracket of 16 racing」に進出されました！ ・グループB：Sola@DNP こと 瀧下 初香さん (9.056秒 グループ1位） ・グループC：nero-DNPds こと相場 武友さん（9.955秒　グループ4位） ・グループD：Fumiaki […]

こちらはAWS Professional Service の IoT Global Specialty Practice に所属するシニアデータアーキテクト Asim Kumar Sasmal、IoT SiteWiseのシニアプロダクトマネージャーSaras Kaulによる投稿になります。 [この投稿を読む前に、シリーズのパート1とパート2を読んでください。] このシリーズのパート1で、AWS IoT SiteWiseを使用して、安全で費用対効果の高い信頼できる方法で産業アセットをモデル化し、産業現場からデータを取り込む方法を学びました。 このシリーズのパート2では、AWS IoT SiteWiseの新機能であるSiteWise Monitorを使用して、アセットの主要な測定値とメトリクスを監視し、必要に応じてニアリアルタイムで必要なアクションを実行する方法を学習しました。 パート3（この投稿）では、次の方法を学習します。 モデル化された機器データをAWS IoT SiteWiseからリアルタイムでストリーミングして、AWS IoT Coreのルールエンジンを介してカスタムアプリケーションで使用する 状態のモニタリングを有効にし、AWS IoT Eventsを使用してニアリアルタイムで通知またはアラートを送信する Amazon QuickSightを使用してヒストリカルデータに関するビジネスインテリジェンス（BI）レポートを有効にする AWS IoT SiteWiseは現在プレビュー中です。プレビュー中は、AWS IoT SiteWiseの使用に対して料金は発生せず、サービスは変更される可能性があります。 AWS IoT Events について AWS IoT EventsはIoTセンサーやアプリケーションからのイベントを簡単に検出して応答できるフルマネージドサービスです。これにより、機器またはデバイスのフリートを監視して、運用上の障害や変更を監視できます。また、このようなイベントが発生したときにアクションをトリガーできます。詳細については、AW​​S IoT Eventsコンソールの使用開始を参照してください。 Amazon QuickSight について Amazon QuickSightは、以下のことに使用できる高速なビジネス分析サービスです。 可視化の構築 アドホック分析の実行 セルフサービス方式でデータからビジネスの洞察をすばやく取得 […]

こちらはAWS Professional Service の IoT Global Specialty Practice に所属するシニアデータアーキテクト Asim Kumar Sasmal、IoT SiteWiseのシニアプロダクトマネージャーSourav Chakrabortyによる投稿になります。 [この投稿を読む前に、シリーズのパート1を読んでください。] このシリーズのパート1で、AWS IoT SiteWiseを使用して、安全で費用対効果の高い信頼できる方法で産業アセットをモデル化し、産業現場からデータを取り込む方法を学びました。 パート2（この投稿）では、次の方法を学びます。 AWS IoT SiteWiseの新機能であるSiteWise Monitorを使用してアセットの主要な運用パラメータとパフォーマンスメトリクスを監視し、必要に応じてニアリアルタイムで必要なアクションを実行する パート3で、あなたは次の方法を学びます : モデル化された機器データをAWS IoT SiteWiseからリアルタイムでストリーミングして、AWS IoT Coreのルールエンジンを介してカスタムアプリケーションで使用する 状態のモニタリングを有効にし、AWS IoT Eventsを使用してニアリアルタイムで通知またはアラートを送信する Amazon QuickSightを使用してヒストリカルデータに関するビジネスインテリジェンス（BI）レポートを有効にする AWS IoT SiteWiseは現在プレビュー中です。プレビュー中は、AWS IoT SiteWiseの使用に対して料金は発生せず、サービスは変更される可能性があります。 SiteWise Monitorについて SiteWise Monitorは、AW​​S IoT SiteWiseの新機能であり、大規模なプロセスや機器の運用データを表示、監視、共有するために使用できる管理されたウェブアプリケーションを提供します。ウェブポータルへのアクセスは、AWSシングルサインオン（SSO）を使用して、エンタープライズIDによって制御されます。つまり、プロセスエンジニアなどのドメインエキスパートは、AWSアカウントにアクセスしなくても、デスクトップまたはモバイルブラウザからSiteWise Monitor Webアプリケーションにサインインできます。SiteWise Monitorは、ユーザーがプロセスおよび機器のライブデータおよび履歴データをインタラクティブに表示するのに役立ちます。 ソリューションのアーキテクチャ 次の図は、この複数パートに及ぶ投稿で説明されているハイレベルのエンドツーエンドソリューションとソリューションで使用されるAWSサービスを示しています。 ウォークスルー このウォークスルーには2つのセクションがあります。 AWS IoT […]