Category: General

こんにちは。AWS ソリューションアーキテクトの上原(@pioho07)です。 AWS re:invent 2019開催から二週間経ち、徐々に興味のあるサービスを触り始めていらっしゃる方も多いのではないでしょうか。ちなみに自分はre:inventの前に発表があったAmazon CloudWatch Syntheticsというサービスが気になっています。外形監視をするマネージドサービスで単純なハートビートやGUI画面操作のチェックなどを行います。また、画面キャプチャを残したり各アセットのレスポンスの確認やアラームを上げるといったことができるので、さっそく自分のテストアプリへの監視を初めてみました。(まだプレビューで東京リージョンには来てない点ご注意ください) 本ブログでは本日、住友不動産六本木グランドタワービルにてFringe81様、BASE様、エブリー様、ディップ様、クルーズ様、アイアド 様、ファーストコンサルティング 様、Gunosy様の8社合同で開催したre:Invent 2019 Recapイベントの様子をレポートしていきたいと思います。 Re:invent 2019 Recapとは？ Recapイベントとは、毎年AWS re:Inventの前後に多数の新サービス・サービスアップデートが公開されるため、その内容を改めて振り返り、普段の業務のどういったところに使えるサービスなのかを復習できるイベントです。今後もAWS Loftなどの会場やオンラインでRecapイベントを開催していきますので、ご興味のある方はこちらをご確認の上ぜひご参加下さい。 https://aws.amazon.com/jp/about-aws/events/2019/reinvent-2019-recap/ 今回は住友不動産六本木グランドタワービルにオフィスを構えるFringe81様、BASE様、エブリー様、ディップ様で同じようなニーズがあり、Recapイベント+交流会という形で4社様と本ビル周辺にいらっしゃるお客様4社含めてAWS合同で開催いたしました。タイトルにあるビルシリーズって何？という方はビルシリーズ1発目のこちらのブログも是非御覧ください！(他にも麻布十番ビルでもビルシリーズを開催しました)。六本木にある本ビル最上階(43階)の素晴らしい会場をお貸しいただいたFringe81様ありがとうございました。 セッション 当日は8社で計30人以上のエンジニアの方々にお集まり頂きました。re:Invent 2019に参加されたBase 川口様からの熱い現地レポートLTが続きます。コンテナ周りのセッションに注目いただき、”現地でトリの人@toriclsにDMし「Containers Happy Hour」に参加でき、そこでAmazon ECS担当者と内部実装などを聞くことができてよかった”とおっしゃっていました。また、ExpoやJapanNightなども期待以上でおもしろかったそうです。 re:Inventに参加出来なかった方は、こちらの公式Youtubeにre:Inventのセッション映像が逐次アップロードされていくのでぜひ気になるサービスのDive Deepセッションやグローバル事例を確認してみて下さい。最先端の事例が集結しているので様々な学びが得られるはずです！ https://www.youtube.com/channel/UCdoadna9HFHsxXWhafhNvKw/videos ここからre:Invent 2019 recapに入ります。AWS ソリューションアーキテクトの加治・大倉・石見からre:Invent前後のアップデートの中で皆様のお役に立ちそうなものをピックアップしてご紹介しました。 当日の話を一部抜粋しますと、例えばコンテナ化に取り組まれている方々には以下のような嬉しいアップデートがありました。 Kubernatesを運用する上でEC2のレイヤーの管理から解放されたいというニーズから開発された、Amazon EKSのAWS Fargate対応https://aws.amazon.com/jp/blogs/news/amazon-eks-on-aws-fargate-now-generally-available/ Fargateをより安価に使いたい方にはFargate SpotやSaving Planが登場https://aws.amazon.com/jp/blogs/news/aws-fargate-spot-now-generally-available/ https://aws.amazon.com/jp/blogs/news/new-savings-plans-for-aws-compute-services/ AWS ECS Cluster Auto ScalingとECS Cluster Capacity Providerの登場によりECS on EC2がより楽に構築・運用できるようにhttps://aws.amazon.com/jp/blogs/news/aws-ecs-cluster-auto-scaling-is-now-generally-available/ Analytics周りでは一部プレビュー状態ではあるものの、今後の分析基盤を大きく変えうる大きなアップデートがありました。これらはそれぞれ「コンピュートとストレージ」「ホットストレージとウォームストレージ」を分離することで、各々を最適化できるよりクラウドらしい構成を目指しているのがポイントです。 Amazon RedshiftのRA3インスタンスとAQUAの登場によりパフォーマンスが非常に向上https://aws.amazon.com/jp/blogs/news/amazon-redshift-update-next-generation-compute-instances-and-managed-analytics-optimized-storage/ […]

こんにちは。AWS ソリューションアーキテクトの石見(@kazuya_iwami)です。 先週開催されたAWS re:invent 2019から一週間経ち、徐々に興味のあるサービスを触り始めていらっしゃる方も多いのではないでしょうか。ちなみに自分はre:invent直前に発表されたAmazon Transcribeの日本語対応に惹かれて持っている音源を片っ端から文字起こししてみたところです。 本ブログでは先日、住友不動産麻布十番ビルにてC Channel様、Retty様、エウレカ様、メタップス様の4社合同で開催したre:Invent 2019 Recapイベントの様子をレポートしていきたいと思います。 Re:invent 2019 Recapとは？ Recapイベントとは、毎年AWS re:Inventの前後に多数の新サービス・サービスアップデートが公開されるため、その内容を改めて振り返り、普段の業務のどういったところに使えるサービスなのかを復習できるイベントです。今後もAWS Loftなどの会場やオンラインでRecapイベントを開催していきますので、ご興味のある方はこちらをご確認の上ぜひご参加下さい。 https://aws.amazon.com/jp/about-aws/events/2019/reinvent-2019-recap/ 今回は住友不動産麻布十番ビルにオフィスを構えるC Channel様、Retty様、エウレカ様、メタップス様で同じようなニーズがあり、Recapイベント+個別相談会+交流会という形で4社様とAWS合同で開催いたしました。タイトルにあるビルシリーズって何？という方は他のビルでも開催したこちらのブログを是非！ オシャレな会場を貸していただいたエウレカ様、Retty様ありがとうございました。 セッション 当日は4社で計50人程のエンジニアの方々にお集まり頂きました。AWS 平田のre:Invent紹介から始まり、C Channel Tonny様、Retty 小迫様、エウレカ 金子様、メタップス 阿多様から今後のビルイベントへの思いをお話頂きました。 “同じビルでもあまり交流がなかった4社だったが、今回の合同イベントを通じて交流が持てて嬉しい。今後もこういった取り組みを続けていきたい” エウレカ CTO 金子様 そしてre:Invent 2019に参加されたエウレカ 山本様、原田様からの熱い現地レポートLTが続きます。印象に残ったのはDynamoDBやコンテナのセッションだそうです。 re:Inventに参加出来なかった方は、こちらの公式Youtubeにre:Inventのセッション映像が逐次アップロードされていくのでぜひ気になるサービスのDive Deepセッションやグローバル事例を確認してみて下さい。最先端の事例が集結しているので様々な学びが得られるはずです！ https://www.youtube.com/channel/UCdoadna9HFHsxXWhafhNvKw/videos ここからre:Invent 2019 recapに入ります。AWS ソリューションアーキテクトの石見・上原からre:Invent前後のアップデートの中で皆様のお役に立ちそうなものをピックアップしてご紹介しました。 当日の話を一部抜粋しますと、例えばコンテナ化に取り組まれている方々には以下のような嬉しいアップデートがありました。 Kubernatesを運用する上でEC2のレイヤーの管理から解放されたいというニーズから開発された、Amazon EKSのAWS Fargate対応 https://aws.amazon.com/jp/blogs/news/amazon-eks-on-aws-fargate-now-generally-available/ Fargateをより安価に使いたい方にはFargate SpotやSaving Planが登場 https://aws.amazon.com/jp/blogs/news/aws-fargate-spot-now-generally-available/ https://aws.amazon.com/jp/blogs/news/new-savings-plans-for-aws-compute-services/ AWS ECS Cluster […]

先日 (2019/12/10) 開催しました AWS Black Belt Online Seminar「 Amazon Chime 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191210 AWS Black Belt Online Seminar Amazon Chime from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. ビデオが16越えた時はどうなりますか？ A. Amazon Chime では参加者の最大 16 の動画タイルが動画バーに先着順に表示されるため、17人目はビデオが表示されません。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 AWSome Day Online Conference 「AWSome Day Online」は、実際に足を運んでいただく 1 日の AWSome Day の内容を […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 先週は 年に一度の大きなイベント AWS re:Invent 2019がラスベガスで開催されて、いつも以上に多くの新サービスや新機能が発表されましたね！エキサイティングな発表が多くて嬉しいのですが、とてもこの連載の枠に全ての重要な発表が収まりそうにりません。 そこで今回の週刊AWSでは、AWS re:Invent 2019 で発表された内容から、筆者ら（小林、下佐粉）が「個人的に凄いと思った発表10選」を独断でチョイスしてお送りします。なお、re:Invent 2019で発表された内容を全部知りたい！という方向けに関連資料も最後にまとめています。では、厳選10個のアップデートをご覧ください。

先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。   20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）   ＜ラスベガスでのライブ配信の裏側＞ 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が孤独に一人で対応しました。 いつもは真面目なブログを心がけている AWS Webinar チームですが、今回は特別に SA 小林によるラスベガスでの単独ライブ配信の裏側をこそっとお見せしたいと思います。   ①　あんなに明るい声で速報をお伝えしていた小林ですが、実際はホテルの一室で小さくなって対応してました。               ②　もうちょっと近寄ったショットで。Webinar […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 4日目（12月5日）が終了しました。今日はWerner Vogelsによるre:Invent 2019 最後の基調講演がありました。 Deep Racer リーグ決勝戦では、日本からの参加者がワンツーフィニッシュとなりました。   そしてこの後は最後の　Have Fun Event、re:Playがあります。 12月5日ですが、アップデートは1つでした。 Amazon Builders’ Libraryがリリースされました Amazon Builders ‘Libraryは、AmazonがAmazon.comとAWSを支えるソフトウェアをどのように設計、リリース、運用するかを読者に紹介する生きた記事のコレクションです。ビルダーズライブラリの記事は、Amazonのシニアテクニカルリーダーとエンジニアによって書かれており、アーキテクチャ、ソフトウェア配信、運用に関するトピックをカバーしています。たとえば、読者はAmazonがソフトウェア配信を自動化して年間1億5千万件以上の展開を達成する方法や、Amazonのエンジニアがシャッフルシャーディングなどの原則を実装して、可用性とフォールトトレラントな復元力のあるシステムを構築する方法を見ることができます。 – シニアエバンジェリスト 亀田

Amazonのお客様は、私たちがビジネスをどのように構築し、運営しているかについてもっと知りたいとよく言っています。小売業では、Amazon Fulfillment Centerを視察し、倉庫の整理方法を確認します。法人のお客様は、しばしば当社のリーダーシップ原則について質問し、時には彼ら自身の使用のためにそれらを採用します（そしてそれから適応させます）。私は定期的に彼らを私たちのエグゼクティブ・ブリーフィング・センター（EBC）にお迎えし、長期的な成功の一環として失敗を受け入れる、考え方や、私たちの技術革新の軽いチャーなどについて話をしています。 私たちのビジネスを取り巻く同じ好奇心が開発文化を取り囲んでいます。Amazon.com、AWS、その他のビジネスの根底にあるハードウェアおよびソフトウェアシステムをどのように設計、構築、測定、実行、スケーリングするかをよく聞かれます。 新しいビルダーズライブラリー 今日、Amazon Builders’ Libraryを発表できてうれしいです。システムの構築および実行方法を正確に説明する詳細な記事のコレクションを開始します。各記事は、ビジネスのその部分で深い専門知識を持つシニアテクニカルリーダーによって書かれています。 このライブラリは、私たちの仕事の根底にある理論と実践に直接アクセスできるように設計されています。学生、開発者、開発マネージャー、アーキテクト、およびCTOはすべて、このコンテンツが役立つと感じるでしょう。これは、「店舗で販売されていない」学校で教えられていないコンテンツです！ ライブラリはカテゴリ別に整理されています。 アーキテクチャ –セキュリティ、耐久性、高可用性、パフォーマンスの最適化を支援するクラウドサービスを設計する際に行う設計上の決定。 Software Delivery＆Operations –新しいソフトウェアをクラウドにリリースし、その後ヘルスと高可用性を維持するプロセス。 ライブラリ内で、この投稿を書いている間に2つの記事を簡単に見て、多くのことを学びました！ 乗り越えられないキューバックログの回避 –プリンシパルエンジニアのDavid Yanacekは、メッセージキューの内外を調査し、発生する可能性のある障害モードの多くを含む利点とリスクを調査します。彼は、キューを使用してAWS LambdaとAWS IoT Coreを強化する方法について説明し、レスポンシブを維持し、「言葉で言えば」「魔法のリソースの分離」を実装するために使用される高度な戦略について説明します。Davidは、複数のキューの使用、シャッフルシャーディング、遅延キュー、バックプレッシャーなどを含む、復元力のある非同期マルチテナントシステムについても解説しています。 分散システムの課題 –シニアプリンシパルエンジニアのJacob Gabrielson は、分散システムが失敗する多くの方法について説明します。3つの異なるタイプ（オフライン、ソフトリアルタイム、およびハードリアルタイム）のシステムを定義した後、彼はBizarroとの類推を使用して、なぜハードリアルタイムシステムが（再び、彼の言葉で）「率直に言って」パックマンに基づいた例を使い、要求/応答通信を追加し、成功または失敗する可能性のあるすべての方法を列挙します。彼は、テストケースの数を減らす方法について議論し、分散システムのテストに伴う他の多くの問題についても話しました。 これらは2つの記事にすぎません。コレクション全体をチェックアウトしてください。 Welcome 私たちは、より多くのコンテンツを持っています。そして我々はまた、あなたの話に興味を持っています。この投稿に関するフィードバックをお気軽にお寄せください。ご連絡いたします。 – Jeff;

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 3日目（12月4日）が終了しました。本日は早朝からチャリティマラソン4K/8K Runがあり、多くの方がラスベガスの街を走っていました。 この後朝6時ごろ、多くの人が参加し会場はすごく混雑していました。 走り終わってさわやかな汗を流した人たちです。 そしてそのあと、Global Partner Summitのキーノートが行われました。 またWorkshopコーナーでは日曜の夜に発表されたDeep Composerを使ったワークショップが行われ、参加した方は実機を手に入れているようです。   それでは12月4日のまとめです。 Amazon Kinesis Video StreamsがWebRTCによる双方向のメディアストリーミングに対応しました WebRTCは、シンプルなAPIを介してWebブラウザー、モバイルアプリケーション、接続されたデバイス間のリアルタイム通信を可能にするオープンソースプロジェクトです。WebRTCを備えたKinesis Video Streamsを使用すると、開発者は、リアルタイムの双方向メディアストリーミングと、アプリケーションと接続されたデバイス間の双方向性を備えたアプリケーションを構築できます。 Amazon Neptune Workbenchがリリースされました グラフデータを照会するためのコンソール内エクスペリエンスであるWorkbenchがリリースされました。Jupyterノートブックを使用して、Neptuneデータベースをすばやく簡単に照会できます。これは、ライブコードとナラティブテキストを備えた完全に管理されたインタラクティブな開発環境です。 ノートブックは、SageMakerのノートブックサービスを通じてホストおよび請求され、インスタンスが準備完了状態にある間、ノートブックインスタンスに対して課金されます。 Amplify for iOS and Androidがプレビューリリースされました モバイル開発者がスケーラブルで安全なクラウドベースのサーバーレスアプリケーションを構築できるようにするオープンソースライブラリです。ライブラリを使用して、分析、AI / ML、API（GraphQLおよびREST）、データストア、ストレージなどの機能をモバイルアプリケーションに簡単に追加できます。Amplifyのエスケープハッチのサポートにより、生成されたiOSおよびAndroid SDKを追加のユースケースに使用できます。 Amazon Chime Meetings App for Slackがリリースされました SlackユーザーはAmazon Chime Meetings App for Slackを使用して、Slackワークスペースチャンネルと会話から直接Amazon Chimeオンライン会議を開始および参加できます。Amazon Chime Basicを使用すると、ユーザーは1対1の音声通話とビデオ通話を開始し、参加者としてグループ会議に参加できます。Amazon Chime Proへのアップグレードにより、Slackユーザーは、最大100人の参加者と16のビデオストリームでのグループ会議のホスト、会議リンクからのゲストアクセス、会議ダイヤルイン、SIPのサポートなど、Slackワークスペースから高度な会議機能にアクセスできます。Slackワークスペースの管理者は、Slack […]

2019年12月3日 Amazon SageMaker の新しい機能であり、データの前処理や後処理、モデルの評価といったワークロードをフルマネージドなインフラストラクチャの上で簡単に実行する機能である、Amazon SageMaker Processing を発表できることを嬉しく思います。 精度の高い機械学習（ML）モデルを学習するためには、多くの異なるステップを必要としますが、以下のようなデータの前処理より重要なものはないでしょう。 機械学習アルゴリズムが活用できる入力フォーマットへデータセットを変換 カテゴリカル特徴量のOne-Hot エンコーディングのような、既存の特徴量をさらに表現力の高い特徴量へ変換 数値型特徴量のリスケールや平準化 住所をGPSの座標に置き換えるような、高レベルな特徴量の作成 自然言語処理を適用するための文章のクリーニングやトークン化 これらのタスクは、データセットに応じて異なるスクリプトを実行することになり、そして、後で学習の際に使われるための加工済データを保存します。あなたが想像する通り、機械学習チームにとって、これらを手作業で行ったり、自動化ツールを構築してスケールさせることは魅力的なな計画とは言えません。同様のことが後処理ジョブ（フィルタリングや照合など）やモデル評価ジョブ（異なるテスト用データセットに対するスコアリング）にも言えるかも知れません。 これらの課題を解決するために、 Amazon SageMaker Proscessing が開発されました。より詳細をご紹介させて下さい。 Amazon SageMaker Processing の紹介 Amazon SageMaker Processing はデータサイエンティストと機械学習エンジニアが前処理、後処理、モデル評価といったワークロードを Amazon SageMaker 上で簡単に行うための新しい Python SDK を導入します。 この SDK はデータセットの変換のために使われるおそらく最も人気のあるライブラリである scikit-learn 向けの SageMaker の組み込みコンテナを使います。 必要に応じて、特定の Docker イメージに制限されることなく、独自の Docker イメージをお使い頂くことが出来ます。これにより、最大限の柔軟性を提供し、SageMaker Processing や Amazon ECS や Amazon Elastic Kubernetes Servicesなどの AWS […]

2019年12月3日、Amazon SageMaker の新しい機能であり、本番環境にある機械学習 （ML） モデルを監視し、データの品質に問題が発生した場合には通知する、Amazon SageMaker Model Monitor を発表できることを嬉しく思います。 私がデータ関連の仕事を始めてから最初に学んだことは、データの品質に注意を払って払いすぎることは無いということでした。予期しない NULL な値を持ったデータや、特殊な文字エンコーディングがなされたデータベースに格納されていたデータによる問題の解決に数時間かかった経験がある人は挙手して下さい。 モデルは文字通り大量のデータから構築されるため、機械学習の実践者がなぜ多くの時間を、データセットの確認に時間を使うのかは容易に理解できます。特に、彼らは学習用データセット（モデルの学習に使われる）と、評価用データセット（精度を測るのに使われる）のデータサンプルが同じ統計的な特徴を持っていることを確認します。 そこに魔物がいます！実験に使われるデータセットを完全にコントロールしたとしても、構築したモデルが受け取るであろう、現実世界のデータが同じようにコントロールされるとは言えません。もちろん、現実世界のデータはきれいではないでしょうし、もっと気にかかるのは、受け取るデータの統計的特徴量が徐々に変化するような、データドリフトです。最小値、最大値、平均、分散など、これらの属性は、モデルが学習されている間の仮説や決定を形作ります。これらの値の重大な変化が、推論の精度に影響を与えることは、直感的に感じることができるでしょう。ローン審査予測において、入力データのドリフトや、たとえそれが欠損であったとしても、より多くの額を予測することを想像して下さい。 これらの条件を検知することはとても難しいことです。モデルによって受け取られるデータを捕捉する必要があり、学習用データと比較するために全ての統計解析を行い、ドリフトの発生を検知するルールを定義し、発生した場合にはそれを通知する、といったことをモデルを更新する度に行う必要があります。機械学習実践の専門家は、これらの複雑なツールを開発する方法を確かに知っているでしょうが、多くの時間と労力が必要になります。Undifferentiated heavy lifting が再び襲いかかってきます。 これらの負荷を減らし、お客様が価値創造に集中することを助けるために、我々は Amazon SageMaker Model Monitor を開発しました。詳細をお伝えさせて下さい。 Amazon SageMaker Model Monitor の紹介 典型的なモデル監視は以下のようになります。最初に 既存のもの、もしくは監視を目的に作られた新しいもの、どちらかの SageMaker エンドポイント を開始するところから始めます。Model Monitor は組み込みアルゴリズム、組み込みフレームワーク、独自コンテナのいずれかであっても、どのようなエンドポイントに対して使うことが出来ます。 SageMaker SDK を使うことによって、エンドポイントへ送付される設定可能なデータを捕捉する（要望に応じて推論結果についても捕捉することができます）ことができ、Amazon Simple Storage Service (S3) バケットを保存することができます。捕捉されたデータはメタデータ（コンテンツタイプやタイムスタンプなど）が付与され、他の S3 オブジェクトと同様に保護とアクセスをすることができます。 その後、エンドポイントにデプロイされているモデルを学習するときに使われるデータからベースラインを作ります（もちろん既存のベースラインを再利用することも可能です）。これは Amazon SageMaker Processing ジョブを起動します。これは Model Monitor が下記のような処理を行うものです。 入力データのスキーマ、例えばタイプやそれぞれの特徴の完全性についての情報を予想します。必要に応じて見返したり、更新することができます。 […]