Amazon Web Services ブログ

Happy Coding Dojo 開催のお知らせ ~オンラインで気軽に視聴できます~

Amazon Web Service Japan の Solutions Architect 3人を中心にウェブ開発、プログラミング、モバイル、AWS にフォーカスした、Happy Coding Dojo を開催します。Tech 面では AWS の話はもちろんなんですが、Microservicesとか世間の流行りなどアプリケーション開発にまつわる話全般をお題に幅広めにやっていきます。また、AWS 関連ではアプリ開発者向けの新機能や新サービスをライブコーディングなど交えつつ紹介したり、私見を交えつつ紹介したり(あくまでも私見です!)、ときに視聴者の皆さんからの質問やコメントを拾いつつインタラクティブにライブでお届けします。オンラインでライブ配信しますので、気軽に参加可能です。Let’s Happy Coding! 開催日時: 2018 年 12 月 12 日(水)18:00 – 19:00 形式: オンライン お申し込みはこちら >>

Read More

Amazon SageMaker で、セマンティックセグメンテーションアルゴリズムが利用可能になりました

 Amazon SageMaker は、マネージド型で、無限に拡張可能な機械学習 (ML) プラットフォームです。このプラットフォームを使用すると、機械学習モデルの構築、トレーニング、デプロイが簡単になります。Amazon SageMaker には、画像分類と物体検出のための 2 つの定評があるコンピュータビジョンアルゴリズムがすでに組み込まれています。Amazon SageMaker の画像分類アルゴリズムは、画像をあらかじめ定義されたカテゴリのセットに分類することを学習します。Amazon SageMaker の物体検出アルゴリズムは、境界ボックスを描画し、ボックス内の物体を識別することを学習します。本日、Amazon SageMaker セマンティックセグメンテーションアルゴリズムの開始により、コンピュータビジョンファミリーのアルゴリズムを強化することを発表いたします。 Amazon SageMaker セマンティックセグメンテーションアルゴリズムの一例。PEXELS の Pixabay による写真。 セマンティックセグメンテーション (SS) とは、既知のラベルセットからのクラスを使用して画像内のすべてのピクセルを分類するタスクです。セグメンテーション出力は通常、異なる RGB (クラス数が 255 未満の場合はグレースケール) の値として表現されます。したがって、出力は、入力画像と同じ形状のマトリックス (またはグレースケール画像) です。この出力画像は、セグメンテーションマスクとも呼ばれます。Amazon SageMaker セマンティックセグメンテーションアルゴリズムを使用すると、独自のデータセットでモデルをトレーニングできることに加えて、事前にトレーニングされたモデルを使用して希望通りに初期化を行うこともできます。このアルゴリズムは、MXNet Gluon フレームワークと Gluon CV ツールキットを使用して構築されています。セマンティックセグメンテーションモデルを学習することができる、次の 3 つの最先端の組み込みアルゴリズムの選択肢を提供します。 fully-convolutional network (FCN) pyramid-scene-parsing network (PSP) DeepLab-V3 すべてのアルゴリズムに、2 つの異なるコンポーネントがあります。 エンコーダまたはバックボーン。 デコーダ。 バックボーンは、画像の特徴の信頼できるアクティブ化マップを作成するネットワークです。デコーダは、エンコードされたアクティブ化マップからセグメンテーションマスクを構築するネットワークです。Amazon SageMaker セマンティックセグメンテーションは、バックボーンのオプションとして、事前にトレーニングされた、またはランダムに初期化された ResNet50 または ResNet101 の選択肢を提供します。バックボーンには、元は ImageNet 分類タスクでトレーニングされた、事前トレーニング済みのアーティファクトが付属しています。これらは、ユーザーがセグメンテーションのために FCN […]

Read More

Amazon SageMaker ノートブックが Git 統合への対応開始により、持続性、コラボレーション、再現性を強化

Amazon SageMaker ノートブックインスタンスと GitHub、AWS CodeCommit、あらゆるセルフホスティング型 Git リポジトリとの関連付けが可能になり、Jupyter ノートブックでの簡単で安全なコラボレーションや確実なバージョンコントロールが実現できるようになりました。本ブログ記事では、Git ベースのバージョンコントロールシステムを使用することのメリット、および Git リポジトリで作業するためのノートブックインスタンスの設定方法について詳しく説明します。 データサイエンス分野のプロジェクトでは、コラボレーションが不可欠です。データサイエンティスト、機械学習の開発者、データエンジニア、アナリスト、ビジネスの意思決定権限者は、機械学習モデルのコンセプト作りから製品化にいたる合理的な行程を維持するために、インサイトの共有、タスクの委託、業務履歴のレビューが必要です。 Git ベースのバージョンコントロールシステムは、共有可能な環境でデータサイエンス活動を一元管理します。Git リポジトリと合わせて Jupyter ノートブックを使用することで、プロジェクトの共同起草、コード変更のトラッキング、リリース可能なコード管理を実現するソフトウェアエンジニアリングとデータサイエンス活動の融合が可能になります。 また、ノートブックインスタンス内のノートブックは、耐久性の高い Amazon Elastic Block Store (EBS) ボリュームに格納されます。ただし、ノートブック自体がノートブックインスタンスの寿命以上に存続することはありません。つまり、ノートブックインスタンスを削除すると、作業自体も削除されます。Git リポジトリ内にノートブックを格納すると、Jupyter ノートブックをインスタンスのライフサイクルから分離し、将来の参照や再利用に備えてスタンドアロンドキュメントとして保持できます。 さらに、機械学習および深層学習テクニックに関して一般に公開されているコンテンツの多数が、GitHub のような Git リポジトリ内にホスティングされた Jupyter ノートブック上で入手できます。このノートブックをユーザーのノートブックインスタンスにシームレスにクローニングすると、一般に公開済みの学習教材の検索、実行、共有が簡単になって、学習プロセスのスピードアップにつながります。 Git リポジトリを Amazon SageMaker ノートブックインスタンスに関連付ける方法は 2 つあります。 パブリックな Git リポジトリのクローンを作成したい場合は、ノートブックインスタンスを作成する際に当該リポジトリの URL を用意するだけです。認証情報は特に必要ありません。Amazon SageMaker が、Git リポジトリをクローンしたインスタンスを起動します。 認証情報や個人用アクセストークンを要するプライベート Git リポジトリを関連付けたい場合や、将来の利用に備えてパブリック Git リポジトリ情報を格納したい場合は、まずこの Git リポジトリをユーザーの Amazon SageMaker アカウントにリソースとして追加する必要があります。認証を要する Git […]

Read More

Amazon SageMaker に機械学習実験を加速する新機能が登場

データサイエンティストおよび開発者は、Amazon SageMaker Search で機械学習 (ML) モデルトレーニングの実験を、素早く簡単に整理、追跡、評価できるようになりました。当社が導入する新しい Amazon SageMaker Search 機能を使用すると、Amazon SageMaker の数百から数千に及ぶモデルトレーニングジョブの中から、最も関連性の高いモデルトレーニング実行を発見して評価することができます。これにより、モデルの開発と実験のフェーズをスピードアップし、データサイエンティストと開発者の生産性を高め、機械学習ベースのソリューションを市場に投入するまでの全体的な時間を短縮できます。AWS マネジメントコンソールと AWS SDK API for Amazon SageMaker の両方で、新しい検索機能のベータ版を利用できます。新機能のベータ版は、現在 Amazon SageMaker の利用が可能な 13 の AWS リージョンで、追加料金なしで提供されています。 機械学習モデルを開発するには、継続的な実験と観察が必要です。たとえば、新しい学習アルゴリズムを試したり、モデルのハイパーパラメータをチューニングしたりする場合、そのような増分変更がモデルのパフォーマンスと精度に及ぼす影響を観察する必要があります。この反復型最適化の訓練は、数百のモデルトレーニング実験とモデルバージョンでデータ爆発を招くことがよくあります。それにより、「成功した」モデルの収束と発見が遅くなる可能性があります。また、情報の爆発が起こると、本番環境にデプロイされたモデルバージョンの先行モデルを遡って追跡するのにも手間がかかります。このようなモデル系統の追跡の難しさは、モデルの監査やコンプライアンスの検証、モデルのライブ予測パフォーマンスの低下原因のデバッグ、新しいモデルの再トレーニング実験の設定などを行う妨げとなります。 Amazon SageMaker Search を使用すれば、ビジネスユースケースに対応するうえで最も関連性の高いモデルトレーニング実行を迅速に特定できます。採用された学習アルゴリズム、ハイパーパラメータ設定、使用されているトレーニングデータセット、さらにはモデルトレーニングジョブに自分で追加しておいたタグなど、あらゆる定義属性を検索できます。タグを検索すると、特定のビジネスプロジェクト、研究ラボ、データサイエンスチームに関連付けられたモデルトレーニング実行をすばやく見つけられます。これは、モデルトレーニング実行をわかりやすく分類してカタログ化するのに役立ちます。関連するモデルトレーニング実行を 1 か所で集中的に追跡および整理できるだけでなく、トレーニングの損失や検証の精度などのパフォーマンス指標に基づいて、トレーニング実行をすばやく比較してランク付けできます。これにより、「成功した」モデルを選んで本番環境にデプロイするためのスコアボードを作成することができます。さらに、Amazon SageMaker Search では、ライブ環境にデプロイされたモデルの系統を迅速に追跡して、モデルのトレーニングや検証に使用されたデータセットまで遡ることができます。AWS マネジメントコンソールで 1 回クリックするか、または 1 行の簡単な API 呼び出しを実行するだけで、特定のトレーニング実行にアクセスして、最初のモデル作成時に組み込まれたすべての要素まで参照できるようになったのです。 次に、Amazon SageMaker Search を使用してモデルトレーニング実験を効率的に管理する方法を、手順に沿って紹介します。この新機能はベータ版で提供されているため、本番環境では注意してご使用ください。 Amazon SageMaker Search によるモデルトレーニング実験の整理、追跡、評価 以下の例では、Amazon SageMaker 線形学習アルゴリズムを使用して、MNIST […]

Read More

[AWS Black Belt Online Seminar] AWS re:Invent 2018 アップデート速報 資料及び QA 公開

先日 (2018/11/30) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2018 アップデート速報」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Transit Gatewayが出たことによってvpc peeringは不要になりますか? A. 不要にはなりません。Transit GatewayはVPC Peeringを置き換えるものではありません。 例えば単純に2つのVPCの接続したい場合は、VPC Peeringを使うのが簡単な解決方法です。 今後もVPC Peeringはご利用いただけますので、使い分けを意識してみてください。 Q. Transit Gatewayの制限事項はご紹介して頂いた以外にどういったものがありますでしょうか。 A. Webinar中は概要をお伝えすることしかできず、すみませんでした。 リリースされたばかりなのでまだ翻訳が追いついていないのですが、FAQとドキュメントをご一読ください。 海外リージョンでは利用できますので、試してしまうのも良い手です。 Q. FSx for WindowsはWorkspaces経由で使えるのですが、Dx経由では使えないのでしょうか。 A. 現時点ではこちらに記載のあるクライアントがサポートされています。 残念ながら現在はDirect Connect経由での接続には対応しておらず、開発を進めている状況にありますのでしばしお待ちください。 Q. License […]

Read More

[AWS Black Belt Online Seminar] AWS CloudFormation アップデート 資料及び QA 公開

先日 (2018/11/28) 開催しました AWS Black Belt Online Seminar「AWS CloudFormation アップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 AWS Black Belt Online Seminar AWS CloudFormation アップデート from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q.AMIのリストをテンプレートに作り、マネジメントコンソールで選択することができますが、VPC-ID、Subnet-IDも可能でしょうか? A.可能です。 Parameters セクションの Type に AWS::EC2::VPC::Id や AWS::EC2::Subnet::Id を指定すると、マネジメントコンソールでスタックを作成する際にユーザのアカウント内の VPC ID や Subnet ID のリストが表示され、その中から選択することができます。テンプレート内やスタック作成時に手動で ID を入力する必要はありません。   Q.Subnet-IDから、自動でそのリージョンに対応したCentOSのAMI-IDを参照して、作成させることは可能ですか? A.可能です。 AMI ID はリージョンに紐づきます。自分で作成した AMI の場合は、リージョン名と AMI ID […]

Read More

re:Invent 2018 / 11月30日 アップデートのまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はWerner Vogels のKeynoteで発表を中心として、多くの発表がありました。その纏めをお届けします。 Amazon Redshift concurrency scalingが発表になりました。 同時実行スケーリングはAmazon Redshiftの新機能であり、必要に応じて一時的な容量を追加し、同時ユーザーやクエリからの大量の要求を処理します。Amazon Redshiftは、並行処理の増加によりクエリがキュー内で待機する期間、クラスタを自動的にスピンアップさせます。メインクラスタが使用されている24時間ごとに、同時実行スケーリングのために1時間のクレジットが発生します。 Amazon MSK (プレビュー)が発表されました。 Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。 AWS Toolkit for IntelliJ(プレビュー)がは発表されました。 AWS Toolkit for Visual Studio Code(プレビュー)が発表されました。 AWS Toolkit for PyCharmが発表されました。 これらオープンソースのツールキットによって、サーバーレス・アプリケーションを簡単に開発することができます。 例えば、 AWS Toolkit for PyCharmを使えば次のようなことができます: 好みのランタイムで、デプロイための準備が整ったサーバーレス・アプリケーションを新規に作成する。  Lambda ライクな実行環境でステップ実行のデバッギングを用いて、ローカルでコードをテストする。 選択した AWS リージョンにアプリケーションをデプロイする。 ローカルやリモートで Lambda 関数を起動する。 Amazon Simple Storage Service (S3), Amazon […]

Read More

アプリケーションロードバランサー(ALB)のターゲットにAWS Lambdaが選択可能になりました

本日より、アプリケーション ロードバランサー (ALB)はAWS Lambda functionをターゲットにすることをサポートします。ウェブサイトの構築やウェブアプリケーションをAWS Lambdaを使いサーバレスなコードとして作成、管理し、ウェブブラウザやクライアントからのリクエストに簡単なHTTP(S)フロントエンドを提供するように設定できます。

Read More

AWS App Meshのご紹介 – AWS上のマイクロサービス向けのサービスメッシュ

AWS App Meshは、AWS上のマイクロサービスアプリケーション間の通信を簡単に監視、制御できるサービスメッシュです。 Amazon Elastic Container Service (Amazon ECS)やAmazon Elastic Container Service for Kubernetes (Amazon EKS)、Amazon EC2上で稼働するKubernetesで動作するマイクロサービスとあわせてApp Meshを使用できます。 今日からApp Meshはpublic previewとして利用できます。数ヶ月後に、新しい機能とインテグレーションを追加する計画です。 なぜApp Meshなのか? 多くのお客様はマイクロサービスアーキテクチャでアプリケーションを構成しており、アプリケーションを多数の、独立してデプロイされ、操作される多数の別々の小さなソフトウエア群に分割しています。各コンポーネントが需要に応じて個別にスケールすることにより、マイクロサービスはアプリケーションの可用性とスケーラビリティを向上させます。各マイクロサービスはAPIを通じて他のマイクロサービスと相互に作用します。

Read More

新発表 – AWS Toolkits for PyCharm、IntelliJ(プレビュー)、Visual Studio Code(プレビュー)

ソフトウェア開発者には好みの開発ツールというものがあります。パワフルなエディタを使う人もいれば、特定の言語やプラットフォームに最適化された統合開発環境(IDE)を使う人もいます。AWS Lambda のコンソールのエディタを使って、2014年に私は初めての AWS Lambda 関数を作りました。現在では、サーバーレス・アプリケーションをビルドしデプロイするためのツールの選択肢は豊富になりました。例えば、昨年 AWS Cloud9 がリリースされて AWS Lambda のコンソールのエディタ環境は大きく強化されました。.NET アプリケーションでは、 AWS Toolkit for Visual Studio と AWS Tools for Visual Studio Team Services を使う事ができます。 AWS Toolkits for PyCharm、IntelliJ(プレビュー)、そして Visual Studio Code(プレビュー) 今日、 AWS Toolkit for PyCharm の一般提供をお知らせします。また、 AWS Toolkits for IntelliJ と Visual Studio Code の開発者プレビューをお知らせします。これら(AWS Toolkits for IntelliJ と Visual Studio […]

Read More