Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

[AWS Black Belt Online Seminar] Amazon Kinesis Video Streams 資料及び QA 公開

先日 (2020/09/30) 開催しました AWS Black Belt Online Seminar「Amazon Kinesis Video Streams」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200930 AWS Black Belt Online Seminar Amazon Kinesis Video Streams from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Amazon Kinesis Video Streams でクラウドに送りつけた動画は実体はS3に保存されているのでしょうか?動画のストリーミング処理をしつつ、動画ファイルは例えば 30 分 x nといった形で保存しておく場合 KVS の設定のみで可能でしょうか?もしくは Lambda を定期発火させるなどして S3 に Put するような仕組みを組む必要がありますでしょうか? A. Amazon Kinesis Video Streams の特徴より > […]

Read More

サーバーレス LAMP スタック – Part 5: CDK コンストラクトライブラリ

本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート1:サーバーレス LAMP スタックの紹介 パート2:リレーショナルデータベース パート3:Webサーバーの置き換え パート4:サーバーレス Laravel アプリの構築 パート6:MVC からサーバーレスマイクロサービスへ この投稿では、サーバーレス LAMP スタック用の新しい CDK コンストラクトライブラリが、開発者によるサーバーレス PHP アプリケーションの構築にどのように役立つかを学びます。 AWSクラウド開発キット(AWS CDK)は、クラウドアプリケーションリソースをコードで定義するためのオープンソースソフトウェア開発フレームワークです。開発者は、TypeScript、Python、C#、Javaなどの使い慣れたプログラミング言語でインフラストラクチャを定義できます。開発者は、インターフェイス、ジェネリクス、継承、メソッドアクセス修飾子など、言語が提供する機能を利用できます。AWS Construct ライブラリは、CDK アプリケーションで AWS リソースを定義するための API を公開するモジュールの広範なセットを提供します。 「サーバーレス LAMP スタック」ブログシリーズでは、ベストプラクティス、コード例、多くのサーバーレスコンセプトの詳細を紹介し、これらが PHP アプリケーションにどのように適用されるかを示しています。また、PHP 開発者のインスピレーションを刺激するのに役立つ、コミュニティからの貴重な貢献に焦点を当てています。 このサーバーレス LAMP スタックの各コンポーネントについては、一連のブログ記事で詳しく説明しています。 パート1:サーバーレス LAMP スタックの紹介 パート2:リレーショナルデータベース パート3:Webサーバーの置き換え パート4:サーバーレス Laravel アプリの構築 サーバーレス LAMP […]

Read More
Weekly AWS

週刊AWS – 2020/10/5週

こんにちは、AWSソリューションアーキテクトの小林です。 涼しくなったなぁ、過ごしやすくていいなぁ、と思っていたら先週末の東京は肌寒いような気候でした。ここまでひんやりしてくると、やはり美味しいのは鍋物ですね(若干気が早い気もしますが)。鍋物はだいたい何でも好きなのですが、個人的なナンバーワンはシンプルな鶏肉と野菜の鍋にちょっといいポン酢をつけて食べるやつですね。博多の水炊きに近い気もするのですが、一度も実物を食べたことがないので果たしてどれくらい似ているのかが今ひとつわかりません。いつか本場で水炊きを食べるチャンスがあるといいなぁと思うのですが、なかなか果たせず……。 それでは、先週の主なアップデートについて振り返っていきましょう。

Read More
CDK

CloudFormation テンプレートから AWS Cloud Development Kit への移行

AWS CloudFormation を使用すると、開発者やシステム管理者は、関連する AWS リソースのコレクションを簡単に作成および管理し、それらを整然かつ予測可能な方法でプロビジョニングおよび更新できます。AWS CloudFormation のサンプルテンプレートの使用、または独自のテンプレートの作成によって、アプリケーションの実行に必要な AWS リソース、相互の依存関係、および実行時パラメーターを定義できます。AWS サービスのプロビジョニングの順序や、それらの依存関係を解決するための詳細を把握する必要はありません。CloudFormation はあなたに代わってこれを処理します。AWS リソースをデプロイしたら、制御され予測可能な方法で変更し更新できます。これにより、ソフトウェアと同じ方法で AWS インフラストラクチャにバージョン管理を適用できます。 2019 年 7 月、AWS Cloud Development Kit(CDK)がリリースされました。開発者が AWS インフラストラクチャを TypeScript、JavaScript、Python、C#、Java などの使い慣れたプログラミング言語のコードで定義できるようになったことで、お客様の選択肢が増えました。CDK では、より高いレベルの抽象化を使用してインフラストラクチャを定義できますが、その背後では CloudFormation が使われています。つまり、自動ロールバックやドリフト検出など、CloudFormation のすべてのメリットを享受できます。 多くの開発者は、アプリケーションコードに使用するのと同じ使い慣れたプログラミング言語でインフラストラクチャを定義することを好むため、CDKを使用したいと考えています。しかし一方で、実証済みのインフラストラクチャパターンと重要な構成設定をエンコードした CloudFormation テンプレートの広範なライブラリをすでにお持ちです。これらのテンプレートは、構築と維持に時間と労力を要します。一方で既存のスタックを再現する CDK コードを手動で記述することは、面倒でエラーが発生しやすくなります。 今日まで、既存のテンプレートで定義されたインフラストラクチャを活用する唯一の方法は、コアモジュールの CFnInclude クラスでした。これにより、CDK アプリケーションに CloudFormation テンプレートを組み込み、変更せずに出力することができました。ただし、このソリューションにはいくつかの制限があります。 テンプレートに含まれるリソースは、インクルードした後で変更することはできません。 テンプレートから取り込んだリソースは、その論理 ID を使用して手動で参照します。これはエラーが発生しやすく、この方法で作成された参照は、CDKが提供する強力な機能である CDK の自動クロススタックリファレンス生成機能を利用できません。 CloudFormation-Include CDK モジュールの発表 既存の CloudFormation スタックを CDK コードに移行するために特別に開発された CloudFormation-include […]

Read More
CDK

CDK Pipelines: AWS CDK アプリケーションの継続的デリバリ

AWS Cloud Development Kit(AWS CDK)は、使い慣れたプログラミング言語でクラウドインフラストラクチャを定義し、AWS CloudFormation を通じてプロビジョニングするためのオープンソースのソフトウェア開発フレームワークです。AWS CDK は、次の 3 つの主要なコンポーネントで構成されています。 再利用可能なインフラストラクチャ・コンポーネントをモデリングするためのコアフレームワーク CDK アプリケーションをデプロイするための CLI AWS Construct Library(クラウドリソースを抽象化し、実績のあるデフォルト値をカプセル化する高レベルのコンポーネントのセット) CDK を使用すると、cdk deploy を実行するだけで、ワークステーションから AWS クラウドにアプリケーションを簡単にデプロイできます。これは、初期開発およびテストを行う場合に最適ですが、本番ワークロードをデプロイするためには、より信頼性の高い自動化されたパイプラインを使用する必要があります。 CDKアプリケーションを継続的にデプロイするために、お好みのCI/CDシステムを利用することが可能ですが、より簡単で、かつすぐに利用可能な方法をお客様はご要望でした。これはCDKの中核的な理念に適合します。つまりクラウドアプリケーションの開発を可能な限り簡素化して、お客様が関心のある部分に集中することです。 CDK Pipelines の開発者プレビューリリースをお知らせします。CDK Pipelines は、AWS CodePipeline によって CDK アプリケーションの継続的なデプロイパイプラインを簡単にセットアップできる高レベルのコンストラクトライブラリです。この投稿では、CDK Pipelines を使用して、AWS Lambda と連携した Amazon API Gateway エンドポイントを 2 つの異なるアカウントにデプロイする方法について説明します。

Read More

AWS Systems Manager Quick Setupを使ったAWS Organizations全体でのインスタンス管理

運用部門の管理者は、エージェントのアップデートやパッチ適用状況のチェックのような一般的な設定を組織全体に適用したいとお考えではないでしょうか。2020/07/28にAWS Systems Manager Quick SetupはAWS Organizationsをサポートしました。この機能によって、Systems Managerの設定を簡単に、組織のアカウント全体に定義できるようになりました。この操作はOrganizationマスターアカウントから行います。Quick Setupは、Organization全体または、特定のAWS Organization Units(OU)を選択して適用することが出来ます。このブログ記事では、組織内のマルチアカウントに対して、Systems Manager Quick Setupの設定オプション(Configuration options)を展開するベストプラクティスをご紹介します。

Read More

【開催報告】ISV/SaaS事業社向けAWS研修 : AWS『中級』ハンズオン セミナー〜可用性&スケーラビリティ編〜

こんにちは!アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクトの秋田です。 ISV/SaaS事業社向けAWS研修の第3弾「AWS『中級』ハンズオンセミナー~スケーラビリティ&可用性編~」を開催しました!こちらの開催報告と合わせてセミナーの内容の紹介や、今後開催される予定の研修内容について紹介したいと思います。 第1弾「今日から一緒にはじめよう!IT基礎知識 & AWS超入門セミナー」の開催報告こちら 第2弾「今日から一緒にはじめよう!AWS『初級』ハンズオン セミナー」の開催報告はこちら ISV/SaaS事業社向けAWS研修とは? 「SaaSと言えばAWS!」をスローガンに、複数回に渡ってISV/SaaS事業者様に向けてのAWS研修を実施します。 AWSでSaaSとして事業を展開されているお客様、これから構築を検討されているお客様が「SaaS on AWS」でさらに価値のあるサービスを提供できるようにサポートしていきます! 現在開催している中級ハンズオン「可用性&スケーラビリティ編」ですが、中級編といっても、エンジニアであればAWSをこれまでに触ったことのない方でもご参加いただけるよう、基本的なところからご説明しつつ実施していく内容となっておりますので、ぜひ同僚お誘い合わせの上ご参加ください。参加は完全無料です。 参加登録はこちらです。 第3弾は「可用性」と「スケーラビリティ」を学ぶ中級ハンズオン 初級編に引き続き、AWS上にチャットアプリケーションを作成することを通して、可用性が高く、負荷に応じて自動的にスケールするアプリケーションの構築を学びます。AWSを使ったことがないエンジニアの方でも、基本的なところから説明しますので、問題なくご参加いただける内容となっています。 初級編ではチャットアプリケーションを構築しましたが、データベースがクラッシュした場合にはサービス全体が停止してしまうなど可用性に課題があるアプリケーションでした。また、アプリケーションに人気がでてアクセス数が急増した際に対応できない(スケールしない)という課題もありました。実際のWebサービス運用ではこれらの課題を常に考えていかなければなりません。中級ハンズオン「可用性&スケーラビリティ編」では、これらについて最も基本的な対応策をご紹介し、実際に構築していきます。 具体的には、リレーショナルデータベースサービスであるAmazon RDSや、仮想サーバサービスであるAmazon EC2を冗長化し、これらのリソースやAvailabilityZoneに障害があってもサービス全体の可用性が損なわれないようにします。また、AWS AutoScalingにより、ロードバランサへのリクエスト数に応じてEC2の台数を自動的に起動/終了する仕組みを導入することで、サービスのスケーラビリティを確保する方法を学びます。 10月6日にこの第一回目を実施しました。当日はオンラインでの開催にも関わらずたくさんの質問をいただき、参加者の皆さまが真剣に取り組まれている様子が伺えました。今後のセミナーをよりよいものにするためにも、お気付きの点などありましたらぜひフィードバックをいただければと思います。 11月は中級ハンズオン「コンテナ編」 10月中は引き続き「可用性&スケーラビリティ編」を開催いたします。今回参加された方ももう一度参加して頂いて構いません。参加はもちろん無料です。 2020年11月以降は中級ハンズオン「コンテナ編」の実施予定です。これ以降、SaaSのサービス開発でよく使われる要素技術や典型的なアーキテクチャそれぞれについて、AWS上での構築方法を学ぶためのハンズオンを提供していきたいと思いますので、ぜひご参加いただければと思います。こちらも完全無料でご参加いただけます。   このブログの著者 秋田 仁雅(Akita, Yoshinori) AWSのソリューションアーキテクトとして、主にISV/SaaS事業者のお客様に対する技術支援を担当。最近はElastiCacheが好きです。   上原 誠(Uehara, Makoto) AWSのソリューションアーキテクトとして、主にISV/SaaSのお客様に対する技術支援を担当。技術的な得意/興味領域としては、アナリティクス系テクノロジー、広告系ソリューションなど。

Read More

日本語形態素解析器 MeCab を Python から利用する際の語彙データ(UniDic)が AWS 上で Open Data として公開されました

多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの調達が問題となってきました。AWS 上で自然言語処理モデルの開発を行う際には、Amazon Sagemaker を用いて学習に必要なリソースを確保することで、ALBERT のような最新の言語モデルを利用することが可能です。 今回、AWS の Open Dataset に新しく、日本語自然言語処理で定番の形態素解析器である MeCab を、ラッパーライブラリである fugashi 経由で Python で使用する際の語彙データが加わりました。以下で詳しく説明します。 MeCab MeCab はオープンソースの形態素解析器で、日本語の形態素解析において幅広く使用されています。言語、辞書、コーパスに依存しない汎用的な設計を 基本方針としており、高速に動作します。 fugashi fugashi は MeCab を Python から使用する際のラッパーライブラリです。unidic-py と連携することにより、下記の UniDic を簡単に読み込んで使用することができます。 UniDic UniDic は国立国語研究所により構築された、日本語テキストを単語に分割し、形態論情報を付与するための電子化辞書です。 このデータは S3 上でホストされているため、AWS で日本語自然言語処理モデルの開発を行う際に、素早くデータをダウンロードして利用することができます。例えば UniDic のデータをダウンロードするのであれば、AWS CLI から以下のコマンドを打つだけです(AWS CLI のインストールについては、こちらをご覧ください。)! aws s3 cp s3://cotonoha-dic/unidic.zip ./ […]

Read More

日本語形態素解析器 Sudachi の語彙データ(SudachiDict)および単語ベクトル(chiVe)が AWS 上で Open Data として公開されました

多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の言語ごとの辞書データや単語ベクトルデータを用いることが一般的です。これらのデータは GB 以上のサイズにおよび、また計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの調達が問題となってきました。AWS 上で自然言語処理モデルの開発を行う際には、Amazon SageMaker を用いて学習に必要なリソースを確保することで、ALBERT のような最新の言語モデルを利用することが可能です。 今回 AWS の Open Dataset に新しく、日本語自然言語処理で定番の形態素解析器である Sudachi の語彙(SudachiDict)および単語ベクトル(chiVe)のデータが加わりました。これらについて以下でご紹介します。 Sudachi Sudachi はオープンソースの日本語形態素解析器です。形態素解析では、主に文章のテキスト分割、品詞の付与、そして正規化処理を行います。Sudachi は従来の形態素解析器と比較して、(1) 複数のテキスト分割単位を併用することが可能、(2) UniDic や NEologd をベースとした多数の語彙を収録している、(3) プラグインによりさまざまな機能を追加可能、といった特徴を持っています。そのため日本語で自然言語処理を行う際に一般的によく利用されています。 SudachiDict SudachiDict は形態素解析器 Sudachi で利用されている語彙データです。収録語彙の範囲に応じた以下の 3 種類が提供されているため、用途に合わせて好きなものを利用することが可能です。 Small: UniDic の収録語とその正規化表記、分割単位を収録 Core: 基本的な語彙を収録 Full: 雑多な固有名詞まで収録 chiVe chiVe は大規模コーパスと複数粒度分割に基づく、日本語単語ベクトルです。自然言語処理において、2013 年に提唱された word2vec 以降、単語をベクトルに変換して機械学習モデル構築の中で利用するのは、非常に一般的なアプローチとなっています。chiVe では、国立国語学研究所の日本語ウェブコーパス(NWJC)に対して、Sudachi による分かち書きを用いています。chiVe は、オープンソースの日本語自然言語処理ライブラリである GiNZA と組み合わせて利用することもでき、それにより高精度なモデル開発を行うことが可能です。 […]

Read More

米大統領選までのカウントダウン──米国のNPOは、AWSクラウドを活用し有権者登録や郵便投票など「投票者エクスペリエンス」を劇的に向上

歴史的な2020年の米国大統領選挙の投開票日が近づいています。今回のAWSブログでは、AWSユーザーでもある米国の代表的なNPO(非営利団体)がどのようにAWSクラウドを使用し、有権者登録や郵便投票、候補者情報の把握など各種の「投票者エクスペリエンス」を劇的に向上させているのか、その方法や事例に関してAWS 公共部門のブログチーム よりご紹介します。 2020 年 9 月 22 日 (火曜日) は、「有権者登録」の機会について幅広く認知度を高めることを目的に、党派横断で民主主義を祝福する米国市民の祝日「 National Voter Registration Day (全米有権者登録の日) 」でした。(訳注:米国では、大統領選挙を始め各種選挙で投票を行うための「有権者登録」が必要です。) この、「全米有権者登録の日」 及び全体的な選挙キャンペーン期間を通じて、米国のNPOはクラウドを利用し、安全で拡張性があり、費用対効果の高い方法でそのミッションを達成することを目指しています。   選挙を所管する行政管理機関の支援を受けて、市民団体は有権者に対して登録の現状確認、次回投票へ向けた登録の更新、期日前投票についての認知向上、投票場所の検索、投票率向上のための学習、選挙のリマインダーへのサインアップ、その他の重要な選挙情報の収集など、多様な行動を奨励しています。このブログでは、非営利の市民団体・NPOが、アマゾン ウェブ サービス (AWS) のクラウドを活用したデジタルプラットフォームを用い、オンラインで有権者を登録し、ボランティアを動員し、市民を教育する方法について説明します。 有権者の登録と教育、投開票支援補助員の勧誘 【1】数百万人単位の新規有権者登録を支援 Democracy Works (DW) は、無党派のNPOです。彼らは、選挙インフラのアップグレードに必要なツールを構築し、有権者や選挙関係者の「投票者エクスペリエンス」を向上させようとしています。「Democracy Works」 のフラッグシップ・ツールである「TurboVote」は、有権者が登録し、登録を維持し、自治体から全国レベルまで、あらゆる種類の選挙で投票用紙を投じる体験(=「投票者エクスペリエンス」)の質の向上に役立ちます。 TurboVote のユーザーが最初の 100 万人に到達するまでに 「Democracy Works」は 5 年間を擁しましたが、2018 年だけで 500 万人もの記録的な数の新規ユーザーを獲得し、これらのマイルストーンはAWS を利用して達成されました。2020年11月の大統領選挙・上院/下院議員選挙までのリードタイムにおいては、TurboVote は 1 週間で数百万人もの申請者の処理を遅滞なく処理する準備が整っています。Amazon Elastic Compute Cloud (Amazon EC2) と Amazon DynamoDB により、オート・スケーリング可能なため、TurboVote […]

Read More