Amazon Web Services ブログ

 AWS コミュニティヒーローで、Datree.io の CTO 兼共同創設者、Shimon Tolts 氏によるゲスト投稿。彼は開発者向けのツールとインフラストラクチャが専門分野で、100％ サーバーレスの会社を運営しています。 近年、ソフトウェアの構築と配信の方法に大きな変化がありました。主にマイクロサービスに関するもので、コードを小さなコンポーネントに分割し、インフラストラクチャをコードとして使用し、Git を信頼できる唯一のソースとして利用することでこれらすべてを結び付けたのです。 この記事では、最新のソフトウェア開発の推移とさまざまな手段について説明しながら、サーバーレスの世界での選択可能なソリューションをご紹介します。さらに、現代にふさわしい便利なツールもご紹介します。 サーバーレスとは サーバーレスの開発とツーリングの魅力あふれる世界をご紹介する前に、サーバーレスとは何かを考えてみましょう。AWS のウェブサイトには、主に 4 つの利点があります。 サーバー管理の必要がない。 適応性のあるスケーリング。 価値に対する支払い。 高可用性の自動化。 サーバーレスとは​​管理やスケーリングを必要としないインフラストラクチャであると、私は考えています。 私の会社の Datree.io では、ワークロードの 95％ を AWS Fargate で、そして残りの 5％ を AWS Lambda で実行しています。当社はサーバーレスの会社であるため、AWS アカウントには Amazon EC2 インスタンスがありません。詳細については、以下をご参照ください。 io での導入事例 Migrating to AWS ECS Fargate in production CON320: Operational Excellence w/ Containerized Workloads Using […]

 深層学習は世界を変えています。しかし、コンテナの構築など、その基礎的な作業の多くでは、多くの時間がかかる場合があります。この記事では、fastai モデルを Amazon SageMaker トレーニングとホスティングに構築、トレーニング、デプロイする方法を説明します。この場合は、Amazon SageMaker Python SDK および PyTorch ベースイメージを使用します。このことにより、自分のコンテナを構築するための追加手順を行わずに済みます。 Amazon SageMaker は、フルマネージドの機械学習 (ML) サービスです。これにより、データ科学者と開発者は、低コストで、素早く ML モデルを構築、トレーニングし、本番稼働にデプロイできるようになります。Amazon SageMaker Python SDK は、ML モデルのトレーニングとホスティングのためのオープンソースライブラリです。TensorFlow、MXNet、PyTorch、および Chainer などの一般的な深層学習フレームワークを容易に使用し、互換性を持たせることができます。AWS は最近 fastai ライブラリを基本の PyTorch コンテナに追加しました。これにより、自分自身おコンテナを提供する代わりに、Amazon SageMaker で fastai 深層学習モデルを利用することができるようになります。 最新のベストプラクティスを使用して、fastai ライブラリは数行のコードだけで、高度な深層学習モデルを作成するときに役立ちます。これには、コンピュータビジョン、自然言語処理、構造化データ、または協調フィルタリングなどのドメインが含まれます。 組織の fast.ai は fastai ライブラリを開発して維持します。これは、一般的な深層学習オープンソース PyTorch パッケージと共に動作します。組織は最近、DAWNBench Competitionで優位な地位を得ました。また、一般的な オンラインコースを提供して、そのモデルを使って ML のバックグラウンドも経験もない開発者のトレーニングさえもしています。 環境のセットアップ fastai ライブラリをインストールした上で新しい Amazon SageMaker ノートブックインスタンスをセットアップするためには、[Launch Stack] […]

こんにちは、AWSソリューションアーキテクトの小林です。先週末の東京はまるで夏が来たかのように暑かったのですが、ブログ執筆時点ではまだ梅雨明けは発表されていないようです（追記：午後に梅雨明けが発表されました）。そういえば、今年の東京の梅雨は数年ぶりに梅雨らしい雨の日が多かったような気がします。これから夏本番。暑い時期がやってきましたが、AWSの夏もとびきりホットになるといいなーと、なんとなく思っている今日この頃です。

2019年5月28日に、ヨーロッパの業界団体であるCISPE (Cloud Infrastructure Services Providers in Europe) から『“Buying Cloud Services in the Public Sector”（パブリック・セクターにおけるクラウドサービスの買い方）』と題したハンドブックが公開されました（こちらのCISPEのウェブサイトからダウンロードいただけます https://cispe.cloud/1983-2/）。 今回のハンドブックの狙い CISPEは、ヨーロッパの数百万の顧客にサービスを提供するクラウドコンピューティング業界のリーダーの集まりです。AWSもCISPEのメンバーであり、今回のハンドブックの作成にあたっては、公共政策・法務・公共調達渉外等の各メンバーが全面的に協力することにより、コンテンツ構成や最終段階のピアレビュー等の各段階をリードしました。 “『パブリック・セクターにおけるクラウドサービスの買い方』ハンドブックの目的は、競争的な調達プロセス(Cloud Services Request for Proposal- RFP)を通じてクラウドサービスを調達したいと望んでいるものの、これまではそうしたCloud Framework Agreementに関する知見をお持ちでなかった機関向けに、ガイダンスを提供することです。（CISPEのウェブサイト）”。すなわち、パブリック・セクターのお客様がクラウドサービスの調達仕様書・要件定義書を作成するための考え方と合わせ、コピー＆ペーストでそのまま調達仕様書・要件定義書に盛り込んでいただくことを想定してCISPEメンバーが書き下ろした具体的な表現例に関する提案がふんだんに盛り込まれています（ハンドブック中では青色でハイライト）。今回のこのハンドブックのこうした記載の多くは、AWSのこれまでの数多くのお客様との意見交換やベストプラクティスを反映したものとなっています。   「クラウド・バイ・デフォルト原則」と調達担当者にとっての意義 クラウドサービスに適合的な新しい調達仕様書を作り込むことは、調達担当者にとって容易ならざるチャレンジですが、今回のハンドブックは、日本政府が推進する「クラウド・バイ・デフォルト原則」（概要、及び政府CIO補佐官登壇資料）の下で具体的な調達プロジェクトに取り組む日本の調達担当者の皆様に、グローバルな議論の積み上げを豊富な具体的な表現例付きで知っていただく「教科書」としてご活用いただけるものと考えています。今後、AWSとしては、このハンドブックの日本語への翻訳を進め、日本のパブリック・セクターの皆様に更にご活用いただきやすくすると同時に、具体的な調達プロジェクトへの当てはめを含め、各機関からのご相談にも対応させていただきたいと考えています。【2020年7月追記：和訳版がその後、公開に至りました】　具体的なご相談は、ぜひ、AWSパブリック・セクター公共調達渉外担当までお問い合わせください。 本ブログは、CISPEのウェブサイト上の投稿をもとに、アマゾンウェブサービスジャパン株式会社 パブリックセクター 統括本部長補佐（公共調達渉外担当）の小木郁夫が執筆いたしました。

英国で EU 離脱（Brexit）のニュースがトップ記事となっていますが、先日、ロンドンでもう 1 つ重要なできごとがありました。Richard W. Downing 米国 司法副長官補佐が、Academy of European Law Conference において「海外のデータの合法的使用を明確化する法律」(Clarifying Lawful Overseas Use of Data Act) (通称「“CLOUD 法”」) についての誤解と真実に関してスピーチを行い、その後、米国司法省 (DOJ) から CLOUD 法の目的と範囲を明確にし、多くの誤解に対処するためのホワイトペーパーと FAQ が発表されました。このスピーチと DOJ のホワイトペーパーおよび FAQ をぜひお読みいただき、CLOUD 法の実態をご理解ください。簡単に言うと、CLOUD 法とは、国際的な犯罪やテロ活動に法執行機関が対処することを唯一の目的とした古い法律に、軽微な変更を加えたものです。CLOUD 法によって米国の法執行機関にクラウド内のデータに対して自由なアクセス権をが与えられる、という噂は事実ではありません。 DOJ のスピーチとガイダンスは正しい方向に進むための足掛かりにはなりますが、それだけでは不十分です。クラウドコンピューティング利用者がデータのアクセスに関する重要な問題を理解できるようにするために、各国の政府が行うべきことはたくさんあります。今日は、CLOUD 法に伴いクラウドサービスの利用方法を変える必要はないということをお客様に理解していただけるように、この法律に対する主な誤解について説明しようと思います。 過去 30 年にわたる法執行機関のデータアクセス権 1986 年に、「保管された通信に関する法律」 (Stored Communications Act (SCA)) が議会で制定され、電子的コミュニケーションに対する法執行機関のアクセスについて対応が行われました。制定当時は SCA が将来を見据えた法律だと思われていましたが、その後に新しいインターネットアプリケーションやクラウドコンピューティングなどの技術が出てくると、その対応は困難で何年もかかってしまいました。そこでの議論の 1 つは、米国外にあるデータを米国の法執行機関が取得することができるかどうかということでしたが、この議論は CLOUD 法の成立によって決着しました。米国でビジネスを行っている事業体 […]

Amazon Athena は、Amazon S3 のデータに対するサーバーレスのクエリエンジンです。多くのお客様が、Athena を使用してアプリケーションおよびサービスのログを照会し、自動化されたレポートをスケジュールし、それらのアプリケーションと統合し、新しい分析ベースの機能を可能にしています。 ビジネスアナリスト、データサイエンティスト、セキュリティ、オペレーションエンジニアなど、さまざまな種類のユーザーが Athena を活用しています。しかし、コストを最小限に抑えながらユーザーが最高の体験を得られるには、こうしたワークロードをどのように分離および管理すればよいでしょうか? この記事では、ワークグループを使用して以下を行う方法を説明します。 ワークロードを分離する。 ユーザーのアクセスをコントロールする。 クエリの使用状況およびコストを管理する。

AWS サービスチームのスタッフたちは、お客様が今必要としているものを提供するだけでなく、明日必要になるものを予測することにも最善を尽くしています。この「顧客へのこだわり」と「ベストな人材を確保し育てる」(14 か条ある Amazon リ ーダーシッププリンシプルのうちの 2 つ) ことに取り組むことで、私たちはビジョンを見据え、実現しています。弊社の努力がお客様を喜ばせ続けている、さらにガートナーや他の一流のアナリストたちから認められていると分かるのは、いつでもうれしいものです。 AWS は 9 年連続して、ガートナーによるマジッククアドラントのクラウド IaaS 分野において右上隅のリーダーのポジションを確保し、実行能力とビジョンの完成度において最高位を獲得してきました。 フルレポートには AWS に関する詳細情報が数多く記載されており、お客様がクラウドプロバイダーを選択する際、機能や条件を検討するための優れた要約資料となるでしょう。 Jeff ガートナーは、研究出版物に記載されているベンダー、製品、サービスを推薦するものではなく、テクノロジーユーザーに最高の評価や他に指名されたベンダーのみを選択するように助言するものでもありません。ガートナーの研究出版物はガートナーの研究組織による見解で書かれたものであり、事実を表明するものではありません。ガートナーは、商品性または特定目的適合性に関するいかなる保証も含め、この調査に関する明示黙示の如何を問わず、あらゆる保証の適用を排除します。

2014 年に CEO の Josh Churlik 氏が Well Data Labs を共同設立したとき、彼は業界における奇妙な二分法を強く意識していました。石油およびガス会社にとって、「坑内」の技術革新 (つまり地下で起こること) は、データや分析の技術革新のペースをはるかに上回っていたのです。当時使用されていたデータシステムは 1990 年代の遺物であり、必要とする人々にとって有益であるよりも、歴史への敬意がより強いものでした。 業界の他の多くの人と同様に、Josh と Well Data Labs のチームは、現場のエンジニアの仕事をずっと容易にする可能性がある情報にアクセスできないことに不満を感じていました。業界がスプレッドシートで発展している間、Churlik 氏と彼のチームは、クラウドコンピューティングの急速な進歩に基づいて最新のソフトウェア会社を設立する機会を見つけました。 その結果生まれた会社である Well Data Labs は、「事業者が自社の内部データを管理、分析、報告するための最速かつ最も簡単な方法を提供するために構築された最新のウェブアプリケーション」と自称しています。 つまり、Well Data Labs は、運用中に作成された厄介な時系列データ (キャプチャ、正規化、構造化、およびそのデータに対する分析の有効化) をすべてウェブベースのアプリケーション内で効率的に処理するのです。 Well Data Labs が提供するものを使用すると、エンジニアはより迅速で、より情報に基づいた決定、つまり運用のコストと成功に直接かつ直接的な影響を及ぼす決定を下すことができます。Well Data Labs の顧客が現場での操作をリアルタイムで監視できるように、同社は手動によるフロントエンドのデータ収集と分析を AWS で実行されるカスタム開発の機械学習 (ML) モデルに置き換えました。 AWS の技術スタックがこのソリューションの原動力です。Churlik 氏は、次のように説明しています。「開始したときに、他のクラウドプロバイダーと AWS の間でベイクオフを行いました。私たちは .NET スタックと SQL データベースを使いましたが、AWS ははるかに高性能でした。」 それで、AWS […]

みなさん、こんにちは。AWSソリューションアーキテクトの下佐粉（しもさこ）です。 今週も週刊AWSをお届けします。このシリーズでは、毎日のようにリリースされるAWSの新機能や新サービスを一週間単位でコンパクトに紹介しています。毎週火曜か水曜ぐらいを目処に更新しています（と言いながらこのように月曜に出たりしています）。 先週小林が素麺の話を書いたので私も麺繋がりで書きますと、担々麺は最近いろいろな所に美味しいお店がありますが個人的な一押しはTCAT（東京の水天宮前駅直結）にある龍鳳です。ここのミックス担々麺は絶品なので、近郊の方はぜひ試してみてください。 では先週のアップデートを見ていきましょう。

6月12-14日に開催されたAWS Summit Tokyo2019にて、メディア業界バーティカルセッションを実施しました。   3つのセッションにおいて合計8社のお客様にご登壇頂き、最新の事例をご紹介頂きました。 全セッションを通して500人収容の会場は満席、注目度の高さが伺えました。   技術でメディアを拓く：AI と日経の記事・動画・文化事業 東京大学共同研究員博士（理学） 日本経済新聞社/日経イノベーション・ラボ上席研究員　中島寛人様 中島様より、日経イノベーションラボにおけるAI導入とAWSの活用方法について発表頂きました。AWSを研究開発リソースとして活用し、用途に合わせて性能を選べる点や、同じ環境を作り出せるため実験条件を揃えやすい点にメリットを感じているとのことでした。まず、AIが記事内の誤りを検出する校正システムについてデモを交えてご紹介頂きました。新聞紙面における掲載箇所など新聞業に特化した校正ルールまで理解したAIが、人の目では見つけることが困難な誤りを瞬時に検出し指摘する点が興味深かったです。実行環境はAmazon EC2 P2インスタンスを使っています。深層学習の簡易シュミレーションが行えるサイト（CNN Playground：http://dlpg.nikkei.com/）のバックエンドで使用されているモデルの学習では、Amazon EC2 P3インスタンスを8台並行処理させ10日間で学習を終えることができ、AWSだから早く終わったとの感想を頂きました。     制作・管理・アーカイブ・配信までエンドツーエンドのAWSメディア最新事例 制作・管理・アーカイブ・配信のワークロードそれぞれの変化やトレンドについて事例を発表頂きました。 モデレーター アマゾン ウェブ サービス ジャパン ソリューションアーキテクト　石井悠太   株式会社ジェイ・スポーツ 技術本部製作技術部長（兼）国際映像チーム　チームリーダー　富久洋次郎様 構成制作本部　企画制作部　第一制作チーム　ディレクター　沼倉敦様 昨年末の全国高等学校ラグビーフットボール大会におけるクラウド編集導入事例を発表頂きました。中継の最後に流れる、毎年注目度が高いエンディング映像の編集をAWS上で実施いただきました。これまで歴代のディレクターは年末年始に編集所で寝泊まりしつつ実施していた作業を、ホテルからWi-fiでAWS上の編集環境に接続し実施できるようになりました。急な変更作業や他メンバーとの素材共有も可能となり、今後は複数の編集作業平行に向けたワークロード策定や、初の4K放送となるラグビーワールドカップでの活用を検討するとのことです。   株式会社NHKテクノロジーズ メディア技術本部　開発技術センター　メディア開発部　チーフエンジニア　菅原賢司様 CG制作におけるAWS活用について発表頂きました。従来CGレンダリングの課題として、クオリティへの要求のためにリソースが不足することや、複数サーバでの分散処理が必要だが、プロジェクト開始から締切に向けて徐々にリソース使用率が上がるためにキャパシティプランニングが困難かつ無駄が出てしまうことがあったとのことです。そこでAWSのクラウドレンダリングファーム管理ソフトであるAWS Thinkbox Deadline 10をオンプレ環境とのハイブリット構成で導入し、Spot instanceを活用することで必要な時に必要な分だけ低価格でリソースを確保できるようになりました。今後は分散ストレージのAmazon FSx for Lustreや、リモートCGプロダクション環境に仮想ディスクトップ技術であるTedadici PCoIP の活用も検討、制作ワークロードのさらなる効率化を推進いただいております。   株式会社フジテレビジョン 技術局　放送技術センター　放送部　井村紀彦様 クラウドを活用したマスターのコンテンツ管理プラットフォームについて発表頂きました。従来は、地上波、BS、CSそれぞれで管理していたコンテンツを、クラウド上の「総合コンテンツ管理システム」に移行することで、組織間でのコンテンツ共有や管理コストの削減を実現されました。初期設備投資や保守費を抑えられること、コストの見える化が図れること、倉庫から出庫することなく番組素材に即アクセス可能になったこと等に導入効果を感じられているとのことでした。また2021年に向けて、ポストプロダクションからのオンライン搬入や、『フジテレビオンデマンド』や番組販売システムとの連携にも取り組まれているということでした。   株式会社IMAGICA Lab. 研究開発本部　技術開発室長　工藤隆朗様 ポスプロ作業 on […]