Amazon Web Services ブログ

英国で EU 離脱（Brexit）のニュースがトップ記事となっていますが、先日、ロンドンでもう 1 つ重要なできごとがありました。Richard W. Downing 米国 司法副長官補佐が、Academy of European Law Conference において「海外のデータの合法的使用を明確化する法律」(Clarifying Lawful Overseas Use of Data Act) (通称「“CLOUD 法”」) についての誤解と真実に関してスピーチを行い、その後、米国司法省 (DOJ) から CLOUD 法の目的と範囲を明確にし、多くの誤解に対処するためのホワイトペーパーと FAQ が発表されました。このスピーチと DOJ のホワイトペーパーおよび FAQ をぜひお読みいただき、CLOUD 法の実態をご理解ください。簡単に言うと、CLOUD 法とは、国際的な犯罪やテロ活動に法執行機関が対処することを唯一の目的とした古い法律に、軽微な変更を加えたものです。CLOUD 法によって米国の法執行機関にクラウド内のデータに対して自由なアクセス権をが与えられる、という噂は事実ではありません。 DOJ のスピーチとガイダンスは正しい方向に進むための足掛かりにはなりますが、それだけでは不十分です。クラウドコンピューティング利用者がデータのアクセスに関する重要な問題を理解できるようにするために、各国の政府が行うべきことはたくさんあります。今日は、CLOUD 法に伴いクラウドサービスの利用方法を変える必要はないということをお客様に理解していただけるように、この法律に対する主な誤解について説明しようと思います。 過去 30 年にわたる法執行機関のデータアクセス権 1986 年に、「保管された通信に関する法律」 (Stored Communications Act (SCA)) が議会で制定され、電子的コミュニケーションに対する法執行機関のアクセスについて対応が行われました。制定当時は SCA が将来を見据えた法律だと思われていましたが、その後に新しいインターネットアプリケーションやクラウドコンピューティングなどの技術が出てくると、その対応は困難で何年もかかってしまいました。そこでの議論の 1 つは、米国外にあるデータを米国の法執行機関が取得することができるかどうかということでしたが、この議論は CLOUD 法の成立によって決着しました。米国でビジネスを行っている事業体 […]

Amazon Athena は、Amazon S3 のデータに対するサーバーレスのクエリエンジンです。多くのお客様が、Athena を使用してアプリケーションおよびサービスのログを照会し、自動化されたレポートをスケジュールし、それらのアプリケーションと統合し、新しい分析ベースの機能を可能にしています。 ビジネスアナリスト、データサイエンティスト、セキュリティ、オペレーションエンジニアなど、さまざまな種類のユーザーが Athena を活用しています。しかし、コストを最小限に抑えながらユーザーが最高の体験を得られるには、こうしたワークロードをどのように分離および管理すればよいでしょうか? この記事では、ワークグループを使用して以下を行う方法を説明します。 ワークロードを分離する。 ユーザーのアクセスをコントロールする。 クエリの使用状況およびコストを管理する。

AWS サービスチームのスタッフたちは、お客様が今必要としているものを提供するだけでなく、明日必要になるものを予測することにも最善を尽くしています。この「顧客へのこだわり」と「ベストな人材を確保し育てる」(14 か条ある Amazon リ ーダーシッププリンシプルのうちの 2 つ) ことに取り組むことで、私たちはビジョンを見据え、実現しています。弊社の努力がお客様を喜ばせ続けている、さらにガートナーや他の一流のアナリストたちから認められていると分かるのは、いつでもうれしいものです。 AWS は 9 年連続して、ガートナーによるマジッククアドラントのクラウド IaaS 分野において右上隅のリーダーのポジションを確保し、実行能力とビジョンの完成度において最高位を獲得してきました。 フルレポートには AWS に関する詳細情報が数多く記載されており、お客様がクラウドプロバイダーを選択する際、機能や条件を検討するための優れた要約資料となるでしょう。 Jeff ガートナーは、研究出版物に記載されているベンダー、製品、サービスを推薦するものではなく、テクノロジーユーザーに最高の評価や他に指名されたベンダーのみを選択するように助言するものでもありません。ガートナーの研究出版物はガートナーの研究組織による見解で書かれたものであり、事実を表明するものではありません。ガートナーは、商品性または特定目的適合性に関するいかなる保証も含め、この調査に関する明示黙示の如何を問わず、あらゆる保証の適用を排除します。

2014 年に CEO の Josh Churlik 氏が Well Data Labs を共同設立したとき、彼は業界における奇妙な二分法を強く意識していました。石油およびガス会社にとって、「坑内」の技術革新 (つまり地下で起こること) は、データや分析の技術革新のペースをはるかに上回っていたのです。当時使用されていたデータシステムは 1990 年代の遺物であり、必要とする人々にとって有益であるよりも、歴史への敬意がより強いものでした。 業界の他の多くの人と同様に、Josh と Well Data Labs のチームは、現場のエンジニアの仕事をずっと容易にする可能性がある情報にアクセスできないことに不満を感じていました。業界がスプレッドシートで発展している間、Churlik 氏と彼のチームは、クラウドコンピューティングの急速な進歩に基づいて最新のソフトウェア会社を設立する機会を見つけました。 その結果生まれた会社である Well Data Labs は、「事業者が自社の内部データを管理、分析、報告するための最速かつ最も簡単な方法を提供するために構築された最新のウェブアプリケーション」と自称しています。 つまり、Well Data Labs は、運用中に作成された厄介な時系列データ (キャプチャ、正規化、構造化、およびそのデータに対する分析の有効化) をすべてウェブベースのアプリケーション内で効率的に処理するのです。 Well Data Labs が提供するものを使用すると、エンジニアはより迅速で、より情報に基づいた決定、つまり運用のコストと成功に直接かつ直接的な影響を及ぼす決定を下すことができます。Well Data Labs の顧客が現場での操作をリアルタイムで監視できるように、同社は手動によるフロントエンドのデータ収集と分析を AWS で実行されるカスタム開発の機械学習 (ML) モデルに置き換えました。 AWS の技術スタックがこのソリューションの原動力です。Churlik 氏は、次のように説明しています。「開始したときに、他のクラウドプロバイダーと AWS の間でベイクオフを行いました。私たちは .NET スタックと SQL データベースを使いましたが、AWS ははるかに高性能でした。」 それで、AWS […]

みなさん、こんにちは。AWSソリューションアーキテクトの下佐粉（しもさこ）です。 今週も週刊AWSをお届けします。このシリーズでは、毎日のようにリリースされるAWSの新機能や新サービスを一週間単位でコンパクトに紹介しています。毎週火曜か水曜ぐらいを目処に更新しています（と言いながらこのように月曜に出たりしています）。 先週小林が素麺の話を書いたので私も麺繋がりで書きますと、担々麺は最近いろいろな所に美味しいお店がありますが個人的な一押しはTCAT（東京の水天宮前駅直結）にある龍鳳です。ここのミックス担々麺は絶品なので、近郊の方はぜひ試してみてください。 では先週のアップデートを見ていきましょう。

6月12-14日に開催されたAWS Summit Tokyo2019にて、メディア業界バーティカルセッションを実施しました。   3つのセッションにおいて合計8社のお客様にご登壇頂き、最新の事例をご紹介頂きました。 全セッションを通して500人収容の会場は満席、注目度の高さが伺えました。   技術でメディアを拓く：AI と日経の記事・動画・文化事業 東京大学共同研究員博士（理学） 日本経済新聞社/日経イノベーション・ラボ上席研究員　中島寛人様 中島様より、日経イノベーションラボにおけるAI導入とAWSの活用方法について発表頂きました。AWSを研究開発リソースとして活用し、用途に合わせて性能を選べる点や、同じ環境を作り出せるため実験条件を揃えやすい点にメリットを感じているとのことでした。まず、AIが記事内の誤りを検出する校正システムについてデモを交えてご紹介頂きました。新聞紙面における掲載箇所など新聞業に特化した校正ルールまで理解したAIが、人の目では見つけることが困難な誤りを瞬時に検出し指摘する点が興味深かったです。実行環境はAmazon EC2 P2インスタンスを使っています。深層学習の簡易シュミレーションが行えるサイト（CNN Playground：http://dlpg.nikkei.com/）のバックエンドで使用されているモデルの学習では、Amazon EC2 P3インスタンスを8台並行処理させ10日間で学習を終えることができ、AWSだから早く終わったとの感想を頂きました。     制作・管理・アーカイブ・配信までエンドツーエンドのAWSメディア最新事例 制作・管理・アーカイブ・配信のワークロードそれぞれの変化やトレンドについて事例を発表頂きました。 モデレーター アマゾン ウェブ サービス ジャパン ソリューションアーキテクト　石井悠太   株式会社ジェイ・スポーツ 技術本部製作技術部長（兼）国際映像チーム　チームリーダー　富久洋次郎様 構成制作本部　企画制作部　第一制作チーム　ディレクター　沼倉敦様 昨年末の全国高等学校ラグビーフットボール大会におけるクラウド編集導入事例を発表頂きました。中継の最後に流れる、毎年注目度が高いエンディング映像の編集をAWS上で実施いただきました。これまで歴代のディレクターは年末年始に編集所で寝泊まりしつつ実施していた作業を、ホテルからWi-fiでAWS上の編集環境に接続し実施できるようになりました。急な変更作業や他メンバーとの素材共有も可能となり、今後は複数の編集作業平行に向けたワークロード策定や、初の4K放送となるラグビーワールドカップでの活用を検討するとのことです。   株式会社NHKテクノロジーズ メディア技術本部　開発技術センター　メディア開発部　チーフエンジニア　菅原賢司様 CG制作におけるAWS活用について発表頂きました。従来CGレンダリングの課題として、クオリティへの要求のためにリソースが不足することや、複数サーバでの分散処理が必要だが、プロジェクト開始から締切に向けて徐々にリソース使用率が上がるためにキャパシティプランニングが困難かつ無駄が出てしまうことがあったとのことです。そこでAWSのクラウドレンダリングファーム管理ソフトであるAWS Thinkbox Deadline 10をオンプレ環境とのハイブリット構成で導入し、Spot instanceを活用することで必要な時に必要な分だけ低価格でリソースを確保できるようになりました。今後は分散ストレージのAmazon FSx for Lustreや、リモートCGプロダクション環境に仮想ディスクトップ技術であるTedadici PCoIP の活用も検討、制作ワークロードのさらなる効率化を推進いただいております。   株式会社フジテレビジョン 技術局　放送技術センター　放送部　井村紀彦様 クラウドを活用したマスターのコンテンツ管理プラットフォームについて発表頂きました。従来は、地上波、BS、CSそれぞれで管理していたコンテンツを、クラウド上の「総合コンテンツ管理システム」に移行することで、組織間でのコンテンツ共有や管理コストの削減を実現されました。初期設備投資や保守費を抑えられること、コストの見える化が図れること、倉庫から出庫することなく番組素材に即アクセス可能になったこと等に導入効果を感じられているとのことでした。また2021年に向けて、ポストプロダクションからのオンライン搬入や、『フジテレビオンデマンド』や番組販売システムとの連携にも取り組まれているということでした。   株式会社IMAGICA Lab. 研究開発本部　技術開発室長　工藤隆朗様 ポスプロ作業 on […]

こんにちは。AWS ソリューションアーキテクトの上原誠(@pioh07)です。 7月17日に、「AWS Data Lake ハンズオンセミナー」を開催いたしました。去年から行ってきた恒例のワークショップで第8回目となります。去年から引き続き盛況で、今回も123名のお客様にご参加頂きました。 はじめに、AWSにおけるデータ活用のベストプラクティスである Amazon S3 を中心とした Data Lake について解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、Amazon Athena や Amazon Redshift の各 AWS サービスを駆使して実際にラムダアーキテクチャを構築することがゴールです。とはいえ全てを構築するのはボリュームが大きいため、スピードレイヤー or バッチレイヤー or 全部入りでコース分けて取り組めるようハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回、参加者も多くいらっしゃいましたので、サポートするソリューションアーキテクトも7名で対応させていただきました。 今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか？ 次回は真夏の9月に開催予定です。ご参加お待ちしております。    

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はリザーブドインスタンス（RI）の運用に役に立つツール、AWS Cost Explorerをご紹介します。リザーブドインスタンスはオンデマンド料金に比べて大幅な割引価格 (最大 75%) が適用される非常にコスト効果の優れたソリューションですが、購入後正しくそのライセンスが適応されているか、どれくらいRIで稼働インスタンスがカバーされているか、RIを追加で購入しコスト削減が見込めるか？等の確認が難しい、というお問い合わせをよくいただきます。 このCost ExplorerではAWSアカウントにおけるRIの利用状況をグラフィカルに表示してくれるツールがあり、RIを運用されているお客様にとってとても便利なツールとなります。 Cost Explorerには大きく3つの機能があります。 1. RIの使用状況(適用率)を確認できるRI Utilization 2. 稼働インスタンスに対するRIのカバー率を確認できるRI Coverage 3. 利用状況に応じたRIの提案を行なうRecommendation 現在対応しているサービスはAmazon EC2, Amazon RDS, Amazon Redshift, Amazon ElastiCache, Amazon Elasticsearch Service の5つです。 Cost Explorerへのアクセス URL：https://console.aws.amazon.com/billing/home#/costexplorer もし正しく表示されない場合は、以下の手順でコストエクスプローラーを有効化してください。 https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/ce-enable.html 画面左の[Cost Explorer]から各レポートへのアクセスが出ます。試しに[Cost & Usage]へアクセスしてみましょう。 AWSアカウントの費用状態が可視化されて表示されています。（Amazon Neptune や Amazon SageMakerが最近は動いていることがわかりますね！）この画面では、いろいろと値を操作することで別のデータを出すこともできますし、CSV出力も可能です。例えばRegion単位でコストを見ることもできます。 Reserved Utilization（予約の利用率） では2つ目のレポート。本題のRIの利用状況がわかる画面へ遷移してみます。 右側ペインでRIを適応可能なサービスを選ぶと、左側のペインに削減可能額や、（すでにRIを購入済の場合）削減された額などが表示され、全体像を一覧として把握することができます。ここで出てくる[ターゲットライン]は少し考え方がややこしいので注意が必要です。 お客様の中には、RIによるコスト削減とオンデマンドでいつでも変更可能なインスタンス構成を保持するために、意図的にRIを購入せず、オンデマンドで保持されるケースがあります。その場合例えばターゲットを80%と設定することで、残り20%をオンデマンドインスタンスに残しておくことでコスト削減と変更可能な柔軟性を両立することができます。 画面下には購入済RIの一覧が出てきます。こちらをクリックすることでさらに詳細なレポートを入手することができます。   […]

本日、AWS DMS は、Apache Parquet データ形式で、AWS がサポートするソースから Amazon S3 へのデータの移行のサポートを発表しました。これは、DMS 3.1.3 の多数ある新機能の 1 つです。お客様の多くは、データレイクを構築するために DMS で「ターゲットとしての S3」サポートを利用しています。そして、このデータを Amazon EMR、Amazon Athena、Amazon Redshift Spectrum などの他の AWS のサービスと共に使用しています。そうした中、さまざまな形式で S3 への移行をサポートする方法が求められ、この機能が利用可能になりました。 この記事では、選択した S3 バケットおよびフォルダに、Parquet 形式のデータを移行するように DMS タスクを設定する方法を説明します。 概要 Apache Parquet は、効率的な圧縮およびエンコードスキームをサポートするように構築されています。複数のプロジェクトで、データに適切な圧縮およびエンコードスキームを適用することによるパフォーマンスへの影響が実証されています。Parquet は列ごとのレベルで圧縮スキームを指定することを可能にし、今後発明、実装されるより多くのエンコーディングを追加できることが将来的に保証されています。AWS DMS 3.1.3 では、Parquet 形式で S3 への移行をサポートできます。 ウォークスルー まず、適切な設定で S3 ターゲットエンドポイントを作成します。Parquet 形式のデータを移行するために必要な追加の接続属性を使用してこれを行うには、AWS CLI を使用する方法、DMS コンソールを使用する方法の 2 つの方法があります。 AWS CLI […]

住宅市場は複雑な状況に置かれています。  例えば、大学キャンパス付近の学生用物件では供給状態が常に変動します。さらに、賃貸価格の許容値も、物理的・社会的な要因によって絶え間なく変化します。こうした要因には、他の物件と比較してキャンパスに近いか、近隣に友達が住んでいるか、そしてその他の物件と同じように近隣に駐車場があるかが含まれるでしょう。このような相互作用はあらゆるレベルで起こります。物件全体の価値が変化することにより、特定の物件の価値がさらに下がったり、反作用が発生したりするケースもあります。 不動産管理会社が賃貸物件から最大の収益を得るには、テナントごとのプライスポイントの範囲内で各物件の料金を設定する必要があります。しかし、不動産管理会社側は料金制約条件が何か分からないことがあります。  料金を下げ過ぎて収益を失うことはしたくありません。逆に料金を上げ過ぎると空室状態を招き、結局物件の維持費を管理会社側で支払わなければならなくなります。価格のバランスをとるのは難しい問題です。 集合住宅管理ソリューションを提供する総合テクノロジープロバイダーである Entrata は、AWS の機械学習 (ML) を導入することによってこの問題を解決しています。 具体的には、地域、さらには建物に特化したデータ (占有率やキャンパスへの近さ、賃貸契約期間など) を Amazon SageMaker を実行する ML ベースの動的料金エンジンに入力しています。このモデルにより、Entrata の顧客である不動産管理業者は占有率レベルの予測を行い、結果として学生用住宅物件の料金を最適化することができています。 こうして実装されたこのソリューションでは、数多くの AWS サービスが使用されています。  まず、AWS Glue によって Entrata の履歴データが Amazon S3 に抽出されます。このデータによって Amazon SageMaker での料金予想が可能になります。この価格予想は Amazon S3 のアウトプットバケットに書き出されます。Entrata のアプリケーションは API Gateway を使用してこのデータリクエストを消費します。これにより、AWS Lambda 関数がトリガーされ、空室の物件に最も関連性の高い価格予想が提供されます。 このソリューションは、Entrata と、AWS プレミアコンサルティングパートナーである 1Strategy とのパートナーシップによって開発されました。シアトルに拠点を置く同社は、ビジネスによる AWS 上のワークロードのアーキテクチャ設計、移行、最適化をサポートしているコンサルティング会社です。1Strategy と Entrata の長きに渡るパートナーシップの中、この ML プロジェクトは直近のものであり、間違いなく最高の合同テクニカル事業であると言えます。 2 社のコラボレーションは、以前は […]