Amazon Web Services ブログ

最近のブログ記事の 1 つで、カンファレンスでの時間を最大限に活用できるように、re:Invent でのオールインストレージについてのガイドを共有しました。ブレークアウトセッション、チョークトーク、ビルダーセッション、ワークショップなど、スケジュールを埋める価値があるストレージに関するセッションは 150 以上あります。席の予約は、10 月 15 日に始まりました。すぐにお気に入りのセッションのスポットを予約して、re:Invent でバックアップとアーカイブのセッションを必ずチェックしましょう。 データのシームレスなバックアップとアーカイブを支援する、ストレージサービスやベストプラクティスに関する最新情報を共有できることを楽しみにしています。AWS ストレージサービスを初めて使用する場合でも心配する必要はありません。チョークトーク、ビルダーセッション、ワークショップなどで AWS のサービスを開始し、質問をすることができます。 バックアップおよびアーカイブの詳しいセッションを選択する前に、ストレージリーダーシップセッションの席を予約してください。 STG201-L – リーダーシップセッション: ストレージの一般教書演説: このリーダーシップセッションでは、すべての AWS ストレージサービスにわたる最新のイノベーションに注目します。AWS のオブジェクト、ファイル、ブロックストレージ、ならびにハイブリッド、エッジ、データ転送サービスの新機能をご覧ください。また、主要な AWS ストレージのお客様が、AWS ストレージを使用してビジネスに競争上の優位性をもたらす方法について講演します。 ブレークアウトセッション STG341 – AWS Backup の詳細: 完全マネージド型でポリシーベースのバックアップソリューションである AWS Backup の詳細を掘り下げます。AWS Backup を使用すると、AWS Storage Gateway によって、クラウド内の AWS のサービス全体とオンプレミスのアプリケーションデータを簡単かつ自動的にバックアップできます。AWS Backup を使用すると、Amazon EBS ボリューム、Amazon EC2 インスタンス、Amazon RDS データベースおよび Aurora クラスター、Amazon DynamoDB テーブル、Amazon EFS ファイルシステム、Storage Gateway […]

Amazon EC2 C5 インスタンスは、バッチ処理、分散型アナリティクス、ハイパフォーマンスのコンピューティング、機械 / 深層学習推論、ad サーブ、高度にスケーラブルなマルチプレイヤーゲーミング、ビデオエンコーディングなどのような計算負荷の高いワークロードに対して非常に一般的です。 2018 年には、非常に高速なローカル NVMe ストレージを追加し、これらの新しいインスタンスを C5d と名付けました。ビデオエンコード、イメージ操作、その他の形式のメディア処理など、高速で低レイテンシーのローカルストレージへのアクセスを必要とするアプリケーションに最適です。また、バッチ処理やログ処理など、データの一時的な保存を必要とするアプリケーションや、キャッシュやスクラッチファイルを必要とするアプリケーションにも役立ちます。 ほんの数週間前に、新しいインスタンスサイズと C5 インスタンスのベアメタルオプションをリリースしました。今は C5d ファミリーに 12xlarge、24xlarge、およびベアメタルオプションなど、同じ機能を追加できます。 新しい C5d インスタンスサイズは、持続的な全コアターボ周波数 3.6 GHz、最大シングルコアターボ周波数 3.9 GHzの Intel の第二世代 Xeron スケーラブルプロセッサ (コード名 Cascade Lake) で実行されます。 新しいプロセッサはまた、 AVX-512 インストラクションセットに基づいた Intel Deep Learning Boost と呼ばれる新機能も備えています。新しいベクトルニューラルネットワークのインストラクション (AVX-512 VNNI) のおかげで、深層学習フレームワークは、畳み込みなどの代表的な機械学習操作をスピードアップし、自動的に広域ワークロードでの推論性能を改善します。 これらのインスタンスは、AWS Nitro System を基礎としており、EBS 処理 (暗号化操作を含む) の専用ハードウェアアクセラレーター、各 Virtual Private Cloud […]

AWS は iOS と Android デバイス向けに QuickSight Mobile のリリースを発表できることをうれしく思います。このリリースは、既存の iOS アプリのメジャーアップデートであり、また新しい Android アプリケーションのローンチでもあります。このアプリにより、どこからのデータからでもインサイトを安全に取得することができます。お気に入り、閲覧、ダッシュボードとのやり取り、またドリルダウンとフィルターを使用してデータを探索したり、曲線の先を予測したり、データに予期しない変更が発生したときに電子メールアラートを受信したりすることができます。 そして、それらのインサイトを同僚と共有できます。 QuickSight Mobile アプリをダウンロードするには、iOS App Store と Google Play にアクセスしてください。 新しい QuickSight Mobile は、新しく追加された機能と強化されたインターラクションにより、ダッシュボードの消費エクスペリエンスを最適化します。このブログでは、新しい Mobile エクスペリエンスを詳しく見ていきます。 特長と機能 ホームページ アプリで認証した後で、QuickSight ホーム画面が開きます。そこから、お気に入りのダッシュボード (ブラウザーアプリケーションから同期)、および最近表示したダッシュボードにすばやくアクセスできます。最近閲覧したリストには、以前開いた最新のダッシュボードを最大 100 個まで表示できます。 次のスクリーンショットには、お気に入りと最近閲覧したダッシュボードが示されています。 ダッシュボード [Dashboards] タブ経由ですべてのダッシュボードをを通じて閲覧できます。名前と更新 (公開) 日によりダッシュボードを並べ替え、リストやグリッド表示に変更することができます。また、名前によりダッシュボードを検索することもできます。最後に、ダッシュボードの名前の隣の星アイコンを選択することで、任意のダッシュボードをお気に入りに容易に追加することができます。 次のスクリーンショットは、グリッド表示のダッシュボード、表示の基本設定と検索ツールを示します。 ダッシュボード表示 ダッシュボード表示は、ビジュアルを縦型スタックビューで表示し、各ビジュアルを全幅に拡大することにより、モバイルデバイスに最適化されています。複数シートのダッシュボードは、デフォルトで最初のシートを示します。複数のシートにわたってナビゲーションするためには、シートのタイトルを選び、表示するシート名を選択します。 次のスクリーンショットは、縦型スタックビューのビジュアルと、ダッシュボード内のさまざまなシートをナビゲーションする方法で開いたダッシュボードを示しています。 フィルターをビジュアルに適用するために、ファネルアイコンを選んで、ダッシュボードシートのすべての利用可能なフィルターコントロールとオプションを選択します。選択を行った後で、[Apply] を選択し、[Done] を選びます。ファネルアイコンの隣の小さな青のタグを介して適用されるフィルターの数を確認できます。また、フィルターコントロール表示を拡張して、指定されたフィルターをデフォルトにリセットすることもできます。 次のスクリーンショットはダッシュボードフィルター、拡張されたフィルターペイン、またフィルター値を選択する方法を示します。 一部のビジュアルにはスクロールバーがあり、ビジュアルでズームする範囲をカスタマイズできます。折れ線グラフや棒グラフなどのほとんどのチャートのデータポイントを長押しすると、コンテキストメニューが呼び出されます。このデータポイントに焦点を合わせ、ビジュアルにドリル階層がある場合は上下にドリルし、選択したデータポイントを除外することができます。 次のスクリーンショットは、ズームバーとコンテキストメニューとのインターラクションを示します。 全画面表示に戻るためには、右上隅の…アイコンを選択して、[Undo] を選びます。ダッシュボード表示を終了するには、戻る矢印を選択します。 これが異常検知ウィジェットである場合、「Explore […]

オンプレミスファイルベースのアプリケーションをお持ちの AWS のお客様には、AWS Storage Gateway をファイルゲートウェイモードでデプロイし、実質的に無制限の Amazon Simple Storage Service (Amazon S3) のストレージにアクセスできる機能を気に入っていただいています。Amazon S3 バケットのコンテンツは、SMB や NFS などの一般的に使用されているストレージプロトコルを通して、ファイルゲートウェイによってファイルとして提示されます。ファイルベースのアクセスを必要とするお客様は、ヘルスケア (イメージングやゲノミクス)、メディアおよびエンターテイメント、金融サービスなどのさまざまな業界にわたります。 コンプライアンスと規制の要件を満たすため、長年にわたり可能な限り低いコストでファイルデータを保存およびアクセスしたいというお客様からのご意見をいただいています。なかでも、Amazon S3 ライフサイクルポリシーを使用して、 Amazon S3 Glacier (S3 Glacier) または Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) などの低コストストレージクラスのオブジェクトを自動的に移動したいというご要望を頻繁にいただきます。図 1 をご参照ください 。 ライフサイクルポリシーを設定する前に、2 つのコールドストレージクラスの違いを十分に理解することをお勧めします。これは特に、ストレージコスト、取得時間、取得コストに関係するためです。 図 1: Amazon S3 ライフサイクルポリシーを使用して、Amazon S3 にアップロードされたオブジェクトを S3 Glacier に移動する これまでは、データが低コストのストレージクラス (S3 […]

 分散型機械学習 (ML) ワークロードの実行に関しては、AWS はマネージドサービスとセルフサービスサービスの両方を提供しています。Amazon SageMaker は、エンジニアリング、データサイエンス、および研究チームが時間を節約し、運用オーバーヘッドを削減できるマネージドサービスです。AWS ParallelCluster は、コンピューティングインフラストラクチャをより直接的に制御したいお客様向けのオープンソースのセルフサービスクラスター管理ツールです。この記事では、AWS で分散 ML を実行する方法について説明します。Amazon SageMaker を使用した分散トレーニングの詳細については、以下の「Horovod を使用した TensorFlow 分散トレーニングの起動」と「マルチリージョンサーバーレス分散トレーニング」の記事を参照してください。 AWS ParallelCluster は、AWS クラウドでのハイパフォーマンスコンピューティング (HPC) クラスターのデプロイと管理に役立つ、AWS がサポートするオープンソースのクラスター管理ツールです。AWS ParallelCluster を使用すると、データサイエンティストと研究者は、必要なコンピューティングリソースと共有ファイルシステムを自動的にセットアップすることで、伸縮自在にスケーリングされた AWS リソースで使い慣れた作業環境を再現できます。Jupyter、Conda、MXNet、PyTorch、TensorFlow などの広くサポートされているデータサイエンスおよび ML ツールにより、低オーバーヘッドのスケーリングによる柔軟でインタラクティブな開発が可能になります。これらの機能により、AWS ParallelCluster 環境は、分散モデルの開発とトレーニングをサポートする ML 研究環境に最適です。 AWS ParallelCluster は、コンピューティングリソースのオンデマンド割り当てを中心に構築されたスケーラブルな研究ワークフローを可能にします。AWS ParallelCluster は、単一のハイパワー GPU 対応ワークステーションで作業し、潜在的に十分に活用するのではなく、GPU 対応コンピューティングワーカーのオンデマンドフリートを管理します。これにより、並列トレーニング実験の簡単なスケールアップと、リソースが不要な場合の自動スケールダウンが可能になり、コストを最小限に抑え、研究者の時間を節約できます。アタッチされた Amazon FSx ファイルシステムは、開発中に従来の高性能 Lustre ファイルシステムを利用しますが、モデルとデータを低コストの Amazon S3 にアーカイブします。 次の図は、AWS ParallelCluster ベースの研究環境を示しています。自動スケーリングされた Amazon […]

 この記事は、Konecranes 社のプラットフォームアーキテクトである Henri Gort 氏と、同社のデータレイクソフトウェアエンジニアである Mehmet Yalcinkaya 氏によるゲスト投稿です。彼ら自身の言葉を借りると、「Konecranes は世界をリードする Lifting Businesses™ のグループで、製造およびプロセス業界、造船所、港湾、およびターミナルなどの幅広いお客様にサービスを提供しています。『Konecranes』という言葉には、マシンを意味するフィンランド語の『Kone』と『cranes』が含まれいますが、実際のところ、私たちは生産性を向上させるリフティングソリューションだけでなく、あらゆるメーカーのリフティング装置へのサービスも提供しています。当社は、50 か国に約 16,000 人の従業員を抱えています」とのことです。 この記事では、Konecranes 社が産業用マシンのインテリジェンスとセキュリティを向上させるために、マシンに取り付けられたセンサーからの数十億もの記録をどのように利用しているかが説明されています。 データレイクの作成 まず、私たちは当社のセンサーデータを SQL Server から AWS に移行させました。これは、バッチ ETL プロセスをオンザフライで実行しながら、Amazon S3 および Amazon DynamoDB に SQL からデータを効率的に移動させるためにサーバーレスの AWS Glue サービスを使用して、データレイクを作成することによって実現されました。ETL プロセスは複数のクレーンの履歴データの集合体を対象とし、それらを整合されたデータ構造に統合することで、DynamoDB でマシンの KPI を導くデータをマイニングし、運用のデータを検証しました。 DynamoDB は、運用データを保存するために最適なデータベースです。DynamoDB のスケーリングし、データトラフィックのスパイクに対応する能力と、全体的なパフォーマンスは、Microsoft SQL Server 上の以前のデータベースアーキテクチャをはるかにしのぎます。移行以来、当社のデータベース速度が向上し、データベースの管理コストが低減されました。 AWS Glue の選択 ETL プロセスのための AWS Glue の導入は、複数のメリットを提供してくれました。 […]

 多くのアプリケーションは、Amazon Neptune データベースに保存された項目の変更を、その変更が発生した時点で取り込む機能を利用することができます。Amazon Neptune は、Neptune Streams をサポートするようになりました。これは、Neptune のフルマネージド機能で、グラフに対するすべての変更を、発生順に確実にログに記録し、HTTP REST API を介してこれらの変更を利用可能にします。Neptune Streams は現在、ラボモードで利用可能です。 このブログ投稿では、Neptune Streams 機能を見直し、Neptune が提供するポーリングフレームワークを使用して Neptune と Amazon ElastiCache for Redis データストアを統合するストリームベースのアプリケーションをプロビジョニングし、この同じポーリングフレームワークを使用して独自のストリームベースのグラフアプリケーションを構築する方法を説明します。 Neptune Streams の概要 Neptune Streams を使用して、次のことを行うことができます。 ソース Neptune データベースから別の Neptune データベースに変更をレプリケートする ソース Neptune データベースから、Amazon DynamoDB または Amazon Aurora などの別のデータベースに変更をレプリケートする ソース Neptune データベースの変更を Amazon S3 にアーカイブする Amazon Elasticsearch でソース Neptune データベースで変わるコンテンツをインデックス作成する […]

 このシリーズの最初の記事であるAWS データストア内の機密データを保護するためのベストプラクティスでは、いくつかの一般的なセキュリティの概念と、AWS データストアに適用できる AWS セキュリティコントロールについて説明しました。これらを使用して、データに関わるセキュリティ体制をより強固にすることができます。2 番目の記事であるAmazon RDS で機密データを保護するためのベストプラクティスの適用では、こうした概念を Amazon RDS データベースで実装する方法を示しました。この 3 番目であり、最後の記事では、これらの概念を Amazon DynamoDB で実装する方法を示します。 データの分類とセキュリティゾーンモデリング 処理しているデータと処理に関する特定の要件を理解することは重要です。こうした要件は規制であったり、組織の一部として内部的に作成される場合があります。たとえば、この記事で後述するように、データのトークン化などの特殊なセキュリティコントロールの一部は必要ではないかもしれません。常にセキュリティの水準を引き上げようとする必要がありますが、十分に理解してリスクを管理するために適切なコントロールを提供していることも確認してください。 セキュリティゾーンを設計したら、この記事で後述するように、ネットワークアクセスコントロールリスト (ACL) を使用して実装します。この手順では、ネットワークゾーンを粗く定義し、セキュリティグループを使用してこれらのゾーン内でより具体的なマイクロセグメンテーションを許可します。 セキュリティゾーンモデリングを実装するときは、ネットワーク設計を慎重に検討します。CIDR 範囲のサイズによって、各サブネットが表現できる IP アドレスの数が決まります。サブネット内の増加 (より多い IP アドレス) とサブネット数の増加をサポートできるように、CIDR 範囲を設計します。Amazon VPC とオンプレミスのデータセンター間、または VPC 間に矛盾のない IP アドレススペースを確保するための要件とバランスを取ります。詳細については、AWS 単一 VPC の設計を参照してください。 ここで提供されている詳細な説明、およびデータ分類とセキュリティゾーンモデリングの背景にある概念については、AWS データストア内の機密データを保護するためのベストプラクティスを参照してください。 予防的コントロール 次の図はこのシリーズの最初の記事からのもので、防御の概念を詳しく説明しています。コントロールには、予防的コントロールと発見的コントロールの 2 つの主要なカテゴリーがあります。最初に予防的コントロールについて説明しましょう。 DDoS 保護 AWS Shield と連携することで、アプリケーションおよびデータベースを分散サービス拒否 (DDoS) 攻撃から保護することができます。すべての AWS のお客様は、追加料金なしで […]

 この記事では、コンプライアンス、災害復旧、データ主権などのユースケースについて、Amazon S3 レプリケーションのコストと使用の詳細をモニタリングする方法を確認します。 Amazon Simple Storage Service (Amazon S3) では、Cross-Region Replication (CRR) を使用して別の AWS リージョンの異なるバケットに、または Same-Region Replication (SRR) を使用して同じ AWS リージョン内部のバケット全体にデータを自動的かつ非同期に複製できます。SRR と CRR が連携して Amazon S3 レプリケーションを形成し、クロスアカウントレプリケーションなどのエンタープライズクラスのレプリケーション機能を提供し、偶発的な削除や Amazon S3 ストレージクラスへのレプリケーションを防ぎます。 CRR は、地理的に異なる場所にデータのコピーを保持することにより、コンプライアンス要件を満たし、レイテンシーを最小限に抑えるのに役立ちます。SRR は、開発者アカウントとテストアカウント間のライブレプリケーションを設定し、データの主権に関する法律を遵守するのに役立ちます。どちらの設定でも、Amazon S3 はソースバケット内のすべてのオブジェクトを宛先バケットに複製するか、オプションでオブジェクトのサブセットを複製します。CRR または SRR の両方で、プレフィックスとタグを使用して、複製可能なデータを制御できます。 大きなプロジェクトまたは特定のユースケース (コンプライアンス、災害復旧など) の一部として Amazon S3 レプリケーションに固有のコストと使用状況をモニタリングする方法に課題が生じます。 ユーザーは AWS のコストと使用状況レポートを使用して、アカウントおよびその AWS Identity and Access Management (IAM) ユーザーが使用する各サービスカテゴリーの […]

私（Jeff Barr: AWSのチーフエバンジェリスト）がこのブログに初めて投稿したのは（Welcome)、ちょうど 15 年前の今日のことになります。そのとき記した紹介の言葉のために、私のキャリアがこれほど新しくて常に変化する世界に入り込むことになるとは全く考えていなかったと言っても、今なら大丈夫でしょう。それから、このブログがどのように存在することになったかについての物語、私が気に入っている投稿のいくつか、執筆してブログに投稿するために実際に行っていることについてお話しするにもよい頃合いに思えます。 始まりのその前 1999 年前後のこと、私は Microsoft の Visual Basic チームの一員でした。XML が産声を上げたばかりで、Dave Winer が RSS について話し始めた頃です。VB6、XML、そして RSS が出会う交差点は私の好奇心を刺激し、私は片手間のプロジェクトとして Headline Viewer という小さなアプリを作り上げました。それをダウンロードできるようにしておいたところ、みんなはそれを気に入り、コンテンツの所有者は自分の RSS を含めてくれるよう私のところに送ってくるようになりました。フィードのリストは独り歩きを始め、みんなはアプリを欲しがると同じほどリストも欲しがりました。私もまた、サーバーのメルトダウンのため初期の自分の実体とでも言うべきものを失った後、その頃について記す 3 番目の個人ブログを始めました。 Aaron Swartz や他のみんなの激励により、私は Headline Viewer に手をかけるのをやめて、2001 年の末頃、フィードを集め、整理し、共有する Syndic8 立ち上げました。余暇を使って約 90,000 行の PHP コードを書きました。50 以上のテーブルを含む、非常に複雑な MySQL サーバーを中心としたものです。私はデータベースのホスティング、スケーリング、セキュリティ、そして管理について学びました。このサイトには、非常に広い範囲のクエリと更新操作をサポートする、XML-RPC ウェブサービスインターフェイスがありました。フィードのコレクションは最初の二、三年のうちに、ほぼ 250,000 のフィードを含むまでに成長しました。 そのときには気づいていなかったのですが、私の初期の XML、RSS、ブログ、ウェブサービスに関する経験は、やがてアマゾンに就職を申し込む時には、私を目立たせるほどのスキルとなっていました。ときには、私たちの趣味や個人的な関心が、ついにはキャリアを変えさせるほどの資産や特殊能力となることもあるのです。 E コマースとウェブサービス このようなことと並行して、私は 2000 年に Microsoft を退職し、当時は新しかったウェブサービスのコンサルティングを始めました。その当時、使われていたほとんどのウェブサービスは、キュートなデモ、株価情報、天気予報、通貨の変換以外の何者でもありませんでした。技術者なら、インターネットを行き交っていた関数コールを見て驚嘆したでしょうが、投資家は肩をすくめて通り過ぎるだけだったでしょう。 […]