Category: Storage

すべての Amazon Simple Storage Service (Amazon S3) バケットの内容を正確にご存知でしょうか? すべてのオブジェクトに正しいオブジェクトタグのセットが適用されていますか? 現在および将来のオブジェクトが自動的に管理されるように、ライフサイクルルールを設定していますか? 上記の質問に対して答えがすべて「はい」である場合、この記事はスキップしてもいいかもしれません。けれども、Amazon S3 バケットにレガシーデータファイルがあり、構造がほとんどなく、ネーミングに一貫性がなく、またはメタデータが不足している場合は、是非読み続けてください! この記事では、S3 Intelligent-Tiering および S3 Batch Operations がレガシーデータの制御を回復するのにどのように役立つかを説明します。最終的に、これらの機能はストレージコストの削減に役立ち、最新の S3 機能を採用して最も古いデータの価値を引き出すための明確な道筋を示します。 次の動画は、私の 15 分の re:Invent 2019 セッションです。この動画では、Teespring が S3 Intelligent-Tiering と S3 Batch Operations をどのように使用するかについて説明しています。 Teespring の出発点 Teespring は、商取引を通じてクリエイターとファンをつなげています。クリエイターは Teespring プラットフォームで伝統的な商品、カスタム限定版アイテム、デジタル商品をデザインします。そのクリエイターのファンは、パートナーを通じて、または直接当社のウェブサイトでこれらの商品を購入します。次の画像は当社のホームページで、クリエイターたちに当社のプラットフォームを使い始めるご案内を表示しています。 このプロセスの肝要な部分は、商品のデザインと画像を生成することと、これらのデジタル資産を保管することにあります。アパレル、ステッカー、マグカップなど、当社が製造する商品の高解像度のプレビューが必要です。さらに、プリンター、刺繍機、型抜き機、その他の機械に供給する、さらに高解像度のカスタマイズ資産も必要です。このプロセスの概要を次の図に示します。作成者は、製造および生産を通じて Amazon S3 を介して保存および送信されたデザインを提供します。 Teespring のリストでは、購入者が優れたショッピングエクスペリエンスを実現できるようにするために、500 以上の一意の画像が必要になるのが一般的です。これらは、内部および外部の製造業者のネットワークに正確な製品カスタマイズ仕様を提供するためにも必要です。 会社の創業当初はすべてのスタートアップがそうであるように、当社の焦点は製品の実用的な初回版を開発することに 100% 注がれていました。スケーラビリティ、保守性、または運用効率には焦点は当てられていませんでした。Teespring にとって幸いだったのは、最適化されていないストレージコストが上昇する中で、リスティングの数と販売数が指数関数的に増加したことです。当社のエンジニアリングチームは、ビジネスの急激な増加に追いつくのに忙しすぎて、オブジェクトストレージを再検討する余裕はありませんでした。これにより、識別可能な構造がほとんどないペタバイト規模のバケットがいくつもあり、ライフサイクルルールがなく、止まることがないかのようにストレージコストが増加していく状況に追い込まれてしまいました。 Teespring は、誰もがどこからでも新製品を発売できるようにしたことを誇りに思っています。初期費用がかからず、リスクもゼロです。これにより、Teespring […]

世界中の組織は、セキュアシェル (SSH) ファイル転送プロトコルとも呼ばれるセキュアファイル転送プロトコル (SFTP) を使用して、ビジネスニーズを満たすためにファイルを共有します。SFTP は、既存のシステム間でのデータの簡単かつ安全な移動を可能にする確立されたプロトコルです。これがない場合、当該システムにおいて、一般的なインターフェイスメカニズムを見つけるのに問題が生じる可能性があります。特定の組織は SFTP 環境を運用していますが、エンドユーザーのアクティビティについての優れた可視性を欠いています。組織がオンボードするユーザーとアプリケーションは増加していくため、組織は、重要な運用メトリックについての適切な可視性と当該メトリクスへの迅速なアクセスを確保したいと考えています。 この機能は、AWS Transfer for SFTP (AWS SFTP) を用いることにより、簡単に実現できます。AWS SFTP はフルマネージド型のサービスであり、Amazon Simple Storage Service (Amazon S3) バケットとの間でファイルを直接転送でき、数分で起動できます。金融サービス、小売、医療などの多くの業界のお客様は、SFTP 要件に対する非常にスケーラブルで利用可能なソリューションとしてこのサービスを採用しています。 この投稿では、シンプルな Amazon CloudWatch Dashboard を作成して、SFTP サービスに関する情報を表示する方法を紹介します。接続しているユーザーの数、アップロードおよびダウンロードされたファイル、転送されたデータの量、エラーなどの情報を表示できます。CloudWatch Logs に送信されたログを解析し、CloudWatch Log Insights を使用して、ウィジェットで視覚化する動的クエリを構築します。このダッシュボードを使用することにより、ユーザーがサービスとどのようにインタラクションしているかについてより深い洞察を得て、傾向や異常をすばやく特定できます。 ステップ 1: AWS SFTP サーバーを作成する 開始する前に、AWS SFTP エンドポイントが必要です。これにより、トラフィックを生成してログを作成できます。CloudWatch ログ記録ロールで正しく設定された既存の AWS SFTP サーバーが実行されている場合、この部分をスキップできます。 AWS SFTP サーバーを作成する方法の詳細については、「AWS Transfer for SFTP を開始する」をご覧ください。 「SFTP […]

2015 年以来、AWS Snowball サービスを利用して、大量のデータを AWS クラウドに移行してるお客様がおられます。サービスはますます進化しており、今回、新しい機能を導入しました。これには、オンボードコンピューティングとストレージ容量の増加を特徴とする AWS Snowball Edge デバイスを含んでいます。AWS Snow ファミリーは、お客様のニーズを満たすためにも革新を続けています。こうした革新の中に、古いハードウェアデバイスから新しいハードウェアデバイスへ計画的に移行できる機能があります。たとえば、初期の AWS Snowball ハードウェア設計の使用を止め、より高度な Snowball Edge ハードウェアデバイスを選択しました。この新しいデバイスは、2020 年 4 月 7 日より、アジアパシフィック (シンガポール) と中国本土リージョンを除いた、すべての商用 AWS リージョンおよび AWS GovCloud (US) リージョンで開始予定です。 AWS Snowball コンソールでお知らせしているとおり、2020 年 4 月 7 日以降、AWS Snowball サービスはデータ転送ジョブに Snowball Edge Storage Optimized デバイスを使用します。第一世代の 50 TB および 80 TB の Snowball ハードウェアは、2020 年 […]

お客様は、10 年以上にわたって AWS で Windows ワークロードを実行しています。ビジネスに不可欠なアプリケーションを実行する上で一般的に求められるのは、Microsoft SQL Server データベースの可用性を高めることです。高可用性のニーズから、SQL Server デプロイアーキテクチャに単一障害点がないことが求められます。高可用性のセットアップでは、プライマリとセカンダリの 2 つのノードのクラスターがあります。プライマリに障害が発生した場合、クラスターは自動的にセカンダリにフェイルオーバーするため、アプリケーションの継続的なデータベースアクティビティが保証されます。Microsoft SQL Server は、SQL Server Always On の傘下で一連の機能を提供して、このような冗長で高可用性のあるデプロイを可能にします。 SQL Server Always On (特に、高可用性に適したデプロイオプションであるフェイルオーバークラスターインスタンスのデプロイオプション) は、従来、デプロイおよび管理が困難でした。この問題は、ノード間でデータをレプリケートすることなく、フェイルオーバー時にセカンダリノードがデータベースストレージに引き続きアクセスできるようにするために共有ストレージを必要とすることに起因しています。 当社は最近、共有ストレージのデプロイと使用を簡素化してお使いのデータベースをホストするために、Amazon FSx for Windows File Server に新機能を導入しました。この機能により、SQL Server Always On デプロイの実行の複雑さとコストが削減されます。Amazon FSx for Windows File Server (Amazon FSx) で、マルチアベイラビリティーゾーンファイルシステムのデプロイのネイティブサポートを導入しました。ネイティブサポートにより、複数のアベイラビリティーゾーンにわたって高可用性と冗長性を備えた AWS に Windows ファイルストレージを簡単にデプロイできます。このリリースに加えて、SMB Continuously Available (CA) ファイル共有のサポートも導入しました。この新しい機能により、可用性が高い完全マネージド型共有ストレージを Amazon FSx […]

3 月 24 日に開催される AWS オンラインストレージテックトークをお見逃しなく。マネージド Windows ファイルストレージへの移行について説明します。このテックトークは、午前 11:00～午後 12:00 太平洋時間 (午後 2:00～午後 3:00 東部時間) に開催されます。 Network Attached Storage (NAS) ハードウェアでレガシーワークロードを実行している企業は、多くの場合、複雑な管理、スケーリングの困難性、および技術的負債を抱えています。このテックトークでは、世界中のお客様が Windows ファイルベースのアプリケーションを実行およびスケーリングするために AWS を選択する理由を学びます。Amazon FSx for Windows File Server は、Windows ワークロードが依存する完全な互換性およびエンタープライズ機能を提供する、最初で唯一のフルマネージド型のネイティブ Windows ファイルシステムです。Amazon FSx の最新機能について学び、Data Dedup でコストを最適化する方法を概観し、AWS DataSync でデータを Amazon FSx に迅速に移行する方法をデモします。 この 200 レベルのオンラインセミナーでは、以下のことを学びます。 Windows ファイルベースのアプリケーションのリフトアンドシフトを簡素化し、生産性を向上させるのに役立つ最新機能について学ぶ Amazon FSx でファイルストレージコストを削減するためのベストプラクティスを調べる Windows ファイル共有をすばやく簡単に移行する方法を学ぶ 参加対象者 クラウドアーキテクト […]

 データベースの移行のある時点で、ネットワークの帯域幅が制限要因になります。高速インターネットリンクが利用できない場合、大量のデータを転送するには数か月かかる場合があります。たとえば、100 テラバイトのデータを 100 Mbps の専用接続で転送するには 100 日以上かかります。遠隔地にいる場合や他のネットワークの問題がある場合には、比較的小さな 500 GB データベースの移行でもかなり遅くなることがよくあります。さらに、多数の小規模なデータベースを同時に移行して規模が膨らむことで、この問題が悪化する可能性もあります。 他にも、データベース自体への外部アクセスが欠如していと、一般的にデータベース移行プロジェクトを妨害または遅延させる可能性があります。ソースデータベースからデータベースの移行を開始する準備が万端であるのに、企業ネットワーク外へのアクセスが許可されていないことを発見するということにもなりかねません。この記事で説明するシナリオや同種の他のシナリオでは、AWS Snowball サービスおよび同サービスの AWS Database Migration Service (AWS DMS) との統合により、大規模なデータベース環境をオフラインで移行する際に多大なメリットが得られる可能性があります。 1 回限りの移行として、または継続的なレプリケーションを使用して、200,000 を超えるデータベースが AWS DMS に移行されました。AWS DMS は AWS Schema Conversion Tool (AWS SCT) と連携して、低コストで可用性の高い方法でデータベース移行プロセスを大幅に簡素化および迅速化します。このツールは、お使いのデータセンターにインストールされている AWS Snowball デバイスと連携して動作します。このデバイスを使用すると、データベースの移行をローカルで実行し、AWS Snowball デバイスを AWS に返送してクラウドストレージターゲットにインポートできます。このプロセスにより、一般的にクラウドの移行を遅くしたり、妨げたりするネットワーク帯域幅の制約が緩和されます。 このブログ記事では、AWS のサービスをプロビジョニングして、データを受信し、AWS Snowball デバイスを設定し、そして実際にデータを移動するために必要な移行ジョブを設定します。 手順の概要とアーキテクチャ AWS Snowball は、ペタバイトのデータを AWS に移動できる、AWS Snowball Edge […]

 クラウドベースのストレージを活用するために、オンプレミスの Network Attached Storage (NAS) をクラウドに移行したいと考えるお客様が増えています。これらの多くのお客様の環境は混在しており、Windows と Linux オペレーティングシステムを組み合わせたワークステーションを使用しています。Windows オペレーティングシステムを使用する従業員にとって一般的なアプローチは、コンピュータを Active Directory に参加させ、ファイル共有を使用して共有ストレージにアクセスすることです。Active Directory は、ネットワーク内のデバイスへのアクセスとアクセス許可を管理できる Microsoft のディレクトリサービスです。コンピュータを Active Directory に参加させると、Active Directory を介した認証が可能になるだけでなく、共有ファイルシステムに対する適切なアクセス許可も付与されます。 Amazon FSx for Windows File Server (Amazon FSx) は、SMB プロトコルを完全にサポートすることにより、Windows と Linux の混在環境からアクセスできるようにします。これには、Linux SMB クライアントを使用した Linux からのアクセスも含まれます。お客様は共有ファイルストレージをクラウドに簡単に移動でき、AWS でフルマネージド型のネイティブ Windows ファイルサーバーをご利用いただけます。セットアップとプロビジョニング、レプリケーション、フェイルオーバー、およびメンテナンスを自動的に処理します。さらに、オンプレミス統合とクラウド内の両方で、SMB プロトコル、Windows NTFS、および Active Directory 統合をサポートしています。 お客様には、次のようなさまざまなユースケースで Amazon FSx をご利用いただいております。 ホームディレクトリ エンタープライズビジネスアプリケーション コンテンツ管理 […]

 データ転送を検討するお客様はこれまで、社内で独自のソリューションを開発するか、オープンソースのツールの使用を考えていました。これに加え、データ転送ジョブのセキュリティと整合性も考慮する必要がありました。AWS DataSync はオーバーヘッドコストやその問題に対処するための、すぐに使用できるデータ転送ソリューションの完全なスイートを提供します。 DataSync はオンラインデータ転送サービスで、オンプレミスデータストアと AWS ストレージサービス間でデータをコピーできるようにします。DataSync は、NFS や SMB ファイルシステムからAmazon Elastic File System (Amazon EFS)、Amazon FSx for Windows File Server、およびすべての Amazon Simple Storage Service (Amazon S3) ストレージクラスへのデータコピーに頻繁に使用されています。DataSync では、従来データ移行に関連していた多くのタスクを排除または自動化することにより、データの転送を簡素化しています。つまり、DataSync を使用すれば、コピージョブのスクリプト作成、転送のスケジューリングとモニタリング、データの検証、ネットワーク使用率の最適化がすべて容易となります。 DataSync では、オンプレミスストレージと AWS の間で転送されるデータは、トランスポートレイヤーセキュリティ (TLS) を介して暗号化されます。データがAWSに転送されると、AWS Key Management Service (AWS KMS) を使って保存データを暗号化できます。DataSync は、グローバルおよび業界でのセキュリティ標準にも準拠しています。コンプライアンスの詳細については、AWS DataSync のよくある質問ページをご覧ください。加えて、DataSync ではデータ転送タスクを簡単にスケジューリングできるため、運用上の負担がさらに軽減します。 このブログ投稿では、新規および既存の DataSync タスクでスケジューリング機能を使用する方法を解説します。また、DataSync を使用してカスタムスケジュールを作成する例も含んでいます。 DataSync タスクのスケジューリング DataSync には、スケジューリング機能があります。これは、転送タスクを自動的に実行して、指定された間隔でソースストレージから宛先ストレージに変更を検出してコピーできるようにするものです。定期的なタスクを実行して、オンプレミスと […]

AWS のソリューションアーキテクトとして、すべてのタイプの顧客とユースケースをサポートしてきました。私たちは定期的に同じフィードバックを受け取っています。システムとインフラストラクチャをデプロイして管理する代わりに、顧客は複雑さと管理オーバーヘッドを削減して、コアビジネスに集中したいと考えています。大量のデータから必要なものを効率的に検索することは難しいため、複雑さとオーバーヘッドが生じます。 この記事では、構造化クエリ言語 (SQL) クエリを使用して、コンマ区切り値 (CSV) ファイルとして Amazon Simple Storage Service (Amazon S3) にロードされたデータを検索します。以前は、データをクエリするにはデータベースにロードする必要がありました。データベースのデプロイに加えて、顧客は検索を有効にするためにアプリケーションとウェブサイトをデプロイする必要があります。データベースと関連リソースをデプロイする代わりに、S3 Select と呼ばれる S3 機能を利用して、完全にサーバーレスな電話帳検索ツールを作成します。 最初に、シンプルな電話帳の .csv ファイルから結果を返す SQL クエリの基本的な実行を示します。このソリューションをもう少し詳しく調べるために、完全なサーバーレス電話帳検索アプリケーションの作成に必要なすべてのコンポーネントを含め、サンプルの電話帳検索ツールを AWS Examples GitHub ページで作成します。 顧客は Amazon S3 を使用して、ストレージのプロビジョニングやインフラストラクチャの管理を行うことなく、あらゆる量のデータを保存して保護します。Amazon S3 Select と Amazon S3 Glacier Select を使用すると、S3 と Amazon S3 Glacier に保存されているデータに対して構造化クエリ言語 SQL クエリを直接実行できます。S3 Select を使用すると、データを簡単に S3 に保存し、SQL ステートメントを使用して S3 オブジェクトのコンテンツをフィルタリングし、必要なデータのみを取得するクエリを実行できます。データのサブセットのみを取得することで、顧客は Amazon S3 […]

Bristol-Myers Squibb (BMS) は、革新的な医薬品を発見し、開発することで、深刻な病気の治療、管理、治療に貢献しています。AWS のサービスを多数使用して、科学データ、ラボでのワークフロー、大規模な計算を管理し、分子データ、細胞データセット、臨床データセットを分析しています。BMS のラボで生成したゲノミクスや臨床データは、飛躍的な速さで膨張しています。それだけにとどまらず、BMS では学術医療センター、医療プロバイダー、その他の共同研究者などの外部ソースからも、さまざまな臨床データを収集しています。いろいろなデータのソースがあるため、データ形式の種類は幅広くなります。 結果として、ペタバイト規模のデータセットを統合して分析するには、BMS にとってクラウドは最も便利なツールになります。オンプレミスのデータセンターからサイロ化されたデータにアクセスするのとは異なり、クラウドでは膨張しつつあるデータセットに社内の関係者によるオンデマンドでのアクセスが可能となるため、BMS での科学的革新の加速に貢献しています。現在 AWS が提供している数多くのクラウドストレージサービスの中でも、Amazon Simple Storage Service (Amazon S3) と AWS Storage Gateway は BMS で中心的な役割を果たしています。これらのサービスは、科学データを臨床データレイクに移動させ、さまざまな手法や方法を利用して数え切れないほどのライフサイエンスデータ分析プロセスを行うサポートとなっています。 Amazon S3 は、業界をリードするスケーラビリティ、データの可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。Storage Gateway はハイブリッドのクラウドストレージサービスで、オンプレミスで実質的に無制限のクラウドストレージにアクセスすることが可能となります。 このブログ投稿では、私がシニアクラウドアーキテクトとして勤務する BMS が、ライフサイエンスアプリケーションで Amazon S3 と Storage Gateway をどのように使用しているかに焦点を当てています。この投稿はある程度まで、AWS re:Invent 2019 で行われたプレゼンテーションの「STG305 Build hybrid storage architectures with AWS Storage Gateway」に沿っています。これは、数ヶ月前に上司である Mohamad Shaikh 氏と共に発表したものです。 このセッションにおいてカバーしきれなかった BMS での Amazon […]