Author: AWS Japan

これまで多くの AWS のお客様から AWS Cloud の内外へ大量のデータを移動させる必要があると言われてきました。そのユースケースには以下のものが挙げられます : Migration – 常に変化し続ける大きなデータセットをお持ちのお客様もいます。一度限りの転送を行うため、中断や停止は許されません。 Upload ＆ Process – クラウド上で処理するために大規模データセットをオンプレミスで定期的に生成するお客様もいます。これには Media & Entertainment 業界や Oil & Gas 業界、Life Science 業界の我々のお客様があげられます。 Backup / DR – 最後に、オンプレミス上の貴重なデータを災害対策やビジネス継続性のためにクラウドにコピーするお客様もいます。 これらのお客様は大規模データで利用しています。数十 TB から数百 TB の一度限りや定期的な転送は日常的に行われています。この規模では、ネットワーク帯域を効果的に使用し、高いスループットを得ることは必要不可欠で、信頼性やセキュリティ、使い勝手の良さも同様に重要です。 Introducing AWS DataSync 今日、我々のデータ転送サービスのポートフォリオに AWS DataSync が加わりました。AWS Snowball, AWS Snowmobile, Kinesis Data Firehose, S3 Transfer Acceleration, AWS Storage Gateway に加わる […]

SFTP（Secure File Transfer Protocol） は、長年に渡って使用されてきたデータ処理やパートナー連携の一部として、現在でも多くの組織で利用されています。このようなシステムを「レガシー」という言葉で片付けてしまうのは簡単ですが、現実には、今後も長期間に渡ってSFTPは利用され続けるでしょう。そこで私達は、このようなワークフローを持つお客様が、スムーズかつ、大きな変更を伴わずにクラウド環境に移行できるようなお手伝いをしたいと思います。 AWS Transfer for SFTP 本日（2018年11月26日）、私達は完全マネージドかつ高い可用性をもつSFTPサービスである、「AWS Transfer for SFTP」をローンチいたしました。このサービスを利用するのに必要なことは、サーバーを作成し、ユーザーアカウントをセットアップし、ひとつまたは複数のAmazon Simple Storage Service（S3）バケットと関連付けるだけです。また、ユーザーIDや権限管理、鍵管理について細かく設定することが可能です。ユーザー管理については、このサービス用にユーザーを作成することもできますし、既存のIDプロバイダを利用することも可能です。アクセス権限については、IAMポリシーを用いて管理することができます。さらに、既存のDNS名やSSHキーを利用して現在のシステムを簡単にこのサービスに移行することもできます。そのため、あなたのお客様やあなたのパートナーはこれまでと何も変わらず、普段通りに既存のワークフローに従ってファイル転送を行うことができるのです。 このサービスでは、ライフサイクルポリシーや複数のストレージクラス、サーバーサイド暗号化、バージョニングといったS3の様々な機能を活用することが可能です。これにより、AWS Lambdaを用いて、アップロードされたファイルをすぐに処理するような「かしこい」FTPサイトを構築することもできますし、Amazon Athenaを用いてデータにクエリをかけたり、既存のデータ入力方法と組み合わせることも簡単にできます。一方、出力側としては、他のAWSサービスと組み合わせることで様々なファイルやカスタムソフトウェアをS3上に生成し、SFTPを用いてお客様やパートナーに提供することも可能です。

Amazon Simple Storage Service（S3）は12年と半月以上にわたり使用されており、数兆ものオブジェクトを格納し、毎秒数百万件のリクエストを処理します。お客様は、バックアップ＆リカバリ、データアーカイブ、データレイク、ビッグデータ分析、ハイブリッドクラウドストレージ、クラウドネイティブストレージ、災害対策のニーズにおいて、S3を活用しています。初期の頃の、汎用的なStandard (標準)ストレージクラスに始まり、その後ストレージクラスを追加して、よりよくお客様にサービスしてきました。現在では、4つのストレージクラスを選択することができ、それぞれのクラスはある特定のユースケース向けに設計されています。現在のオプションは以下の通りです。 Standard (標準) – よくアクセスされるデータ向けに設計されています Standard-IA (標準-低頻度アクセス) – 長期保管で、あまりアクセスされないデータ向けに設計されています One Zone-IA – 長期保管で、あまりアクセスされず、クリティカルではないデータ向けに設計されています Glacier – 長期保管で、あまりアクセスされず、アーカイブするクリティカルなデータ向けに設計されています S3にデータをアップロードする際、適切なストレージクラスを選ぶことができます。そして、S3のライフサイクルポリシーを使って、オブジェクトの作成日に基づき、そのオブジェクトをStandard(標準) からStandard-IA(標準-低頻度アクセス), One Zone-IAまたはGlacierへ移動をさせることができます。なお、低冗長化ストレージクラス(Reduced Redundancy Storage)は引き続きサポートされますが、新しいアプリケーションにおいては、One Zone-IAの利用が推奨されますのでご注意ください。 現時点(2018年11月26日以前)では、異なるS3ストレージクラスを階層化したい場合は、ライフサイクルポリシーが、ストレージ内のオブジェクトの作成日に基づいて、オブジェクトの移動を自動化します。また、現在Standard(標準)ストレージクラスに格納されているデータがあるとして、そのうちStandard-IA(標準-低頻度アクセス)ストレージクラスに格納するのが望ましいデータがあるかどうかを知りたい場合は、S3コンソールにあるストレージクラス分析を利用できます。これにより、どんなグループのデータがライフサイクルで階層化されると良いのかを把握することができます。しかしながら、データへのアクセスパターンが規則的でなかったり、組織にまたがって数多くのアプリケーションからアクセスされるが故に、状況を把握できないことが多々あります。もしくは、アプリケーション側に多くの時間をさきたいため、ストレージクラス分析のようなツールを利用する時間がないかもしれません。 新機能 Intelligent Tiering （インテリジェントティアリング） そこで、新しいストレージクラス、S3 Intelligent-Tiering (インテリジェントティアリング）を発表しました。これにより、アクセスパターンを把握するために何らか特別な開発をする必要はなく、もっと簡単にS3を有効活用できます。このストレージクラスには、高頻度と低頻度という2つのアクセス階層が組み込まれています。両方の階層とも、Standard(標準)ストレージクラスと同等の低レイテンシーを提供します。モニタリングと自動化の料金を抑えつつ、S3 Intelligent-Tiering はアクセスパターンをモニタし、連続30日間アクセスされていないデータを低頻度のアクセス階層に移動します。もしそのデータがのちにアクセスされた場合は、高頻度アクセス階層に自動的に戻されます。すなわち、アクセスパターンが変化するような状況でも、性能の影響なく、運用のオーバーヘッドもなく、データ取り出しのための料金もなく、利用料金を節約することができるのです。 Intelligent-Tiering ストレージクラスは、S3に新しくオブジェクトをアップロードする際に指定できます。また、ライフサイクルポリシーを用いて、ある一定時間の経過後にこのデータ遷移が有効になるようにすることもできます。データ取り出しの料金はなく、この新しいストレージクラスは、クロスリージョンレプリケーション、暗号化、オブジェクトのタグ付け、そして、インベントリを含む他のすべてのS3機能と併用できます。 データがあまりアクセスされないとほぼ確信している場合には、コスト節約の観点では、Standard-IA(標準-低頻度アクセス)の利用が引き続き有益な選択となります。しかしながら、アクセスパターンが予測できない場合や、変わりうる場合、Intelligent-Teringが有効です！ Intelligent Tiering の実践 S3へオブジェクトをアップロードする際に、この新しいストレージクラスをシンプルに指定してみます。 S3 Consoleにはストレージクラスがいつもの通り表示されています。 そして、Intelligent-Tiering を利用できるようライフサイクルルールを作成できます。 このように利用します。いくつかの注意点があります。 オブジェクトのサイズ – Intelligent-Tiering はどのようなサイズのオブジェクトにもご利用いただけますが、128KBよりも小さいサイズのオブジェクトは、低頻度アクセス階層には遷移しません。そして高頻度アクセス階層での料金レートが適用されます。 オブジェクトの保存期間 – […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 re:Invent2018初日はMidnightMadnessでの発表に加え多くのアップデートが発表されましたので纏めたいと思います。 AWS RoboMaker が 発表になりました。 ロボットの開発、シミュレート、テスト、およびデプロイの手助けをするサービスになります。クラウドベースの開発環境でコードを開発し、Gazeboシミュレーションでテストし、完成したコードを1つまたは複数のロボットの群に展開することができます。最も広く使用されているオープンソースのロボティクスソフトウェアフレームワークであるRobot Operating System（ROS）をクラウドサービスへの接続性で拡張したサービスとなります。 AWS Transfer for SFTPが発表になりました。 Secure Shell（SSH）ファイル転送プロトコルとも呼ばれるSFTP（Secure File Transfer Protocol）を使用して、Amazon S3の内外にファイルを直接転送できるマネージドサービスになります。既存の認証システムと統合し、Amazon Route 53でDNSルーティングを提供することにより、ファイル転送ワークフローをSFTPのためのAWS転送にシームレスに移行できるようにします。SFTP用サーバの管理は不要で、SFTPエンドポイントは、1日24時間、年中無休、年中無休で利用できるように設計されています。 AWS DataSyncが発表になりました。 AWSとオンプレミスの間のデータ転送が最大10倍となる、オンプレミスストレージとAmazon S3またはAmazon Elastic File System（Amazon EFS）間のデータの移動を自動化するためのデータ転送サービスです。オンプレミスのソフトウェアエージェントを使用して、ネットワークファイルシステム（NFS）プロトコルを使用して既存のストレージまたはファイルシステムに接続するため、アプリケーションの変更が不要となります。 Amazon EBS のProvisioned IOPS (io1)のパフォーマンスが強化されました。 ピークパフォーマンスは、32,000 IOPSから64,000 IOPSに、また500Mbpsから1,000MB /秒のスループットを、NitroシステムEC2インスタンスに接続すると、最大2倍の向上を実現できます。 AWS SnowballEdge のコンピュート最適化インスタンスがGAになりました。 物理的に過酷な場所やオフラインの場所でコンピューティングを集中的に使用するアプリケーション用に、52のvCPU、208GBのメモリ、7.68TBのNVMe SSD、および42TBのS3互換ストレージを提供します。また、接続が難しい場合にフルモーションビデオ処理などのシナリオにNVIDIA TESLA V100 GPUを追加するオプションもあります。米国東部（バージニア州）、米国西部（オレゴン州）、米国西部（カリフォルニア北部）、GovCloud（米国西部）、およびEU（アイルランド）のみ発送可能です。 Amazon S3 がオブジェクト管理のバッチ処理機能をリリースしました。（Preview） Amazon S3に格納されている数十億のオブジェクトを、単一のAPI要求またはS3管理コンソールで数回クリックするだけで簡単に管理できる新しい機能になります。S3オブジェクトの一括処理に必要なAPIアクションを実行するために、カスタムアプリケーションソフトウェアを作成するために必要な開発時間とリソースを最大3か月間節約できます。また、この機能を使用して、数十億（数十億）のS3オブジェクトのカスタムAWSラムダ機能を実行して、データの処理やイメージファイルのトランスコードなど、より複雑なタスクを実行することもできます。 […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 re:Invent 2018 ミッドナイトマッドネス中に、AWS Transfer for SFTPという新サービスサイレントアナウンスで発表されました。 AWS Transfer for SFTP AWS Transfer for SFTPは、Secure Shell（SSH）ファイル転送プロトコルとも呼ばれるSFTP（Secure File Transfer Protocol）を使用して、Amazon S3の内外にファイルを直接転送できるマネージドサービスになります。既存の認証システムと統合し、Amazon Route 53でDNSルーティングを提供することにより、ファイル転送ワークフローをSFTPのためのAWS転送にシームレスに移行できるようにします。SFTP用サーバの管理は不要になります。SFTPエンドポイントは、1日24時間、年中無休、年中無休で利用できるように設計されています。AWSリージョン内の複数のアベイラビリティゾーンにわたって完全な冗長性を実現し、AWS SFTPは、Microsoft Active DirectoryやLightweight Directory Access Protocol（LDAP）などの一般的なユーザ認証システムをサポートしています。 SFTPとS3がシームレスに連携することにより、サードパーティを含めたデータ共有の運用がよい簡単になります。 料金はこちらにまとまっています。 チュートリアルを兼ねたステップバイステップガイドが用意されています。 速報をお届けしましたが、日本語ブログが出たらまたご案内したいと思います。 東京リージョン他、N.Virginia、Ohio、Oregon、N.California、Canada、Ireland、Paris、Frankfurt、London、Singapore、Sydney、Seoulでご利用いただくことができます。 – プロダクトマーケティング エバンジェリスト 亀田

私は何十年もの間ロボットをつくりたいと思っていましたが、今、私にはチャンスができました！私にとって、常時接続で相互に影響する部品の数が非常に多いということが課題でした。複雑なハードウェア、ソフトウェア、センサー、通信システム、および「ロボットの脳」は、ロボットが必要に応じて機能するために、すべて一緒に機能する必要があります。 これから、AWS RoboMakerについてお話しようと思います。この新しいサービスは、あなたの夢であるロボットの開発、シミュレート、テスト、およびデプロイの手助けをするサービスになります。クラウドベースの開発環境でコードを開発し、Gazeboシミュレーションでテストし、完成したコードを1つまたは複数のロボットの群に展開することができます。 コードをデプロイしたら、いくつかのクリックで、アップデートやバグ修正をあなたのフリートに適用することができます。 あなたのコードは、Amazon Lex、Polly、Amazon Rekognition、Amazon Kinesis Video Streams、Amazon CloudWatchなどのAWSサービスを利用して、洗練されたロボットの脳を構築し、ROS（Robotic Operating System）のパッケージとしてアクセスできます。 また、Amazon SageMakerモデルを構築してトレーニングして、ロボットの脳内で機械学習を利用することもできます。 RoboMakerは、さまざまな物理環境（ホームワークショップ、工場フロア、教室、レストラン、ホテル、または別の惑星）、さまざまな形状とサイズのロボットで動作するように設計されています。 それでは見てみましょう

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 re:Invent 2018 ミッドナイトマッドネス中にAWS DataSyncという新サービスがサイレントアナウンスにて発表されました。 AWS DataSync AWS DataSyncをご利用いただくことで、AWSとの間のデータ転送が最大10倍となります。オンプレミスストレージとAmazon S3またはAmazon Elastic File System（Amazon EFS）間のデータの移動を自動化するためのデータ転送サービスです。DataSyncは、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせる原因になることや、IT運用に負担をかけるデータ転送に関連する多くのタスクを自動的に処理します。オンプレミスのソフトウェアエージェントを使用して、ネットワークファイルシステム（NFS）プロトコルを使用して既存のストレージまたはファイルシステムに接続するため、アプリケーションの変更が不要となります。 DataSyncエージェントを構内に配置し、ファイルシステムまたはストレージアレイに接続し、Amazon EFSまたはS3をAWSストレージとして選択し、データの移動を開始します料金はコピーしたデータに対してのみ発生します。 データセンターの移行、ハイブリッドワークロードにおけるデータ共有、DRを目的としたデータ保護など多くのユースケースでご利用いただけます。 すべてのデータは、トランスポートレイヤセキュリティ（TLS）で暗号化され、保存されたデータはAWS Key Management Service（AWS KMS）と統合されているため、AWSで安全にデータを暗号化できます。データが正常に到着することを保証し、転送ごとに、転送中と処理完了の両方で整合性チェックを実行します。これらのチェックでは、宛先に書き込まれたデータがソースから読み取られたデータと一致し、一貫性が確認されます。 こちらにチュートリアルとしてステップバイステップガイドがあります。 サービスリリース時点から東京リージョンに対応し、こちらに料金及びその他対応リージョンがまとまっています。 速報をお届けしましたが、日本語ブログが出たらまたご案内したいと思います。 – プロダクトマーケティング エバンジェリスト 亀田

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 re:Invent 2018 ミッドナイトマッドネスでAWS RoboMakerという新サービスが発表されました。 AWS RoboMaker https://aws.amazon.com/robomaker/ https://www.youtube.com/watch?v=FHtioa3HKlw#action=share インテリジェントロボットアプリケーションの開発、テスト、および展開を容易にするサービスです。RoboMakerは、最も広く使用されているオープンソースのロボティクスソフトウェアフレームワークであるRobot Operating System（ROS）をクラウドサービスへの接続性で拡張します。これには、ロボットがデータをストリーミングし、ナビゲートし、コミュニケーションし、理解し、学ぶことを可能にするAWSの機械学習サービス、監視サービス、および分析サービスが含まれます。RoboMakerは、アプリケーション開発のためのロボティクス開発環境、アプリケーションテストを加速するロボティクスシミュレーションサービス、およびリモートアプリケーションの展開、更新、および管理のためのサービスを提供します。 AWS RoboMakerは、インテリジェントロボットアプリケーションの開発、テスト、および展開のための4つのコア機能を提供します。 ROS用クラウド拡張 Robot Operating System（ROS）は、ロボットアプリケーションの構築に役立つソフトウェアライブラリを提供する、最も広く使用されているオープンソースのロボットソフトウェアフレームワークです。AWS RoboMakerは、ROSのクラウド拡張機能を提供しているため、インテリジェントなロボティクスアプリケーションに必要な、よりリソース集約型のコンピューティングプロセスをクラウドにオフロードし、ローカルのコンピューティングリソースを解放することができます。これらの拡張機能により、ビデオストリーミング用のAmazon Kinesis Video Streams、画像およびビデオ分析用のAmazon Referencing、音声認識用のAmazon Lex、音声生成用のAmazon Polly、ロギングおよび監視用のAmazon CloudWatchなどのAWSサービスとの統合が容易になります。RoboMakerはこれらのクラウドサービス拡張をオープンソースのROSパッケージとして提供しているため、クラウドAPIを活用してロボットに機能を構築することができます。 開発環境 AWS RoboMakerは、ロボットアプリケーションの構築と編集を行うためのロボット開発環境を提供します。RoboMaker開発環境はAWS Cloud9をベースにしているため、ロボティクスアプリケーションコードを編集、実行、デバッグするための専用ワークスペースを起動できます。RoboMakerの開発環境には、オペレーティングシステム、開発ソフトウェア、ROSが自動的にダウンロード、コンパイル、設定されます。さらに、RoboMakerクラウドエクステンションとサンプルロボティクスアプリケーションは環境にあらかじめ統合されているため、数分で起動することができます。 シミュレーション シミュレーションは、ロボットアプリケーションが複雑な環境や変化する環境でどのように動作するかを理解するために使用されるため、高価なハードウェアに投資したり、物理的なテスト環境を設定する必要はありません。代わりに、物理的なハードウェアに展開する前に、ロボットアプリケーションのテストや微調整にシミュレーションを使用できます。AWS RoboMakerは、大規模および並列シミュレーションをサポートし、シミュレーションの複雑さに基づいて基盤となるインフラストラクチャを自動的に拡張する、完全に管理されたロボティクスシミュレーションサービスを提供します。RoboMakerは、屋内の部屋、小売店、レーストラックなどの事前構築された仮想3Dワールドを提供しているため、シミュレーションでこれらのワールドをダウンロード、変更、使用することができ、迅速かつ簡単に始めることができます。 フリート管理 アプリケーションが開発または変更されたら、アプリケーションをロボットに安全に展開し、後でロボットが使用されている間にアプリケーションを更新するOTA（Over-The-Air）システムを構築します。AWS RoboMakerは、ロボットレジストリ、セキュリティ、フォールトトレランス機能を備えた車両管理サービスを提供しています。これにより、ロボットのライフサイクル全体にわたって、OTAアップデートを展開し、ロボットアプリケーションを管理することができます。RoboMakerのフリート管理を使用して、ロボットをグループ化し、それに応じてバグ修正や新機能を更新することができます。 また日本語ブログでAWS RoboMakerの記事が出たら詳細をお知らせしたいと思います。 ROSのAWS RoboMakerクラウド拡張は、Apache Software License 2.0にて無料で提供されます。ROSアプリケーションがこれらのクラウド拡張を介してAWSサービスを利用する場合にのみ、標準のAWSサービス料金が発生します。 GitHubにサンプルアプリケーションがありますので合わせてご参考ください。 https://github.com/aws-robotics/aws-robomaker-sample-application-helloworld https://github.com/aws-robotics/aws-robomaker-sample-application-persondetection https://github.com/aws-robotics/aws-robomaker-sample-application-voiceinteraction https://github.com/aws-robotics/aws-robomaker-sample-application-cloudwatch Amazon RoboMaker はUS […]

re:Invent2018 開幕まであとわずかになりました。例年のように、 AWS CloudFormation が提供するインフラストラクチャデプロイの舞台裏やフロントエンドを語り尽くす、ブレークアウトセッション、ワークショップ、チョークトーク（ホワイトボードによる講義）などが予定されています。 ここではセッションカタログからいくつかのハイライトをピックアップし、続いてCloudFormationにフォーカスしたセッションやワークショップの一覧を示します。 re:Invent 2018 参加者の方はもちろん、会場にお越しでない方もイベント後の情報収集のためにご利用ください。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。ラスベガスではいよいよre:Invent 2018の開催に向けて準備が本格化してきております。日本からいらっしゃる皆さんも今日到着される方が多いようです。お待ちしております。 それでは、第一弾、第二弾に続き、アップデートのまとめをお届けいたします。 AWS Resource Access Manager が発表されました。 AWS アカウント間でのリソース共有を容易にします。リソースは、組織、組織単位 (OU)、AWS アカウントで共有することができます。また、組織外のアカウントを特定のリソース共有に追加できるかどうかをコントロールすることもできます。日本語ブログをご参照ください。 Amazon Rekognition が、顔の検出、分析、認識機能の更新を発表 これらの更新により、画像からより多くの顔を検出し、より正確な顔のマッチングを実行し、画像内の顔から年齢、性別、感情の属性を取得する能力が向上します。最新の更新により、以前は見逃されていた顔の 40% を検出できるようになりました。同時に、誤検出の割合は 50% 削減されています。こちらの日本語ブログに新たに検知が可能となった画像のサンプルが掲載されています。 AWS Application AutoScaling がAmazon Kinesis Data Streams のスケーリングに対応しました。 シャードを自動的に追加・削除するスケーリングポリシーを定義できるようになりました。 Amazon CloudWatch メトリクスに基づいて Amazon Kinesis Data Streams に Auto Scaling ソリューションをデプロイすることができます。こちらの日本語ブログに、環境を自動的に設定する AWS CloudFormation テンプレートと、Lambda 関数に関連するコードも記載されています。 AWS Database Migration Service が Amazon Elasticsearch Service を移行ターゲットとしてサポートしました。 AWS DMSはデータ移行の自動化を実行を可能とし、サポートされているソースからAmazon ESターゲットへのデータの連続複製の実行が可能です。これらのソースには、関連データベース（OracleやAmazon Aurora等）、NoSQLデータベース（MongoDB）、またはAmazon […]