Author: AWS Japan

あなたは汎用ツールと非常に特殊な目的のために作られたツール、どちらかを決めなければならない経験をしたことはありませんか？ 汎用ツールは、さまざまな問題を解決するために使用できますが、特定な用途に最適な選択ではないかもしれません。目的に合ったツールは1つのタスクに優れていますが、頻繁にその特定のタスクを実行する必要があります。 コンピュータエンジニアは、アーキテクチャと命令セットを設計するときに、この問題に直面し、非常に広い範囲のワークロードにわたって良好なパフォーマンスを実現するアプローチを常に追求しています。 時々新しいタイプの作業負荷と作業条件が発生し、カスタムハードウェアによって最もよく対処されます。 これにはもう1つのバランスのとれた行動、すなわち信じられないほどのパフォーマンスと、四半期または何年もかかる開発ライフサイクルの潜在的なトレードオフをする必要があります。    FPGAへ カスタムハードウェアベースのソリューションへの興味深いルートの1つとして、フィールドプログラマブルゲートアレイ（FPGA）が知られています。 単一の機能を念頭に置いて設計され、実装するために配線された専用チップとは対照的に、FPGAはより柔軟性があります。 これは、PCボード上のソケットに差し込まれた後、フィールドでプログラムすることができます。 各FPGAには、固定された有限個の単純な論理ゲートが含まれています。 FPGAをプログラミングするということは、論理機能（AND、OR、XORなど）または記憶素子（フリップフロップおよびシフトレジスタ）を単純に接続していく事となります。 本質的にシリアル（いくつかのパラレル要素）で、固定サイズの命令とデータパス（通常32または64ビット）を持つCPUとは異なり、FPGAは多くのオペレーションを並列に実行するようにプログラムでき、 ほとんどすべてのデータ幅、データ大小を操作できます。 この高度に並列化されたモデルは、数値計算の問題を処理するカスタムアクセラレータを構築するのに理想的です。 適切にプログラミングされたFPGAは、多くのタイプのゲノム解析、地震解析、財務リスク分析、大規模なデータ検索、暗号化アルゴリズムとアプリケーションに対して30倍のスピードを提供する可能性があります。 私はこれが素晴らしいことであると願うとともに、独自アプリケーションをスピードアップするために、あなたがFPGAを使いたくなることを願います！ 長い道のりの中でいくつかの面白いチャレンジがあります。 第一に、FPGAは伝統的に、より大規模な専用システムのコンポーネントとなっています。 単にあなたが購入してデスクトップに接続することはできませんが、代わりにFPGAが提供ものにはハードウェアプロトタイピング、ハードウェアアプライアンスの構築、大量生産、長期にわたるセールス＆デプロイメントサイクルといったソリューションが含まれています。 リードタイムはFPGAの適用範囲を制限する可能性があり、また、ムーアの法則はCPUベースのソリューションを費用対効果に優れたものにするには時間がかかることも意味します。   私たちはこの分野をより良くすることができると思います！   新しいF1 Instance 今日、新しいF1インスタンスの開発者向けプレビューを開始します。 あなた自身のためにアプリケーションとサービスを構築するだけでなく、AWS Marketplaceで販売して再利用するためにパッケージ化することができます。 すべてをまとめることで、かつてはFPGA駆動アプリケーション利用の前提条件であった資本集約かつ時間のかかるステップをすべて避けることができ、 他のソフトウェアに使用されているビジネスモデルと同様にする事ができます。 あなた自身のロジックを設計し、クラウドベースのツールを使ってそれをシミュレートして検証し、それを数日で市場に出すことができます。 Intel Broadwell E5 2686 v4プロセッサ搭載（全コアにてベース 2.3 GHz、ターボモード 2.7 GHz、3.0 GHzターボモード 1コア）、最大976 GiBのメモリ、最大4 TBのNVMe SSDストレージ、 1から8個までのFPGAであるF1インスタンスは、コアおよびFPGAベースのロジックを補完する豊富なリソースを提供します。 各FPGAは各インスタンスが専有し、マルチテナント環境でも分離されています。FPGAの仕様は次のとおりです（1つのF1インスタンスに最大8つあります）: Xilinx UltraScale+ VU9P (16 nm製造プロセス) 288bit幅のバスをもった64 GiBのECC機能付きメモリを搭載 […]

今朝早くに、AWSのCEOであるAndy Jassyが次のアップデートとなるEC2インスタンスのロードマップを発表しました。私たちは高I/O、コンピューティング最適化、メモリ最適化インスタンスの性能を向上させるとともに、FPGAベースのコンピューティングを含めたハードウェアアクセラレーションの領域にも進出します。この投稿では本日の発表をまとめるとともに、追加情報を含むそのほかの投稿たちへのリンクを示します。 これらの新しいインスタンスを計画するにあたって、お客さまが直面している問題やEC2で実行しようとしているワークロードについて十分に理解するために、私たちは非常に多くの時間を費やしました。お客さまの反応はさまざまでしたが、頻繁に言及されていたのはインメモリ分析、マルチメディア処理、機械学習（最新のAVX-512命令を用いたもの）、そして大規模でストレージ集積型のERP（Enterprise Resource Planning）アプリケーションなどでした。 次のインスタンス群が本日から利用可能です。 新しいF1インスタンス – F１インスタンスによって、Field-Programmable Gate ArrayまたはFPGAとして知られる、革新的なプログラマブルハードウェアを使用することができます。コードを記述してFPGA上で実行することにより、多くのゲノム分析、地震分析、財務リスク分析、ビッグデータ検索、そして暗号アルゴリズムなどの多くの処理を最大30倍高速化することができます。また本日、F1インスタンスの開発者プレビューおよびハードウェア開発キットをリリースしただけでなく、お客様がFPGAによるアプリケーションやサービスを構築して、AWSマーケットプレイスで販売することもできるようになりました。詳細については開発者プレビュー ー EC2 Instances (F1) with Programmable Hardwareをご覧ください。 新しいR4インスタンス – R4インスタンスは、昨今のメモリインテンシブなビジネスインテリジェンス、インメモリキャッシング、そしてデータベースアプリケーションのために設計されており、最大488GiBのメモリを搭載しています。R4インスタンスは大きなL3キャッシュと高速なメモリスピードにより、R3インスタンスより高い性能を発揮します。ネットワークの観点では、プレイスメントグループで使用した場合に、12Gbpsの専有EBS帯域幅に加えて、ENAによる最大20Gbpsのネットワーク帯域幅をサポートします。インスタンスは6つのサイズがあり、最大64個のvCPUと488GiBのメモリを選択できます。詳細については次世代のメモリ最適化EC2インスタンス（R4）をご覧ください。 拡張されたT2インスタンス – T2インスタンスはCPUの最大出力を定常的に使わないタイプのワークロードで、大きなパフォーマンスを発揮します。お客さまはT2インスタンスを、アプリケーションサーバやWebサーバ、開発環境、継続的インテグレーションサーバ、そして小規模のデータベースといった、さまざまなワークロードで利用されます。私たちはt2.xlarge（16GiBメモリ）とt2.2xlarge（32GiBメモリ）の2つを新たに加えます。既存のT2インスタンスと同様、新しいサイズも十分なベースラインパフォーマンス（既存のインスタンスに比べて最大4倍）に加えて、コンピューティングパワーが必要なときに全コアをバーストさせることができます。詳細については、新しいT2.XlargeとT2.2Xlargeインスタンスをご覧ください。 そして以下のインスタンス群については準備中です。 新しいElastic GPUs – まもなく既存のEC2インスタンスに対して、1GiBから最大8GiBのGPUメモリと、それに見合うコンピューティングパワーを持った、高パフォーマンスのグラフィックアクセラレーション機能を追加できるようになります。Amazonにより最適化されたOpenGLライブラリは、自動でElastic GPUsを検知します。この新たなEC2インスタンスのプレビューを発表するのに合わせて、AWS Graphic Certification Programを提供します。詳細については進行中 – Amazon EC2 Elastic GPUsをご覧ください。 新しいI3インスタンス – I3インスタンスは、Solid State Driveをベースとして高速で低レイテンシの不揮発性メモリ（Non Volatile Memory Express: NVMe）を搭載しています。4KBブロックサイズに対する最大330万のランダムIOPSと、最大16GB/秒のディスクスループットがあります。このインスタンスは、多くのI/Oインテンシブなリレーショナル&NoSQLデータベース、トランザクション処理、分析ワークロードで要求される水準を満たすように設計されています。I3インスタンスには6つのサイズがあり、最大64個のvCPUと488GiBのメモリ、そして15.2TBのストレージ（ERPアプリケーションに最適です）を選択できます。ストレージに保存されたすべてのデータは、保存時に暗号化されます。また新しいElastic Network Adapter（ENA）もサポートしています。 新しいC5インスタンス – C5インスタンスは、インテルの新しいXeon “Skylake” プロセッサをベースとしており、ほかのすべてのEC2インスタンスよりも高速な処理を行うことができます。Broadwellの後継として、SkylakeはAVX-512をサポートしているため、高度な浮動小数点演算を必要とする機械学習、マルチメデイア処理、科学計算、そして金融業務などに適しています。C5インスタンスには6つのサイズがあり、最大72個のvCPUと144GiBのメモリを選択できます。ネットワークの観点では、ENAをサポートするとともに、デフォルトでEBS最適化となっています。 原文: EC2 […]

インメモリプロセッシングには大きな需要があります。日ごとに大きくなるワークロードと、世代を経るごとにパワーを増すCPUのおかげもあり、高性能のビジネスインテリジェンス、分析、データマイニング、そしてレイテンシに敏感なその他のワークロードにおいて、データセットを丸ごとメモリに載せることが、前提条件となりつつあります。分散キャッシングとバッチ処理ワークロードもまた、大量のメモリに素早くアクセスできることの恩恵を受けるでしょう。 私たちは本日、次世代のメモリ最適化EC2インスタンスをリリースします。大きなL3キャッシュと高速なメモリを搭載することで、既存のR3インスタンスより高い性能を発揮します。ネットワークの観点では、プレイスメントグループで使用した場合に、1Gbpsの専有EBS帯域幅に加えて、ENAによる最大20Gbpsのネットワーク帯域幅をサポートします。 R4インスタンスには以下の特徴があります。 インテル Xeon E5-2686 v4 “Broadwell” プロセッサ（2.3GHz） DDR4メモリ ハードウェア仮想化（HVM）のみ ラインナップは次の通りです。 モデル vCPUs メモリ（GiB） ネットワークパフォーマンス r4.large 2 15.25 最大10 Gigabit r4.xlarge 4 30.5 最大10 Gigabit r4.2xlarge 8 61 最大10 Gigabit r4.4xlarge 16 122 最大10 Gigabit r4.8xlarge 32 244 10 Gigabit r4.16xlarge 64 488 20 Gigabit   R4インスタンスはオンデマンドインスタンスとリザーブドインスタンスの形で、米国東部（バージニア北部）、米国東部（オハイオ）、米国西部（オレゴン）、米国西部（北カリフォルニア）、欧州（アイルランド）、欧州（フランクフルト）、アジアパシフィック（シドニー）、中国（北京）、そしてAWS GovCloud (US) リージョンにおいて利用可能です。詳細はEC2の料金ページをご覧ください。 原文：New – Next Generation […]

移行作業の一環として、オンプレミスにある大量のデータをクラウドに移動することは、本来有るべき姿よりもより困難です。ハイエンドの接続をもってしても、ペタバイトあるいはエクサバイトの映画書庫や、財務記録、衛星画像、インターネット上の科学データを移動するには、何十年もかかることがあります。ビジネス面から見ると、移行後に廃止する予定のデータセンターに新しいネットワークを引いたり、より良い接続を追加したりするには、高額な費用がかかり、正当化することは困難です。 昨年、大規模データ移行対応に向けた1つのステップととしてAWS Import/Export Snowball (AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現を参照)を発表しました。80TBのストレージを備えたこれらのアプライアンスは、多くのお客様のご要望を満たしてきており、今日広く普及しています。 しかしながら、エクサバイトスケールのオンプレミスストレージを所有するお客様が、80TBを見て数学的な計算をすれば、依然として全面的なデータ移行を行うには、沢山のデバイスと頭を抱えたくなるロジスティクスが必要なことがわかります。 AWS Snowmobileの導入 これらのお客様のニーズを満たすために、本日Snowmobileを発表します。このセキュアなデータトラックは、最大100PBのデータを保管し、エクサバイトのデータを数週間でAWSへ転送するのに役立ちます（必要に複数台利用することが可能です）。金融、メディア＆エンターテイメント、科学分野およびその他の産業のお客様のニーズに合うようにデザインされたSnowmobileは、ネットワークにアタッチされ、ローカルのNFSマウントされたボリュームのように見えます。Amazon Simple Storage Service (S3)あるいはAmazon Glacierに保管するデータを書き込むために、現在利用中のバックアップやアーカイブのツールを利用することが可能です。 物理的には、Snowmobileは長さ45フィート、高さ9.6フィート、幅8フィートの耐久性のある耐タンパー性輸送コンテナです。防水性があり、気候調節性があり、既存のデータセンターに隣接するエリアに駐車することができます。それぞれのSnowmobileは350KWの交流電力を消費します。現場に十分な容量がなければ、発電機を手配することも可能です。 セキュリティ面では、Snowmobileは、流通過程の追跡やビデオ監視を含む、複数のレイヤーでの論理的、物理的な保護を組み込んでいます。データは、AWS Key Management Service (KMS)キーによって書き込み前に暗号化されます。各コンテナはセルラーまたは衛星通信を利用したGPSトラッキングが組み込まれており、AWSに戻されます。輸送中に警備車両による護衛を付けることも出来ます。また、オンプレミスにSnowmobileがいる間、専任の警備員を手配することもできます。 各Snowmobileには、複数の40Gbps接続を跨って1Tbpsのデータ転送をサポートする高速スイッチに接続されたネットワークケーブルが含まれています。既存のネットワークがこの転送速度でデータを転送できると仮定すると、約10日間でSnowmobileを満たすことが出来ます。

このブログポストを書く準備をしている間、昨年AWS Import/Export Snowballをローンチした際の記事(AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現)を読み直し、発表以降の全てのアップデートをカタログしてみました。おさらいすると、Snowballは物理的なインテグリティとデータセキュリティを念頭に置いた50TBのデータ転送アプライアンスとして始まりました。1年と少しの間に、キャパシティの増加(80TB), ジョブ管理API, HIPAA対応, HDFS対応, S3アダプタ, 追加のAWSリージョン対応を含む、多くの改善を実施してきました。 これらの改善は全て重要でしたが、アプライアンスの基本的な特性は変わりませんでした。1年と少しを通して、多くのAWSのお客様がオリジナルのSnowballを異なるタイプの物理環境で、多様なマイグレーション、ビッグデータ、ゲノミクス、データ収集ワークロードで稼働させるなかで、我々はこのアプライアンスをもっと機能的にする余地があることを学びました。 多くのお客様は、ネットワーク環境が限られているか存在しない、物理環境が極端な状況で大量のデータ(しばしば数百TB)を生成しています。お客様は、農場、工場、病院、航空機、油井で生成されたデータを収集したいと考えています。店舗フロアのメトリクスからビデオ監視までのIoTデバイスによって収集された情報について、ストレートフォワードを超えたストアアンドフォワードなデータコレクションのモデルに興味があり、データが到着次第、何らかのローカル処理を施すことを可能にしたいと考えています。彼らは、データの到着時にフィルタリング、クリーン化、分析、整理、追跡、要約およびモニタリングをしたがっています。

データセンターやオフィス内のコンピューティングやデータ処理は簡単です。一般的に、良好な接続性と安定した電力供給が得られます。必要に応じてオンプレミスやクラウドベースのストレージにアクセスし、コンピューティングパワーを利用することができます。 しかし、現実の世界では状況が大きく異なります。接続は断続的で、信頼性が低く、速度と規模に制限があり、消費電力が重視され、ストレージの容量と計算能力を最大限に引き出すための限界があります。 多くの関心が高く/潜在的に貴重なデータが収集、処理、実行可能なインテリジェンスに変えられれば、現場に成果が現れます。 このデータは、地球の表面より数マイル下に位置する鉱山や油井、センシティブかつ安全でクリティカルな病院や工場、あるいは別の惑星（ハロー）に置かれているでしょう。 当社のお客様は、AWS Cloudの規模とパワーを使用して、これらの試行条件でローカル処理を行う方法を尋ねています。 第一に、データをローカルで測定、感知、処理するシステムを構築したいと考えています。 そして、彼らは、データに耐えるようにクラウドのようなローカルインテリジェンスをもたらし、互いに依存する調整されたローカルでのアクションを実装したいと考えています。 これを困難にしているのが、利用可能なローカル処理リソースやストレージリソースを活用したいと同時に、専用のセンサーや周辺機器に接続したいと考えていることです。 AWS Greengrassの紹介

(昨日のように思いますが)ちょうど2年前、私は Amazon Aurora を【AWS発表】Amazon Aurora – Amazon RDSに費用対効果の高いMySQL互換のデータベースが登場!! の記事にて紹介しました。この記事では、RDS チームがリレーショナルデータベースモデルを既存の制約にとらわれない新鮮な視点で考え、クラウドに適したリレーショナルデータベースをいかに作ったかを説明しました。 それ以来、私たちがお客様から受けたフィードバックは心温まるものでした。お客様は、MySQL との互換性、高可用性、組み込みの暗号化オプションを愛しています。お客様は、Aurora が、耐障害性、自己修復機能を兼ね備え、10 GB から利用開始でき、事前のプロビジョニングなしに 64 TB までスケール可能なストレージを備えているという事実を頼りにしています。そして、Aurora は 6 つのコピーが 3 つのアベイラビリティーゾーンにわたってレプリケートされ、そのデータを性能や可用性への影響なく、Amazon Simple Storage Service (S3) にバックアップされるということをお客様は把握しています。お客様のシステムがスケールする際には、共通のストレージからデータを読み込む最大 15 個の低レイテンシーリードレプリカを追加できることを把握しています。費用の観点では、Aurora はコンピューティングリソースとストレージのリソースを効率的に使用し、商用データベースと比較して、費用対性能が10倍もよくなることを理解しました。世界規模の商用環境で、どのようにお客様がAurora を使用しているかについては、Amazon Aurora のパートナー紹介とお客様の声 をご覧ください。 もちろん、お客様は常によりよいものを求め、我々もお客様の必要とするものを理解し、それを達成するために最善を尽くします。ここでは、お客様のフィードバックに応えてリリースした最近のいくつかのアップデートを振り返ります。 10月 – ストアードプロシジャーからLambda Functionの呼び出し 10月 – S3からのデータ読み込み 9月 – リーダーエンドポイントが追加されました – 負荷分散と高可用性向上 – 9月 – Parallel Read Ahead, Faster Indexing, NUMA Awareness 7月 – MySQLバックアップからクラスタを作成可能になりました 6月 […]

部品から複雑なシステム(家、コンピューター、家具)を組み立てるのを好む人がいます。彼らは、計画プロセスを楽しみ、慎重に各部品の調査を行い、望ましい力や適応性のバランスを与える部品を選択します。邪魔にならないに計画することで、彼らは最終品に向けて、部品を組み立てるプロセスを楽しみます。他の人々は、このdo-it-yourself(DIY)が魅力的で価値があると思っていませんし、途中であまりに多くの決定を下す事なく、できるだけ早く結果に到達する事に興味があります。 聞き覚えありませんか？ 私は、このモデルはシステムのアーキテクチャとシステム構築にも同じ様に当てはまると思います。時々、個々のAWSコンポーネント(サーバー、ストレージ、IPアドレスなど)を手動で選ぶ事に時間をかけ、あなた自身でそれらをまとめたいでしょう。別の機会では、事前設定され事前に組み立てられた、システム構築の手間なく、Webアプリケーションを実行する準備が完了しているシステムを必要とします。 Amazon Lightsailの紹介 本日、Amazon Lightsailをローンチします。数回クリックしてメニューから設定を選択し、SSDベースのストレージ、DNS管理、固定IPが事前設定された仮想マシンを起動することができます。好きなオペレーティングシステム(Amazon Linux AMI,Ubuntu)、開発環境(LAMP, LEMP, MEAN,Node.js)やアプリケーション(Drupal,Joomla,Redmine,GitLabなど)を立ち上げることができます。そして、それはデータ転送量の大きな容量を含む月額$5から始まる定額料金です。

この記事を書き始める時に、自分の子供の頃(TVを見てばかり過ごしていました)に戻って、1960年代や1970年代の有名なコンピュータやロボットの声を思い出してみました。たった数分で、HAL-9000、B9 (Lost in Space)、Star Trek Computerのオリジナル、そしてRosie (The Jetsonsより)が頭に浮かびました。当時は、機械的に生成された音声は、正確な音でそっけなく、人間の感情を欠いているものを多くの人が期待していました。 多くの年月を早送りして、現在はコンピュータが生成した音声には多くの優れたアプリケーションとユースケースが存在し、一般的にText-to-SpeechまたはTTSとして知られています。エンターテイメント、ゲーム、公的放送システム、Eラーニング、電話通信、補助アプリやデバイス、そして個人アシスタントはその始まりにすぎません。これらアプリケーションの多くは、接続性はとても良いがローカルの処理能力とストレージはそこそこしかない、モバイル環境にとてもよく合っています。

この画像を見た時に、何が見えますか？ 単純に、動物には見えるでしょう。ペット、犬、またはゴールデンレトリバーに見えるかも知れません。画像とこれらのラベルの連想は脳の中でハードウェアな回線があるわけではありません。代わりに、何百何千もの例を見た後でラベルを学んだのです。いくつかの異なるラベルを処理することで、動物と植物、犬と猫、ゴールデンレトリバーと他の品種を見分けることを学んでいます。