Amazon Web Services ブログ

Category: General

AWS Batch – AWSでバッチ処理ジョブを実行する

私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な(当時の)IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語(JCL) 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT部門が開始した仕事は優先順位4で実行され、私たちは8で実行されました。彼らの仕事は私たちよりも優先されました。優先順位の高いメカニズムの目標は、高価なハードウェアを可能な限り完全に使用することでした。学生の生産性は、リソースの効率的な使用に引き続き二次的でした。 今日のバッチコンピューティング 今日、バッチ・コンピューティングは依然として重要です!より簡単にコンピューティングパワーにアクセスすることで、映画スタジオ、科学者、研究者、数値アナリストなどがこれまで以上に多くのコンピューティングサイクルを楽しめるようになりました。多くの組織では、オープンソースまたは商用ジョブスケジューラを搭載した社内の計算クラスタを構築することによって、これらのニーズに対応しようとしています。三度、優先順位が立ちはだかり、依然として、決して十分な計算能力がないようです。クラスタは、構築・運用するのに費用がかかり、同一の、ほぼ差異のないプロセッサの大きな配列で構成され、ビンテージとまったく同じ仕様に構築されることが多い。 クラウドコンピューティングは、さまざまな種類のEC2インスタンスへの迅速なアクセス、ニーズの変化に対応して拡大縮小する機能、および、必要なキャパシティに対して入札を行い、可能な限り経済的にそれを得られる価格モデルによって、バッチコンピューティングモデルをより良いものに変える可能性を秘めています。これまで、多くのAWSのお客様は、EC2インスタンス、コンテナ、通知、CloudWatchモニタリングなどを使用して独自のバッチ処理システムを構築してきました。これは非常に一般的なAWSユースケースであることが判明し、バッチ処理システムの構築を達成することをさらに容易にすることに決めました。 AWS Batchの紹介 今日、完全に管理されたバッチ機能の新しいセットについてお話したいと思います。 AWS Batchにより、バッチ管理者、開発者、およびユーザーは、クラスタのプロビジョニング、管理、監視、またはメンテナンスを行うことなく、クラウドのパワーにアクセスできます。購入するものはなく、インストールするソフトウェアはありません。 AWS Batchは、特に違いを生まない重い作業を処理し、EC2インスタンスの動的にスケーリングされたセットでコンテナイメージとアプリケーションを実行できるようにします。 Amazon EC2とEC2 Spotによって提供される弾力性と選択性を活かした並列ジョブを大量に実行することができ、効率的で使いやすく、クラウド向けに設計されており、他のAWSサービスAmazon S3、DynamoDB、およびSNSが含まれます。

Read More

AWS Personal Health Dashboard – 関係するリソースの管理

AWS Service Heath Dashboardをリリースしたのは2008年になります。当時はAWS Cloudは比較的新しく、各サービスの利用状態を確認するのにいい手段でした(現在のService Health Dashboardと比べると、この8年でAWSがどのくらい成長した化が見て取れます)。 現在のダッシュボードは、AWSサービス毎の状態を俯瞰的に表示するため、個別最適されたダッシュボードというわけれではありませんでした。そのため、お客様と会話をすると、全体的なダッシュボードというよりは、お客様の利用サービス、リソースに合わせた状態管理を希望されることもありました。 新サービス Personal Health Dashboard 関心のあるサービスについてより多くの情報を提供できるよう、AWS Personal Health Dashboardをリリースしました。サービス名の通り、このダッシュボードは利用しているAWSサービスのパフォーマンス、可用性に関した個別のビューのみならず、サービスの状態に変化が会った際にはアラートを自動的に発行します。利用中のサービスに関して一元的に監視するためにデザインされており、影響を及ぼすであろう問題に関して、より詳細に可視化することが可能です。ダッシュボードに関係する情報が登録されると、コンソールから通知アイコンを確認出来ます。 “issues”をクリックすると、影響するであろうAWSインフラストラクチャが確認できます(これらのデータはすべてテストデータです)。 アイテムをクリックするとその問題を修復するためのガイダンスを含むより詳細の情報を確認することができます。 また事前に予定されているアクティビティを確認することで注意喚起をうながすこともできます。 それ以外にも、興味のあるサービスについての情報を確認することもできます。 またCloudWatch Eventsと連携することで、アラート対応でしたり、スケジュールイベント対応を自動化させることも可能です。例えば、自主的にメンテナンスイベント対応が必要なEC2インスタンスを移動することで、メンテナンスイベント通知対応が可能になります。 ご自身のアカウントがビジネスサポート、もしくはエンタープライズサポートに加入頂いてる場合、この新しいAWS Health APIをご利用頂けます。このAPIを使い、Personal HealthDashboardの情報をを既存のITマネジメントツールとの連携されることがが可能になります。 – Jeff(翻訳はSA酒徳が担当しました。原文はこちら)

Read More

Blox – Amazon EC2 Container Serviceのための新しいオープンソーススケジューラ

2014年、私はについてお話して、Dockerベースのアプリケーションをビルドし実行し、そしてスケールさせることを如何に手助けしてくれるかをご紹介しました。そこでは3つのスケジューリングの選択肢(自動、手動、そしてカスタム)について話をし、スケジューラがインスタンスにどの様にタスクを割り当てるかを説明しました。 その時書いた記事では、カスタムスケジューラは現在のクラスタの状態を見るためにListContainerInstancesとDescribeContainerInstancesを定期的に呼び出す必要があると記しました。数週前、のサポートを追加することで各クラスタの状態を追跡する処理を簡素化しました。(これについて詳しくは、Amazon ECSイベントストリームで、クラスタの状態を監視をご覧下さい) この新しいイベントストリームが出たので、我々はカスタムスケジューラの作成をもっと簡単にしたいと思います。 本日、我々はBloxを開始します。この新しいオープンソースプロジェクトには、イベントストリームを処理してクラスタの状態を追跡し、状態をREST APIで利用可能にするサービスが含まれています。また、クラスタ内の各コンテナインスタンスにタスクを1つだけ実行するデーモンスケジューラも含まれています。このコンテナを1つずつ配置するモデルで、ログ処理やメトリクス収集のワークロードをサポートします。 こちらが”ブロック図”です (ダジャレじゃありません ※訳注 BloxとBlockをかけています): これはオープンソースのプロジェクトです; プルリクエストや機能要望を楽しみにしています。詳しい情報は、Amazon EC2 Container Serviceより、Bloxをご紹介をご覧下さい。 — Jeff; 原文: Blox – New Open Source Scheduler for Amazon EC2 Container Service (翻訳: SA岩永)

Read More

AWS CodeBuild ― フルマネージドのビルドサービス

開発者は通常、ソースコードの変更に対する継続的インテグレーションのビルドとテストを実行するために、共有のビルドサーバを構築し運用しなければいけません。継続的インテグレーションを運用するのは面倒なことなので、多くの開発者はそれを避けてローカルマシンでビルドを実行します。これによって、ある開発者の環境では動作するコードが最終的な本番環境ビルドで動作しないという状況が、しばしば引き起こされます。 多くの開発チームは、CI/CD(継続的インテグレーション / 継続的デプロイ)パイプラインの構成要素としてビルドファームを構築します。ビルドファームの構築と運用はコストが高く、また独特のスキルが求められます。普段はビルドファームはあまり使われていませんが、修羅場の時には利用率は100%に達し、未処理のビルドリクエストが増えてしまいます。

Read More

AWS X-Ray – 分散アプリケーションの内部を見る

大統領自由勲章の受賞者であるGrace Hopperが、プログラムからエラーを特定し取り除く作業にデバッグという言葉を与えた最初の人だと思います。 実際にコンピュータから本物のバグ(虫)を見つけたことはないですが、働き初めた頃にアセンブラ言語のデバッグに膨大な時間を費やしました。その当時は、デバッグとはコードを1ステップずつ実行し、各プロセッサのレジスタの中身をステップの前後で比較し、自分の頭の中のモデルと実際に起こっていることが一致しているかを検証するというものでした。これはとてもうんざりするようなものでしたが、バグが残る余地はほとんどなく、自分のコードがどの様に動くかの深い理解も得られるものでもありました。その後、1ステップずつの実行はなくなり、デバック出力(こんにちは、stderr)に取って代わり、それからログファイルとログ分析ツールへと変わっていきました。 最近の過去数十年で、複雑な分散システムが登場してきたことで、デバッグは変化して新しい意味を持つようになりました。単体テストが個別の関数とモジュールが期待通り動作することを保証しているので、難易度の高いポイントは大規模な中での動作のパターンを見ることに変わっています。クラウドコンピューティング、マイクロサービス、そして非同期な通知ベースのアーキテクチャの組合せによって、システムは数百から数千もの可変な箇所を持つようになりました。こうした複雑なシステムでのパフォーマンス課題を特定し対応していく難しさは増していて、個別サービスレベルの観測情報を集約して意味のある上位の結果にすることに難しさがあります。開発者にとって、EC2インスタンス、ECSコンテナ、マイクロサービス、AWSのデータベースやメッセージサービスを辿って”筋道を追う”ことは簡単ではありません。 これを何とかしましょう!

Read More

改善されたAWS IoT Buttonデベロッパーエクスペリエンスの発表

5月には、正式にAWS IoT Buttonを開始し、開発者コミュニティから提供されたボタンのサポートに圧倒されました。 私たちは皆様の提案に耳を傾け、AWS IoT Buttonの改良された開発者体験を発表することを喜ばしく思います。 今日から、iOSとAndroid用の新しいモバイルアプリでAWS IoT Buttonを設定できます。 モバイルアプリケーションは、ボタンの登録、設定、およびプログラミングのプロセスを簡素化します。 あらかじめ設定されたAWS Lambdaのブループリントを使用して、このボタンをクリックするとSMSや電子メールを送信するボタンを素早くプログラムすることができます。 または、あなたが選択した機能のための独自のLambdaコードを書くことができます。 さらに、新しいバージョンのAWS IoT Buttonは、バッテリー寿命を2倍に設計しました。 amazon.comで今予約注文することができます。 それまで待ちたくない場合は、元のAWS IoTボタンは引き続き使用でき、AWSアカウントごとに20ドルのAWSクレジットを提供します。 AWS IoT Buttonの詳細については、製品ページをご覧ください。   原文: Announcing an Improved AWS IoT Button Developer Experience (翻訳: SA福井)

Read More

AWS Snowmobile – エクサバイトのデータを数週間でクラウドに移動

移行作業の一環として、オンプレミスにある大量のデータをクラウドに移動することは、本来有るべき姿よりもより困難です。ハイエンドの接続をもってしても、ペタバイトあるいはエクサバイトの映画書庫や、財務記録、衛星画像、インターネット上の科学データを移動するには、何十年もかかることがあります。ビジネス面から見ると、移行後に廃止する予定のデータセンターに新しいネットワークを引いたり、より良い接続を追加したりするには、高額な費用がかかり、正当化することは困難です。 昨年、大規模データ移行対応に向けた1つのステップととして (AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現を参照)を発表しました。80TBのストレージを備えたこれらのアプライアンスは、多くのお客様のご要望を満たしてきており、今日広く普及しています。 しかしながら、エクサバイトスケールのオンプレミスストレージを所有するお客様が、80TBを見て数学的な計算をすれば、依然として全面的なデータ移行を行うには、沢山のデバイスと頭を抱えたくなるロジスティクスが必要なことがわかります。 AWS Snowmobileの導入 これらのお客様のニーズを満たすために、本日Snowmobileを発表します。このセキュアなデータトラックは、最大100PBのデータを保管し、エクサバイトのデータを数週間でAWSへ転送するのに役立ちます(必要に複数台利用することが可能です)。金融、メディア&エンターテイメント、科学分野およびその他の産業のお客様のニーズに合うようにデザインされたSnowmobileは、ネットワークにアタッチされ、ローカルのNFSマウントされたボリュームのように見えます。あるいはに保管するデータを書き込むために、現在利用中のバックアップやアーカイブのツールを利用することが可能です。 物理的には、Snowmobileは長さ45フィート、高さ9.6フィート、幅8フィートの耐久性のある耐タンパー性輸送コンテナです。防水性があり、気候調節性があり、既存のデータセンターに隣接するエリアに駐車することができます。それぞれのSnowmobileは350KWの交流電力を消費します。現場に十分な容量がなければ、発電機を手配することも可能です。 セキュリティ面では、Snowmobileは、流通過程の追跡やビデオ監視を含む、複数のレイヤーでの論理的、物理的な保護を組み込んでいます。データは、キーによって書き込み前に暗号化されます。各コンテナはセルラーまたは衛星通信を利用したGPSトラッキングが組み込まれており、AWSに戻されます。輸送中に警備車両による護衛を付けることも出来ます。また、オンプレミスにSnowmobileがいる間、専任の警備員を手配することもできます。 各Snowmobileには、複数の40Gbps接続を跨って1Tbpsのデータ転送をサポートする高速スイッチに接続されたネットワークケーブルが含まれています。既存のネットワークがこの転送速度でデータを転送できると仮定すると、約10日間でSnowmobileを満たすことが出来ます。

Read More

AWS Snowball Edge – より多くのストレージ, ローカルエンドポイント, Lambdaファンクション

このブログポストを書く準備をしている間、昨年をローンチした際の記事(AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現)を読み直し、発表以降の全てのアップデートをカタログしてみました。おさらいすると、Snowballは物理的なインテグリティとデータセキュリティを念頭に置いた50TBのデータ転送アプライアンスとして始まりました。1年と少しの間に、キャパシティの増加(80TB), ジョブ管理API, HIPAA対応, HDFS対応, S3アダプタ, 追加のAWSリージョン対応を含む、多くの改善を実施してきました。 これらの改善は全て重要でしたが、アプライアンスの基本的な特性は変わりませんでした。1年と少しを通して、多くのAWSのお客様がオリジナルのSnowballを異なるタイプの物理環境で、多様なマイグレーション、ビッグデータ、ゲノミクス、データ収集ワークロードで稼働させるなかで、我々はこのアプライアンスをもっと機能的にする余地があることを学びました。 多くのお客様は、ネットワーク環境が限られているか存在しない、物理環境が極端な状況で大量のデータ(しばしば数百TB)を生成しています。お客様は、農場、工場、病院、航空機、油井で生成されたデータを収集したいと考えています。店舗フロアのメトリクスからビデオ監視までのIoTデバイスによって収集された情報について、ストレートフォワードを超えたストアアンドフォワードなデータコレクションのモデルに興味があり、データが到着次第、何らかのローカル処理を施すことを可能にしたいと考えています。彼らは、データの到着時にフィルタリング、クリーン化、分析、整理、追跡、要約およびモニタリングをしたがっています。

Read More

Amazon Lightsail – AWSの力、VPSの簡単さ

部品から複雑なシステム(家、コンピューター、家具)を組み立てるのを好む人がいます。彼らは、計画プロセスを楽しみ、慎重に各部品の調査を行い、望ましい力や適応性のバランスを与える部品を選択します。邪魔にならないに計画することで、彼らは最終品に向けて、部品を組み立てるプロセスを楽しみます。他の人々は、このdo-it-yourself(DIY)が魅力的で価値があると思っていませんし、途中であまりに多くの決定を下す事なく、できるだけ早く結果に到達する事に興味があります。 聞き覚えありませんか? 私は、このモデルはシステムのアーキテクチャとシステム構築にも同じ様に当てはまると思います。時々、個々のAWSコンポーネント(サーバー、ストレージ、IPアドレスなど)を手動で選ぶ事に時間をかけ、あなた自身でそれらをまとめたいでしょう。別の機会では、事前設定され事前に組み立てられた、システム構築の手間なく、Webアプリケーションを実行する準備が完了しているシステムを必要とします。 Amazon Lightsailの紹介 本日、Amazon Lightsailをローンチします。数回クリックしてメニューから設定を選択し、SSDベースのストレージ、DNS管理、固定IPが事前設定された仮想マシンを起動することができます。好きなオペレーティングシステム(Amazon Linux AMI,Ubuntu)、開発環境(LAMP, LEMP, MEAN,Node.js)やアプリケーション(Drupal,Joomla,Redmine,GitLabなど)を立ち上げることができます。そして、それはデータ転送量の大きな容量を含む月額$5から始まる定額料金です。

Read More

Amazon Polly – 文章から音声へ、47の声と24の言語

この記事を書き始める時に、自分の子供の頃(TVを見てばかり過ごしていました)に戻って、1960年代や1970年代の有名なコンピュータやロボットの声を思い出してみました。たった数分で、HAL-9000、B9 (Lost in Space)、Star Trek Computerのオリジナル、そしてRosie (The Jetsonsより)が頭に浮かびました。当時は、機械的に生成された音声は、正確な音でそっけなく、人間の感情を欠いているものを多くの人が期待していました。 多くの年月を早送りして、現在はコンピュータが生成した音声には多くの優れたアプリケーションとユースケースが存在し、一般的にText-to-SpeechまたはTTSとして知られています。エンターテイメント、ゲーム、公的放送システム、Eラーニング、電話通信、補助アプリやデバイス、そして個人アシスタントはその始まりにすぎません。これらアプリケーションの多くは、接続性はとても良いがローカルの処理能力とストレージはそこそこしかない、モバイル環境にとてもよく合っています。

Read More