Amazon Web Services ブログ

Amazon Kinesis エージェント用の新しいデータ事前処理機能について同僚の Ray Zhu が説明したゲスト投稿を以下に掲載します。 – Jeff Amazon Kinesis エージェントは、Amazon Kinesis Streams や Amazon Kinesis Firehose にデータを信頼性の高い方法で簡単に送信できるようにする、スタンドアロンの Java ソフトウェアアプリケーションです。エージェントはファイルセットを監視して新しいデータを検出し、Kinesis Streams または Kinesis Firehose に連続的に送信します。ファイルのローテーション、チェックポイント処理、および失敗時の再試行も処理します。また、Amazon CloudWatch もサポートするので、エージェントからのデータフローの入念な監視やトラブルシューティングも行えます。 Kinesis エージェントを使用したデータ事前処理 今回、データ事前処理機能がエージェントに追加され、ユーザーはデータを Kinesis Streams または Kinesis Firehose に送信する前に、適切に書式設定できます。 この投稿の記述時点で、エージェントは次の 3 つの処理オプションをサポートしています。エージェントはオープンソースなので、ユーザーはこれらの処理オプションを開発したり、拡張したりできます。 SINGLELINE – このオプションは、改行文字と、行頭および行末のスペースを削除して、複数行のレコードを単一行のレコードに変換します。 CSVTOJSON – このオプションは、区切り文字で区切られた書式から JSON 書式にレコードを変換します。 LOGTOJSON – このオプションは、一般的に使用されている複数のログ書式を JSON 書式に変換します。現在サポートされているログ書式は、Apache Common Log、Apache Combined […]

AWS Elastic Beanstalk を利用してアプリケーションコードをデプロイする際に、immutable, rolling with additional batch という 2つの新たなデプロイメントポリシーを利用可能になりました。これは、現在 Elastic Beanstalk がサポートしている2つの既存のデプロイメントポリシー(rolling, all at once) に追加されるものです。アプリケーションを更新する際に、これらの4つのポリシーから、1つ選択できます。 これらの 4つのデプロイメントポリシーに加えて、 Elastic Beanstalk では、 DNS ベースの Blue/Green アップデートも利用できます。 Elastic Beanstalk 上のアプリケーションや環境設定を更新する際に、 新たなデプロイメントポリシーである immutable を利用できます。このポリシーは、ダウンタイムを細小にしたり、デプロイメントの失敗によるリスクを小さくしたい商用環境でのアップデートに非常に向いています。このポリシーを利用することによって、デプロイメントの失敗による影響を1つのインスタンスに限定したり、更新中にあなたのアプリケーションがフルキャパシティでトラフィックをさばいたりすることが可能になります。このポリシーでは、新たに作成される 一台のAmazon EC2 インスタンスにコードをデプロイし、新しいバージョンを実行する新規インスタンス群の全台が起動される前に、ヘルスチェックに通るか確認します。ひとたび、新しいアプリケーションバージョンを実行する新規インスタンス群が起動されると、古いインスタンス群は終了されます。 また、アプリケーションを更新する際に、新たなデプロイメントポリシーである rolling with additional batch を利用できます。このポリシーを利用することによって、デプロイメントの失敗による影響を単一バッチに限定したり、更新中にあなたのアプリケーションがフルキャパシティでトラフィックをさばいたりすることが可能になります。このポリシーでは、既存のインスタンス群からなる各バッチに更新を展開する前に、新規に作成される EC2 インスタンスからなるバッチにコードをデプロイします。デプロイメントの終わりに、古いアプリケーションバージョンを実行する最後のバッチを終了します。例えば、もしあなたが、 あなたのアプリケーションを実行する 9台の EC2 インスタンスを持っていて、1/3 ずつ更新するように選択した場合、本ポリシーにより、まずはじめに3台の新バージョンを実行する新規インスタンスが作成されます。新規インスタンス群(バッチ)がヘルスチェックに成功すると、 Elastic Beanstalk は、古いインスタンスのうちの6台を、2回にわけて連続で更新していきます。古いバージョンを実行する残りの3台を終了します。 加えて、Elastic Beanstalk でサポートされる全ての Linux プラットフォームが、 2016.03 […]

本日より、Amazon RDS for PostgreSQLでバージョン9.5のサポートを開始しました。このバージョンではUPSERTやRow Level Security (RLS)、Big Data capabilitiesなど多くの新機能を含んでいます。また、新しいメジャーバージョンに加えて、多くの機能向上やfixを含んだ9.4.7や9.3.12といった新しいマイナーバージョンもサポートしました。。 PostgreSQL 9.5 (マイナーバージョンは9.5.2) は以下の様な新機能を含んでいます: UPSERT: “INSERT, ON CONFLICT UPDATE”を簡単に実行可能です。この機能では行へのINSERTやUPDATEを同時に扱う事が可能で、同時に実行されるデータの衝突を扱うことが可能になり、アプリケーションの開発もシンプルに行えます Row Level Security (RLS): RLSは行や列レベルでデータへのアクセスコントロールを行うことが可能になります。この機能により、セキュアに扱わなければならないデータのコントロールを厳格に行なえます Big Data features: PostgreSQL 9.5はBig Dataシステムと連携出来る多くの新機能を含んでいます。例として、BRIN Indexingは小さいながらも効果的なインデクシングを “naturally ordered”テーブルに行えます。”abbreviated keys”アルゴリズムを用いたfaster sortsはtextやNUMERICフィールドのソートを高速に行います。CUBE, ROLLUP や GROUPING SETSはTableauなどのOLAPツールと連携して複数のレベルのサマリーを用いたレポートを可能にします。IMPORT FOREIGN SCHEMAやJOINプッシュダウンを用いたForeign Data Wrappers (FDWs) は外部データベースとのクエリの連携を簡単・効率的に行うことが出来ます。TABLESAMPLEは高コストのソートを避け、大規模テーブルの統計的サンプルを生成可能です。 PostgreSQL 9.5.2データベースインスタンスは、AWS Management Consoleから数クリックで起動可能です(ドキュメント)。また、既に起動しているPostgreSQL 9.4インスタンスから、バージョン9.5.2へメジャーバージョンアップグレードも可能です。もし、バージョン9.3から9.5へアップグレードを行う場合は、point-and-clickアップグレードを2回行う必要があります。それぞれのアップグレード操作中はデータベースインスタンスに短い時間ですが、接続できなくなります。データベースのアップグレードの詳細はこちらをご覧ください。 PostgreSQL 9.5.2に加えて、PostgreSQL 9.4.7 と 9.3.12のサポートも開始しました。これらのバージョンには、こちらのリストにあるようないくつかの修正や機能向上が含まれています。3つの新バージョンについての詳細は、それぞれのバージョンのリリースノートをご覧ください。 Release Notes for […]

AWS プラットフォームの更新と、受講者から寄せられたフィードバックを反映させるため、技術コースの質を継続的に向上させています。最も人気のある AWS Technical Essentials と Architecting on AWS の 2 つの基礎トレーニングコースが大幅に更新され、AWS を使用したソリューションの作成を始めるための実用的な知識、および高度な学習への道を提供できるように改善されました。 AWS Technical Essentials – 最新情報 このコースは、ソリューションアーキテクト、開発者、SysOps アドミニストレーター、および AWS の利用を始めたい方向けの 1 日間のコースです。クラウドコンピューティング、ストレージ、およびネットワーキングの基礎について学習できます。同じ内容が AWSome Day でも使用されています。AWS の 18 のサービスが、更新されたコースで取り上げられるようになりましたが、特に 10 のコアとなるサービス (EC2、S3、EBS、IAM、Auto Scaling、ELB、RDS、DynamoDB、Auto Scaling、CloudWatch) の詳細を学習できます。新しい包括的なハンズオンラボ演習、およびインストラクター主導のデモにより、実際に使用するソリューションを AWS プラットフォームで作成し始める方法を学習できます。更新されたコースでは、Architecting on AWS や Systems Operations on AWS といった上級コースへ進んで、受講生が学習を継続できるようになっています。詳細についてはコースの説明をご覧ください。 Architecting on AWS – 最新情報 このコースは、ソリューションアーキテクト、およびソリューションデザインエンジニア向けの 3 日間のコースです。このコースでは、AWS Technical […]

AWS Config Ruleをご利用頂くと、ルールを作成することで、AWS Configにより記録されたAWSリソースの構成確認を継続的に実施することができ、リソースがガイドラインに準拠していない際は通知をすることが可能です。ルールのダッシュボードを使用することで、全体的にコンプライアントな状況かどうかを追跡し、コンプライアントでない状況につながった特定リソースの構成変更を特定するトラブルシューティングにご利用頂けます。 本日、AWS Config Rulesが新しく4つのリージョンで利用可能になりました。：US East (バージニア)に加え、 US West (オレゴン)、EU (アイルランド)、 EU (フランクフルト)、 Asia Pacific (東京)でご利用頂けます。 詳細情報 1. AWSマネジメントコンソールからAWS Configの利用開始 2. AWS Configのリージョンとエンドポイント 3. AWS Configフォーラム 翻訳は酒徳が担当しました。本文はこちら。

LiveOps Cloud は広大な未開発市場を開こうとしています。LiveOps Cloud は、コンタクトセンター業界におけるソリューションプロバイダとして長年サービスを提供してきました。最近では、完全に AWS を使用して構築され、運用されている、CxEngage という新しい Contact Center-as-a-service プラットフォームを立ち上げました。LiveOps Cloud のエンジニアリング CTO 兼 SVP、Jeff Thompson 氏にこのすばらしい最新のサービスを開始するに至った経緯について尋ねてみました。 – Jeff; LiveOps Cloud は創立 16 年の企業です。当社は LiveOps Inc から生まれた新しい企業で、母体会社のコンタクトセンターソリューション提供における長い歴史を、クラウドの利便性、パフォーマンス、低コストが重視される新しい時代へと引き継いでいくことが我々のミッションです。 コンタクトセンタービジネスは広大で、世界中に少なく見積もっても 1,500 万人もの雇用を生み出す、数十億ドル規模からなる市場です。しかしながら、この業界はクラウドコンピューティングとしては後発で、クラウドインフラストラクチャとツールに関する技能を持つのは、コンタクトセンター就労人口のわずか 10% 程度です。特に銀行や小売業などの伝統的業種では、有効期限が近づいているオンプレミスのレガシーコールセンターシステムが多数存在しています。これらのシステムは、コスト削減、パフォーマンスの向上と高度化、新興市場への対応といった、企業が抱える現在の市場ニーズを満たすには不適当です。 クラウドベークオフ 当社では、100% クラウドで稼働する contact center-as-a-service (CCaaS) を作成を計画していました。システムは常時稼働し、安全で、マルチテナントで、すぐにスケーリングできるプラットフォームなので、いつでもどこでもお客様に特化したサービスを提供できます。当社の CCaaS はまさに “ホッケースティック” のような高成長パターンを遂げることを期待しています。それを実現するために、どんなプラットフォームが最も効果的かを注意深く考慮する必要がありました。 ベークオフ前に、いくつかの代替案を探しました。Azure、Rackspace、Google、および AWS はクラウド内のプロバイダミックスに入っており、コロケーション設備の使用を考えました。しかし、最後にあげたサービスこそ、まず向かうべきところでした。コロケーション外で運用するプラットフォームでは、新しいプラットフォームに組み込む必要のある、冗長化とスケーラビリティを実現できないことを経験を通して知っていました。当社は Microsoft 販売店ではなく、プラットフォームの作成に Windows 以外の多くのツールと Linux を多く使用するため、Azure は除外しました。Rackspace の […]

Amazon Route 53の3つの新しいヘルスチェック機能を発表できることに興奮しています。 メトリクスベースのヘルスチェックにより、Amazon CloudWatchのメトリクスを基にDNSフェイルオーバーが実行できるようになりました。これには、AWSで提供されるメトリクスと、アプリケーションのカスタムメトリクスが含まれます。Amazon Route 53でメトリクスベースのヘルスチェックを作成すると、関連付けられたCloudWatchメトリクスが”ALARM”の状態になると、ヘルスチェックが”Unhealty”なステータスになります。 メトリクスベースのヘルスチェックは、VPC内でプライベートIPアドレスのみを持つEC2インスタンスなど、標準のAmazon Route 53ヘルスチェックでは到達できないエンドポイントのDNSフェイルオーバーを実行する場合にも有用です。Amazon Route 53の計算されたヘルスチェック機能を利用して、メトリクスベースのヘルスチェックと標準のヘルスチェック（標準のヘルスチェックでは、世界中のヘルスチェッカーからエンドポイントへリクエストを送り、健全性を確認します）の結果をあわせて、より洗練されたフェイルオーバーシナリオを実現することもできます。例えば、パブリックのWebページが利用できないか、CPUのLoad Averageやネットワークin/out、ディスクのReadからサーバーが正常でないと判断される場合に、エンドポイントを切り離すような設定ができます。 プライベートホストゾーンのDNSフェイルオーバーでは、プライベートDNSホストゾーンでホストされているリソースレコードセットとヘルスチェックを関連付けて、VPN内の複数のエンドポイントのフェイルオーバーを実行できます。メトリクスベースのヘルスチェックと組み合わせると、プライベートIPアドレスのみを持ち、標準のAmazon Route 53ヘルスチェクで到達できないエンドポイントに対するDNSフェイルオーバーを設定できます。このリリースでは、プライベートホストゾーン内でのエイリアスレコードの作成も、完全にサポートされています。 設定可能なヘルスチェックロケーションにより、どのリージョンからヘルスチェックを行うかを選択できるようになりました。エンドユーザーが集中するリージョンからのヘルスチェック結果に基づいて健全性確認とフェイルオーバーを行いたいお客様は、最もエンドユーザーにとって重要なロケーションからのみヘルスチェックを実施することが可能になりました。 Amazon Route 53のヘルスチェックとDNSフェイルオーバーを利用するのは簡単です。さらに学習したい場合には、詳細や料金についてAmazon Route 53の製品ページか、開発者ガイドを参照してください。 （翻訳はSA国政が担当しました。原文はこちら。）

Jessica Beegle 氏と Christopher Crosbie 氏による刺激を与える経験談。 – Jeff; がん研究の科学は、新たな学術分野を取り込みながら進化を続けています。例えば、化学療法、増幅放射線治療、および発がん性物質特定のための疫学分野の進歩がこれに含まれます。また病理学によって、病気の様々な症状に対する理解が深まってきています。 コンピュータサイエンスの原則は、がんについての理解と治療方法の探求において、比較的新しい切り口となっています。コンピュータサイエンスに求められているのは、特定の DNA の差異が、がんとどのように関連しているかを解読し、それぞれの患者に対してどのような治療法が最も効果的かを解明することです。ゲノミクスと呼ばれる DNA 研究には、非常に巨大なデータ処理能力が求められるため、この種のタスクを処理するにはコンピュータサイエンスが最適でしょう。実際、科学者たちは、ゲノミクスによって 2025 年までに天文学、YouTube、Twitter を上回るデジタル情報が生成されることを予言しています。 現在はこのようなデータの収集、分析、視覚化のために開発されるソフトウェアの多くが、異なる IT システム、研究施設、ヘルスケア機関、および政府機関といった組織の中で生み出されています。これらの隔たりによって、科学上の発見のスピードが著しく阻害されています。 シアトルにある Fred Hutchinson がん研究センターの研究者たちは、この状況を変えようとしてきました。Fred Hutchinson がん研究センターのヒト生物学部門、および固形腫瘍トランスレーショナルリサーチの理事 Eric Holland 医学博士が率いる研究チームは、分子および医療データの分析ツールの使用と開発を目的とした、Oncoscape と呼ばれるオープンソースウェブアプリケーションを開発しました。Oncoscape により、研究者たちは新たなパターンや関連性を発見できるようになり、さらなるがん研究の発展が可能になりました。 コンピュータサイエンスの現在の技術を活用するため、Oncoscape チームは Github および AWS を採用しました。それにより、Github が提供するコード共有プラットフォームと、AWS が提供するクラウドコンピューティング機能を組み合わせ、相乗効果をもたらすことが期待されました。Holland 博士は次のように語っています。 Oncoscape をクラウドにホスティングすることにより、ソフトウェアの変更および再デプロイが容易になり、開発チームは研究コミュニティのニーズにすばやく対応できます。世界のどこからでもサイトに安全にアクセスできることを知っているので、データのビジュアル化で何が可能になるか、がん研究で協働するためどのように共通のプラットフォームを活用できるかを共同研究者たちに示すことができます。 Oncoscape の AWS デプロイを支援した IT ソリューションアーキテクトの Robert McDermott 氏は、「AWS はプロジェクトのニーズにすばやく対応する上で非常に有能で信頼でき、柔軟性に富むプラットフォームだ」と述べています。さらに、成熟度、信頼性、サービスの幅広さ、およびセキュリティが、AWS を使用する強力な理由となったと述べています。 Oncoscape は […]

先週 AWS の世界で起こった出来事を振り返ってみましょう。 月曜日 4 月 4 日 EC2 Run Command 用の 2 つの新しい事前定義コマンドとオープンソースエージェントを発表しました。 Spark 1.6.1、更新された Hadoop と Presto、および S3 SSE-KMS のサポートが利用できる Amazon EMR のリリース 4.5.0 を発表しました。 AWS Compute Blog が、CloudWatch および Lambda の使用による Route 53 用の動的 DNS の構築についての記事を掲載しました。 AWSome Blog が、Amazon Kinesis Streams についての記事を掲載しました。 BotMetric が AWS インフラストラクチャを美しく視覚化する方法を掲載しました。 CloudCheckr が、AWS のセキュリティをシンプルにする方法について、パート 1、パート 2、パート 3 […]

Amazon Redshiftにデータを読み込む際（COPY）やエクスポートする際（UNLOAD)、その読み書き先（S3)に対してのアクセスを実現するため、これまではCOPYやUNLOADコマンドの引数にIAMのキー情報（アクセスクリデンシャル）を付与する必要がありました。 これが拡張され、Redshiftクラスターに対してIAMロールを付与して、その付与したロールでCOPY、UNLOADができるようになりました。以下がリリースノートの翻訳です。 １つ、もしくは複数のAWS Identity and Access Management (IAM)ロールをRedshiftクラスターにアサインし、データロードやエクスポート時に使用することが可能になりました。Redshiftクラスターはデータロード時（COPYコマンド）やエクスポート時（UNLOADコマンド）に指定されたIAMロールを使用し、結果としてRedshiftから各種AWSサービス（S3等）への操作時に確実にクリデンシャルを利用することになります。IAMロールを使うことで、SQLにAWSアクセスクリデンシャルを埋め込む必要がなくなり、クラスターのセキュリティを向上し、データのロードやエクスポートをシンプルにします。 Redshiftクラスターは長い時間の（COPYやLOAD)オペレーション時には、定期的にIAMロールを再アシューム(Re-assume)します。つまり、暗号化キーを使ったCOPY、UNLOADする場合においてもコマンドは変更されていません。   リリースノート（原文）：https://aws.amazon.com/about-aws/whats-new/2016/03/amazon-redshift-now-supports-using-iam-roles-with-copy-and-unload-commands/ 翻訳：下佐粉　昭（@simosako）