Amazon Web Services ブログ

Amazon ECSでAuto Scaling

Amazon EC2 Container Service (Amazon ECS)のClusterを自動的にスケールさせる方法はありましたが、本日Auto ScalingとAmazon CloudWatchのAlarmに追加された新機能により、ECSのServiceにScaling Policyを利用することができます。ServiceのAuto Scalingにより、需要が高まった時にスケールアウトさせて高い可用性を実現したり、需要が下がったらServiceとClusterをスケールインさせることでコストを最適化するのを、全て自動でリアルタイムに行うことができます。 この記事では、Clusterを需要に合わせて自動的にリサイズさせつつ、この新しい機能がどうやって利用できるかをお見せします。 Service Auto Scalingの概要 すぐに利用できるECS Serviceのスケーリング機能はずっと一番要望を受けていて、ついに今日この機能をアナウンスでき嬉しいです。自動でスケールするServiceの作成手順はとても簡単で、ECSコンソールやCLI、SDKでもサポートされています。希望するTaskの数とその最小・最大数を選択し、1つ以上のScaling Policyを作成すると、後はService Auto Scalingが面倒を見てくれます。Service SchedulerはAvailability Zoneを意識してくれるので、ECSのTaskを複数のZoneに渡って分散するように心配する必要もありません。 それに加えて、ECS Taskを複数AZ Cluster上で実行することも非常に簡単です。ECS ClusterのAuto Scaling Groupが、複数Zoneに渡る可用性を管理してくれるので、必要とされる回復力や信頼性を持つことができ、ECSがTaskのZone間の分散を管理してくれるので、皆さんはビジネスロジックに集中することができます。 利点: 来ているアプリケーションの負荷にキャパシティを対応させる: ECS ServiceとECS ClusterのAuto Scaling Groupを両方にScaling Policyを使います。必要に応じて、Cluster InstanceとService Taskをスケールアウトさせ、需要が落ち着いたら安全にスケールインさせることで、キャパシティの推測ゲームから抜け出せます。これによって、ロングランな環境で低コストな高可用性を実現できます。 複数AZのClusterでECSの基盤に高い可用性を持たせる: Zone障害という可能性から守ることができます。Availability Zoneを考慮しているECS SchedulerはCluster上のTaskを管理し、スケールし、分散してくれるので、アーキテクチャは高い可用性を持ちます。 Service Auto Scalingのデモ この記事では、これらの機能を使い真にスケーラブルで高い可用性を持ったMicroservicesアーキテクチャを作成する手順を辿りたいと思います。このゴールに到達するために、以下の様な手順をお見せします: Auto Scaling Groupで2つ以上のZoneにECS Clusterを作成する。 そのCluster上にECS Serviceを設定し、希望するTaskの数を定義する。 ECS Serviceの前段にElastic Load Balancingのロードバランサを設定する。これが負荷の入り口になります。 […]

Read More

Amazon Auroraでアカウント間でスナップショットを共有頂けるようになりました

Amazon AuroraはMySQL互換で、ハイパフォーマンスなデータベースエンジンです。Auroraはハイエンドデータベース速度や可用性をオープンソースデータベースのコスト効率やシンプルさでご利用頂けます (更に詳細な情報はAmazon Aurora – New Cost-Effective MySQL-Compatible Database Engine for Amazon RDSをご覧ください)。AuroraはAmazon RDSでご利用頂ける、簡単な管理・数クリックでスケール可能、スピード、セキュリティやコスト効率などの幾つかの重要な機能を持っています。 数クリックでAuroraクラスタのバックアップを行うためにスナップショットを作成出来ます。スナップショットを作成後、同じく数クリックでスナップショットからデータベースをリストア可能です。 スナップショット共有 本日、Auroraスナップショットを共有頂けるようになりました。スナップショットは他のAWSアカウントと共有するだけではなく、パブリックに共有も可能です。同一リージョンの他のAWSアカウントで起動しているAuroraスナップショットからデータベースをリストア可能です。 スナップショット共有の主なユースケースをいくつかご紹介します: 環境の分離 – 多くのAWSのお客様が開発、テスト、ステージング、プロダクション環境に個別のAWSアカウントをご利用しています。必要に応じでこれらのアカウント間でスナップショットを共有頂けます。例えば、初期データベースをステージング環境で構築し、スナップショットを作成します、そしてそのスナップショットを本番環境のアカウントに共有し、そのスナップショットから本番データベースを作成します。他にも、本番環境のコードやクエリで何か問題が発生した場合、プロダクション環境のデータベースのスナップショットを作成しテスト環境にデバッグ目的で共有することも可能です。 Partnering – 必要に応じてスナップショットを特定のパートナーに共有出来ます データの共同利用 – もしリサーチプロジェクトを行っているなら、スナップショットを作成しパブリックに共有することが可能です。興味をもった人がそのスナップショットから自分のAuroraデータベースを作成し、皆さんのデータをスタートポイントとして利用出来ます。 スナップショットを共有するために、RDSコンソールからShare Snapshotをクリックします。そして、共有先のAWSアカウントを入力します。(もしくは、パブリック共有のためにPublicを選択します)そして、Addを選択します: 共有出来るスナップショットは、手動作成されたもの、暗号化されていないものを他のAWSアカウントと、パブリックなものを共有可能です。自動取得されたスナップショットと暗号化されたスナップショットは共有出来ません。 共有されたスナップショットは直ぐに他のアカウントで閲覧出来るようになります: パブリックスナップショットも参照出来ます(FilterでAll Public Snapshotsを選択します): 本日からご利用頂けます この機能は本日から直ぐにご利用頂けます。 — Jeff (翻訳は星野が担当しました。原文はこちら)

Read More

I Love My Amazon WorkSpaces!

昨年のはじめに私の同僚、Steve Muellerがオフィスにきてわたしが興味を持ちそうなインターナルのパイロットプログラムについて教えてくれました。彼はAmazonネットワークでAmazon WorkSpacesを動かす準備ができたと言ってウェイティングリストへの登録をオファーしてくれました。もちろん、人柱になるのが好きな人間なので、私はオファーを受けることにしました。 つかいはじめる その後すぐに私は2画面のスクリーンとたくさんのメモリがあるそれなりにちゃんとしたオフィスのデスクトップでWorkSpaces clientを動かしはじめました。そのとき私は勤務時間中にそのデスクトップを使用して出張や在宅勤務では別のラップトップを使用していました。Amazon WorkDocsを使用して2つの環境でファイルを共有していたものの、切り替えにはいくつかの困難がありました。異なったブラウザタブ、ブックマークなどです。どうやっても、環境をまたがってオフィスアプリの構成を同期させて管理することができませんでした。 オフィスでWorkSpacesを数週間つかった後、私はデスクトップと同じくらい高速によく反応することに気づきました。そのときから、私はWorkSpacesをメインの作業環境として徐々にかつて信頼していたデスクトップとの縁を切りました。 私は週に2~3日在宅で勤務します。自宅のデスクトップは2つの大画面スクリーンと、たくさんのメモリ、最高級のメカニカルキーボードがあり、Ubuntu Linuxを動かしています。Linux上ではVirtualBoxとWindows 7を動かしています。言いかえると、高速で高ピクセルな環境です。 オフィスのWorkSpaceが快適だったので、自宅にクライアントをインストールしてつかいはじめました。それは偉大な前進で私にとってひらめきの瞬間でした。高速で、高ピクセルの自宅環境から仕事環境へアクセスできるようになりました。 ここでクライアント仮想化とサーバー仮想化の組み合わせは低速で、ラグが多く、ローカルデバイスよりも応答が悪いと思われるかもしれません。それは事実ではありません!私は極端に要求がうるさいユーザーです。早撃ちのごとくキーボードをたたき、大量のウィンドウを開いて、フェレットのようにalt-tabで切り替え、そしてシステムがちゃんと動くことに対して極端に非寛容です。私のWorkSpaceは高速でよく反応し、さらにより生産的にしてくれます。 Zero Clientへの移行 私のWorkSpacesジャーニーから数ヶ月して、SteveがIMしてきてパイロットプログラムのメンバーにZero Clientを利用できるようにする計画があると言いました。私はそれを気に入ったので参加することに同意しました。彼と相棒のMichael GarzaがSteveのデスクの下のスペースにおいてあったDell Zero Clientと2個のピカピカの新品のモニターをセットアップしてくれました。その時点で私のオフィスのデスクトップは用済みとなりました。私はそれを取り外して、その功績に敬礼し、コピールームにあるハードウェア返却棚に運びました。私はWorkSpaceとZero Clientにオールインし、完全に依存するようになりました。 Zero Clientは小さくて静かなデバイスです。ファンや内蔵ストレージはありません。単にローカルの機器(ディスプレイ、キーボード、マウス、スピーカー、そしてオーディオヘッドセット)とネットワークに接続するだけです。フル機能のデスクトップよりも熱や電力がはるかにすくなくてすみます。 そのとき私はかなり国内および海外出張をしていました。私は旅先からWorkSpaceにログインしはじめました。やってみると、単一の統一された仕事環境がオフィス、自宅、そしてラップトップまで広がりとてもクールなことに気づきました。ファイルやアプリ群にどのデバイスからアクセスすることができました。私はどこからでもアクセスできるポータブルなデスクトップを手に入れたのです。 ローカルの計算能力ではなくリモートのWorkSpaceを使用しているという事実はわりとすぐ意識の裏側に消えていきました。ある朝私は「私のWorkSpaceが消滅した!」という挑発的なタイトルの電子メールをチームに送信しました。彼らはそれを読んでパニックになって、私がドッキリをしかけたにちがいないと思ったので私は彼らに対して自分のWorkSpaceにではなく自分の仕事にフォーカスできるようになったのだとシンプルに伝えました。私はどれもシリアスなものではないいくつかのバグをレポートしましたが、すべてとても迅速に対処されました。 ラップトップ死亡 移行が現実的であったことは昨年の終わりのある朝ラップトップのハードディスクが故障したときに明らかになりました。私はそれをITヘルプデスクにもっていきディスクを修理しました。そしてオフィスにもどって、WorkSpaces clientを再インストールして、仕事を続けました。ほかのアプリをインストールしたりファイルをコピーすることはありませんでした。この時点で私のラップトップにある唯一の個人的なアイテムはWorkSpaceの登録コードとステッカーだけでした!カンファレンスやお客様向けプレゼンテーションでどのような回線が利用できるかわからないため、まだPowerPointをローカルで実行しています。 私はまたWorkSpacesを差別化してよりよいものにしているほかの何かに気づきはじめました。ラップトップはポータブルで壊れやすいため、そこに格納した情報を一時的なものとして考えがちです。心の奥底ではいつか悪いことが起こってラップトップとその中身を失ってしまうことを知っています。WorkSpacesへの移行はその心配を取り去ってくれました。私はファイルがクラウドに格納しておりラップトップがなくなっても根本的には取るに足らないことだと知っています。 ちゃんと動く 私の同僚であるJames Hamiltonの言葉を借りると、WorkSpacesはちゃんと動きます。それはローカルデスクトップとまったく同じようなルックアンドフィールとふるまいをします。 前に言ったように、私は要求のうるさいユーザーです。2つの大画面モニターがあり、たくさんのオフィスアプリを動かし、多すぎるくらいのブラウザウィンドウとタブを開いています。これまでは仮想デスクトップにあまり適していなかったようなこともやっています。たとえば: 画像の編集 – このブログのすべてのスクリーンショットをキャプチャして編集しています(ありがとう、Snagit)。 音声の編集 – AudacityをつかってAWS Podcastsの編集をしています。今年は新機能のaudio-in supportをつかってWorkSpace上でポッドキャストを録音することを計画しています。 音楽 – Amazon Musicプレイヤーをインストールしてブログ中にお気に入りの曲を聞いています。 動画 – 社内向けと外向けの動画を視聴しています。 印刷 – 社内ネットワークのプリンタにいつもアクセスしています。自宅にいるときは、家庭内ネットワークのレーザーとインクジェットプリンタにもアクセスします。 WorkSpaceはAmazonのネットワークで動作しているので、ローカルの速度制限や帯域幅にかかわらず大容量のファイルをダウンロードすることができます。こちらがスピードテストの結果です(Bandwidth Placeによる): 変わらない感覚 昨年の終わりにパイロットWorkSpacesから本番環境に移行して現在はAWSチームの多くのメンバーにWorkSpacesがプロビジョンされています。私のWorkSpaceは私のポータブルなデスクトップです。 1年以上WorkSpacesを使用して、私はローカル環境との最大のちがいはテクニカルなものではないと言わなければなりません。それよりも、単にちがう(そしてよりよい)と感じます。強い変わらない感覚があります—私がどこにいようと、私のWorkSpaceが私の環境です。ログインするとき、私の環境はいつも以前のままです。1~2週間くらい不在にしていたあとにラップトップを開いたときにしていたように、電子メールの同期やパッチのインストールを待つ必要はありません。 […]

Read More

EC2のX1インスタンス – メモリー重視のワークロードに対応可能

多くのAWSのお客様はメモリー性能を必要とするビッグデータ、キャッシング、および分析系のワークロードを実行しており、増え続けるメモリー量に対応したEC2インスタンスについてのご要望をいただいていました。 昨年の秋、初めて新しいインスタンスタイプX1についての計画をお伝えしました。今日、このインスタンスタイプのインスタンスサイズx1.32xlargeが利用可能になったことを発表します。このインスタンスの仕様は以下です: プロセッサー: 2.3GHzの4 x Intel™ Xeon E7 8880 v3 (Haswell) – 64コア / 128 vCPUs メモリー: Single Device Data Correction (SDDC+1)を実現した1,952 GiB インスタンスストレージ: 2 x 1,920 GB SSD ネットワーク帯域幅: 10 Gbps 専用のEBS帯域幅: 10 Gbps (デフォルトでEBS最適化、追加料金不要) Xeon E7 プロセッサーはターボ・ブースト2.0(最大3.1GHzまで)、AVX 2.0、AES-NI、そして非常に興味深いTSX-NI命令をサポートしています。AVX 2.0(Advanced Vector Extensions)は、HPCやデータベース、ビデオ処理といったワークロードの性能を向上できます; AES-NIは、AES暗号化を使用するアプリケーション速度を向上します。新しいTSX-NI命令は、トランザクションメモリーと呼ばれる素晴らしい機能をサポートします。この命令は、並列性が高いマルチスレッドアプリケーションにおいて、メモリーアクセスを必要としたときに行われる低レベルのロックとアンロックの数を削減することで、非常に効率的な共有メモリーの使用を可能とします。 X1インスタンスは、米国東部(バージニア北部)、米国西部(オレゴン)、欧州(アイルランド)、欧州(フランクフルト)、アジアパシフィック(東京)、アジアパシフィック(シンガポール)、そしてアジアパシフィック(シドニー)リージョンで準備ができており、利用申請をしていただければできるだけ早く稼働させようと思っています。また、あまり遠くない将来に、X1インスタンスを他のリージョンで、および他のインスタンスサイズを提供する計画があります。 米国東部(バージニア北部)リージョンの場合、3年契約の一部前払いで1時間あたり3.970ドルでご利用いただけます; 詳細な情報はEC2の料金ページをご覧ください。今日時点で、リザーブドインスタンスとDedicated Host Reservationsを購入することができます; スポット価格は短期的なロードマップにあります。 x1.32xlargeが動いているスクリーンショットをいくつか記載します。lscpuで4ソケットにわたり128vCPUsが搭載されていることが表示されています: システム起動時のカーネルがアクセス可能な総メモリーです: topコマンドでは膨大な数のメモリーとプロセスが表示されています: エンタープライズ規模のSAPワークロードに対応可能 X1インスタンスは、本稼働ワークロードにおけるSAP認定を取得しています。SAP […]

Read More

AWS Config – タグの変更検知の高速化、新しいマネージド ルール追加、およびユーザビリティの向上

AWS Config Rulesにいくつかの改良が加わり、より便利に利用できるようになりました。”required-tags“ルールの精度が改善され、タグの変更後数分以内にタグ変更の通知を受け取ることができるよになりました。またIAMユーザに対する多要素認証が有効になっているかを確認するマネジドルールも新たに追加され、JavaのサンプルコードがConfig Rules GitHub レポジトリで公開されています。さらにConfig Rulesコンソールから準拠/非準拠の注釈を確認することができ、Config Rulesの詳細ページからルールの呼び出しであったり、評価の際のタイムスタンプ等より細かい粒度のステータスを受け取ることができるようになりました。 翻訳は酒徳が担当しました。原文はこちら。

Read More

New – AWS Application Discovery Service – クラウド移行計画

1980年代半ばを振り返ると、私はウォールストリートに配置されたシステムを手掛けていました。多くのプロジェクトの制約により、マンハッタンにある高いデータセンターで、数えきれないほどの時間を費やして、デバッグのほとんどをオンサイトで行う必要がありました。データセンターは高層フロア全体を占めていました。 そこでの業務の終わりが近づいたころ、私は非公式のフロアツアーをしてみました。数十年に渡って調達され続けたハードウェアとソフトウェアのおかげで、シアトルにあるリビングコンピュータ博物館と同じくらい面白かったです。有名なブランドとモデルのハードウェアのほとんどがあり、不可解かつ複雑な配線で全体がつながっており、更新や変更作業には非常に不安がつきまとうような、関係者内でのみ理解できる情報とともに置かれていました。 今日では、多くのお客様が上述したようなレガシーな環境の大部分をAWSクラウドへ移行する計画があり、時間をかけて詳細を検討しています! Application Discovery Service 新しいAWS Application Discovery Service (シカゴで開催されたAWS Summitで最初の発表)は、現行環境を調査し、何が起こっているかを見極め、既存のアプリケーションのクラウド移行を成功させるために必要な情報を可視化します。 このサービスはAWS Cloud Adoption Frameworkの重要な部分です。このフレームワークはお客様のクラウドジャーニーを支援します。とりわけ、移行ステップの概要を記載します: 現在のIT資産を評価 調査と計画策定 構築 稼働 Application Discovery Serviceは、手作業でやる場合には時間がかかり退屈で複雑な処理を自動化するもので、ステップ2に焦点を当てています。 The Discovery Agent 始めるためには、移行元ホストに小型で軽量なエージェントをインストールするだけです。このエージェントは以下のシステム情報を収集します: インストールされたアプリケーションとパッケージ 実行中のアプリケーションとプロセス TCP v4/v6 接続 カーネル種別とバージョン カーネル構成 カーネルモジュール CPUとメモリーの使用率 プロセスの生成と終了のイベント ディスクとネットワークのイベント TCP/UDPのリスニングポートと関連するプロセス NIC情報 DNS、DHCPやActive Directoryの利用 このエージェントはオンライン、オフラインどちらでも実行できます。オフライン実行の場合、上述のリストにある情報を収集し、お客様が確認できるようローカルに保存します。 オンライン実行の場合、ポート443を使ったセキュアな接続でApplication Discovery Serviceに情報をアップロードします。この情報は、CLIコマンドとAPI関数の新しいセットによりアクセスできるリポジトリーに保存された後、関連付けられ、処理されます。 エージェントは、Ubuntu 14、Red Hat 6-7、CentOS 6-7、そしてWindows (Server 2008 R2、Server 2012、Server […]

Read More

EC2 Run Commandアップデート – コマンドの管理と共有など

EC2 Run CommandはEC2インスタンスを便利にスケーラブルなやり方で管理することを可能にします(より詳細な情報は、わたしのブログ記事、New EC2 Run Command – Remote Instance Management at Scaleを参照してください)。 本日、この機能にいくつかの機能強化があります: ドキュメント管理と共有 – カスタムのコマンドドキュメントを作成してほかのAWSアカウントまたはすべてのAWSユーザーに共有することができます。 事前定義コマンドの追加 – いくつかのあたらしい事前定義コマンドを使用してWindowsインスタンスの管理をシンプルにできます。 オープンソースのエージェント – インスタンス用エージェントのLinux版がGitHubのオープンソース形式で利用可能です。 ドキュメント管理と共有 Run Commandから実行するコマンドドキュメントの管理と共有ができるようになりました。これによって変動性を削減してエラーの元を取り除くことができるため管理プロシージャーに追加の厳格性をもたらします。さらにほかのAWSユーザーによって作成され共有されたコマンドドキュメントを利用することも可能です。 この機能はお客様からいただいたいくつかのシナリオをサポートするよう設計されました。あるお客様はひとつのアカウントでドキュメントを作成して同じ組織のなかにあるほかのアカウントに共有したいと思っていました。ほかのお客様は共通のタスクをパッケージして広いコミュニティに共有したいと思っていました。AWSパートナーは共通のセットアップとオファリングに固有の管理タスクをカプセル化したいと思っていました。 こちらが自分のドキュメント、公開されたドキュメント、そして自分に共有されたドキュメントを参照する方法です:   ドキュメントをクリックして内容を確認することができます: そしてどのようなパラメータがあるのかがわかります: さらに実行する前にドキュメントを調べることができます(とくにドキュメントが共有されたものである場合、これは強く推奨されたベストプラクティスです): あたらしいコマンドを作成することができます(ビルトインのAWS-RunShellScriptコマンドをシンプルにしたバージョンを使用しています): 最後に、アップロードしてテストしたドキュメントを共有できます。パブリックまたは特定のAWSアカウントに共有可能です: この機能に関する詳細はCreating Your Own Commandを参照してください。 事前定義コマンドの追加 多くのAWSのお客様はMicrosoft Windowsが稼動しているEC2インスタンスの保守と管理にRun Commandを使用しています。いくつかの共通オペレーションをシンプルに合理化するために設計された4つのあたらしいコマンドを追加しました: AWS-ListWindowsInventory – インスタンス上のインベントリ情報を収集します(オペレーティングシステム、インストールされたアプリケーション、そしてインストールされたアップデート)。結果はS3バケットに保存できます。 AWS-FindWindowsUpdates – 適用されていないWindows Updateをリストします。 AWS-InstallMissingWindowsUpdates – 適用されていないWindows Updateをインストールします。 AWS-InstallSpecificWindowsUpdates – Knowledge […]

Read More

週刊AWS – 2016年4月25日

今日5/6はゴールデンウィークの谷間の平日です。今日はお休みにして、どこかに出かけられている方も多いのではないでしょうか?私は今日は仕事の日ですが外出の予定がありませんでしたので、とあるコワーキングスペースで仕事をすることにしてみました。いつものオフィスとは環境が変わって、案外はかどるものですね。 それでは、いつものように先週AWSの世界で起こった出来事を振り返ってみましょう。 月曜日 4月25日 AWS CloudFormationでEC2、ECS、Lambda、GameLiftのサポート改善を発表いたしました。 AWS IoTがアジアパシフィック(シンガポール)リージョンで利用可能になりました。 AWS Marketplace for Desktop Appsが欧州(アイルランド)リージョンで利用可能になりました。 AWS DevOps BlogにてHashiCorpのConsulとAWS CodeDeployによるデプロイメント がポストされました。 AWS Big Data BlogにてApache Sparkのスキルを磨きましょうがポストされました。 AWS Compute Blogにてゾンビが蔓延する世界をサーバレスなマイクロサービスで生き抜こうがポストされました。(訳注:タイトルは「2016 AWS Zombie Microservices Roadshowのお知らせ」が適切ですが原題が面白いのであえて意訳は最小限にしておきました) AWS Enterprise Blogにてあなたの会社におけるクラウド推進を推し進めるエンジンがポストされました。 AWS Partner Network BlogにてオンプレミスのネットワークエンジニアのためのAmazon VPCがポストされました。 火曜日 4月26日 ClassicLinkがVPCピアリングをサポートいたしました。 Amazon RDS MySQLでMySQL5.6から5.7へのアップグレードをサポートいたしました。(日本語版記事) 新たなホワイトペーパー(英語版)、IoTで重要な事柄を公開いたしました。 Amazon GameDev BlogにてLumberyard Beta 1.2が利用可能になったことを発表いたしました。 Amazon Web Services Blog(英語版)にて機械学習とレコメンデーション、そしてCloud Academyのデータアナリストがポストされました。 AWS […]

Read More

AWS CodePipeline が AWS CodeCommit との連携をサポートしました

AWS CodePipeline 内でモデル化されたソフトウェア リリース パイプラインのソース プロバイダとして AWS CodeCommit を選択できるようになりました。パイプラインのソース ステージで CodeCommit リポジトリとブランチを選択できます。 CodeCommit はフル マネージドなソース管理サービスで、企業がセキュアで高いスケーラビリティのプライベート Git リポジトリをホストすることを容易にします。CodeCommit は、独自のソース管理システムを運用する必要性やインフラストラクチャのスケーリングについて心配を不要にします。CodeCommit はソースコードからバイナリまであらゆる物のセキュアなストアとして利用することが可能で、既にお使いの Gitツールとともにシームレスに動作します。 この機能は CodePipeline コンソール、AWS CLIまたは AWS SDKを通じて利用を開始することができます。CodeCommit をソース プロバイダにしたシンプルな Pipeline の作成を学ぶには、こちらをご参照ください   CodePipeline のより詳細な情報は: 製品ページ ドキュメント プロダクト連携 日本語訳はSA 福井 厚が担当しました。原文はこちらです。 https://aws.amazon.com/jp/about-aws/whats-new/2016/04/aws-codepipeline-adds-integration-with-aws-codecommit/

Read More

Redshiftアップデート:バックアップ不要表の指定、トランザクションのロック状況を出力する新しいビュー等

Redshiftに最近追加された新機能や、SASのRedshift対応強化についてアナウンスが出ていましたので、ご紹介します。 BACKUP NO オプションをCREATE TABLEで指定できるようになりました。名前の通り、この指定を付けた表はRedshiftの自動・手動SNAPSHOTでバックアップが取得されなくなります。Redshiftを活用する上で、一次的に中間データを置く表を作成することが良くあるのですが、これまではそのような一時表も自動SNAPSHOTの対象になっていました。このオプションでSNAPSHOT不要な表を指定することで、パフォーマンスの向上と、SNAPSHOTサイズの縮小が期待できます。 参照)BACKUP MD5ハッシュの文字列を使ったCREATE USER/ALTER USERが利用可能になりました。クラスターバージョン1.0.1046以降で利用可能です。 通常CREATE USERを実行する際には、引数でパスワードを指定する必要があります。これをシェルスクリプトに書いて実行する場合を想定すると、そのファイルからパスワードが漏洩してしまうリスクがありました。今回の機能改善では、予めMD5ハッシュ化した文字列をCREATE USERのパスワードに指定する事が可能になりました。Redshiftは与えられたパスワードをMD5ハッシュ化して格納していますが、これをユーザが直接指定することが出来るようになったわけです。MD5ハッシュ化した文字は簡単にはパスワードに逆変換できないため、漏洩時のリスクを小さくすることが可能です(漏洩しても絶対大丈夫という意味ではありません)。 パスワードとユーザ名を連結した文字列をRedshiftのMD5関数に通すことで、必要なハッシュ化文字列が得られます。詳しくは以下のCREATE USERのマニュアルをご参照ください。PASSWORD引数の書き方の部分に例とともに解説があります。(※執筆時点では英語版にして確認する必要がありました) 参考)CREATE USER 新しいSVV_TRANSACTIONSビューが提供されました。このビューをクエリすることで今実行中のトランザクション一覧が得られます。granted列が’t’になっているトランザクションが、今ロックを保持している、つまり今実行されているSQLです。これが’f’の場合はロックを待っているSQLという事になります。このビューでロック競合で待たされているトランザクションを発見することが容易になります。 参考)SVV_TRANSACTIONS SAS/ACCESSのRedshift対応が拡張され、自動的なプッシュダウン等がRedshiftに対して有効になりました。これまでもSASからRedshiftへ接続してデータ分析を行う事が可能でしたが、機能拡張され、 Implicit pass-through機能が有効になりました。これはSASへのクエリの一部をSQLに変換してRedshift側に移譲(プッシュダウン)し、パフォーマンスを向上させる事が可能になっています。 SAS 9.4M3から対応されています。この他にも機能拡張されておりますので、詳細はSAS/ACCESSのWebサイトをご覧ください。同様に、分析ソフトとしては、SPSS (IBM)もRedshiftへのプッシュダウンに対応しています。 参考)SAS/ACCESS (原文):https://aws.amazon.com/jp/about-aws/whats-new/2016/04/amazon-redshift-announces-enhancements-to-data-loading-security-and-sas-integration/ 翻訳:下佐粉 昭(@simosako)

Read More