Amazon Web Services ブログ

AWS Database Migration Service (AWS DMS)　でAmazon EC2 の R4 メモリに最適化されたインスタンスのサポートをお知らせ致します。これらのインスタンスには、より多くのメモリとより高いネットワーク帯域幅があり、高いスループットとメモリ集約的な操作を必要とする移行をサポートするのに役立ちます。 ここには、DMS でサポートされているインスタンスの一覧が表示されます。 DMS が新しいインスタンスクラスをサポートするようになったので、どのインスタンスクラスを選択するのか迷うかもしれません。 状況に適したインスタンスクラスはどれですか？ この質問に答える前に、各インスタンスクラスを DMS でどのように使用できるかを見てみましょう： T2インスタンス：軽負荷のために設計されており、時折パフォーマンスが急上昇します。このインスタンスクラスを使用して、DMS について学習し、小さな断続的なワークロードの移行をテストすることをお勧めします。 C4インスタンス：クラス最高のCPU性能を備えた計算集約型ワークロード向けに設計されています。DMSは、特に異機種間の移行やレプリケーション（たとえば、Oracle からPostgreSQL へ）を実行する場合、CPUを集中的に使用することがあります。C4インスタンスは、これらの状況に適しています。 R4インスタンス：メモリ集約型ワークロード用に設計されています。これらのインスタンスには、vCPUあたりのメモリが含まれます。DMS を使用するハイスループットトランザクションシステムの継続的な移行やレプリケーションは、時には大量のCPUとメモリを消費することがあります。R4インスタンスは、これらの状況に適しています。 これらの点を念頭に置いて、AWS DMS を使用して移行を実施する際に、C4 および R4 タイプのインスタンスが要件に適合できるかどうかを理解するための例をいくつか紹介します。 フルロードフェーズでの R4 の利点 以前のブログ記事で議論したように、PostgreSQL は、コンマ区切り値（CSV）ファイルを使用して値が引き渡されるターゲットエンジンです。この場合、DMS は移行を開始するときに次のことを行います： DMS は、ソーステーブルからレプリケーションインスタンスメモリにデータをアンロードして、データを含む CSV ファイルを準備します。この CSV ファイルのサイズは、パラメータ maxFileSize に依存します。 DMS は CSV ファイルをディスクに保存し、COPYコマンドを使用してデータを PostgreSQL にプッシュします。 このタイプの移行を実行する場合、maxFileSize 値を大きくするとスループットが大幅に向上します。私たちは、maxFileSize の最大が1,048,576KB（1.1 GB）まで向上し、移行速度が大幅に改善されていることを実際に確認しました。バージョン […]

AWS Glue は、抽出、変換、およびロード (ETL) のための完全管理型サービスで、これで分析のためのデータの準備と読み込みが簡単になります。AWS マネジメントコンソールで数回クリックするだけで ETL ジョブを作成し実行することができます。AWS Glue をデータストアにポイントするだけです。AWS Glue はデータを検出し、関連付けられたメタデータ (テーブル定義やスキーマなど) を AWS Glue データカタログに保存します。 AWS Glue には、IP 接続がある限り、AWS やその他の場所で JDBC ドライバーを用いたデータソースへのネイティブコネクタがあります。この記事では、現在のところ AWS Glue でネイティブにサポートされていないデータソースに接続する方法を示します。IBM DB2 と SAP Sybase の 2 つのデータソースに対する ETL ジョブへの接続と実行をご紹介します。ただし、他の JDBC アクセス可能データベースと同じプロセスを使用することもできます。

この記事は、Amazon Web Services (AWS)のソリューション アーキテクト、Harpreet SinghとDevendra Singhによるものです。 AWS Server Migration Service (AWS SMS)は、オンプレミスのVMware vSphereあるいはMicrosoft Hyper-Vの仮想マシンをAWSクラウドに移行するためのエージェントレスサービスです。このブログ記事では、AWS SMSの主な利点を説明し、このサービスを使用して仮想化されたオンプレミス（またはプライベートクラウド）のSAPワークロードをAWSクラウド上のAmazon Elastic Compute Cloud (Amazon EC2) インスタンスに移行する方法を説明します。 AWS SMSを使用することの利点を以下にいくつか記載します： 簡略化された移行: ソース環境を設定した後、AWSマネジメントコンソールからレプリケーションジョブをスケジュールすることで、仮想マシンを簡単に移行できます。レプリケーションからAmazon Machine Image (AMI)の作成は、レプリケーションジョブを実行した時に自動的に処理される4段階のプロセスから成ります。 増分移行: AWS SMSはライブ環境を増分的にレプリケーションすることができ、移行プロセスを大幅にスピードアップすることができます。本稼働環境がAWSクラウドにレプリケーションされている間も、本稼働環境を利用し続けることができます。 ダウンタイム最小化: 増分レプリケーション中は本稼働運用に影響ありません。ただし、最終的なレプリケーション（カットオーバー）にはダウンタイムが必要です。 並列移行: AWS SMSでは、複数の仮想マシンを並行して移行できます。この機能を使用すると、ランドスケープ全体を移行することができます（例えば、すべての開発システムを一度に移行し、それから品質保証システムを移行するなど）。 AWS SMSは無償で使用できます。ただし、レプリケーション中は、Amazon Elastic Block Store (Amazon EBS) スナップショットが作成され、Amazon Simple Storage Service (Amazon S3)にこれらのスナップショットが保存されるため、これらのリソースに関連するコストが発生します。料金についての情報は、AWSウェブサイトを参照してください。 このブログ記事では、AWS SMSの一般的なレプリケーションプロセスについて説明し、次にAWS SMSを使用したSAPワークロードの移行方法について説明します。

このブログ記事では、Apache MXNet で事前トレーニングを受けたモデルの使用方法について解説します。複数モデルを試してみようと思われた理由は? 最高の精度をもったモデルを選ばないのはなぜでしょう? この記事の後半で説明するように、同じデータセット上でこれらのモデルがトレーニングを受け最高の精度を得るために最適化されたとしても、個々のイメージではその動作にわずかながら違いが生じます。また、予測速度も変動する可能性があります。これは多くのアプリケーションにとって重大な要素です。事前にトレーニングされたモデルをいくつか試すことで、自分のビジネス課題を解決するのに最適なモデルを見つけることができます。 まず、Apache の MXNet モデルから、3 つのイメージ分類モデルをダウンロードしてみましょう。 VGG-16 (研究報告)、ImageNet Large Scale Visual Recognition Challenge (ImageNet 大規模ビジュアルリコグニッションチャレンジ) における 2014 年度の分類最優秀モデル。 Inception v3 (研究報告)、GoogleNet の発展、オブジェクト検査での 2014 年度最優秀モデル。 ResNet-152 (研究報告)、複数カテゴリにおける 2015 度最優秀モデル。 各モデルについて次に示す 2 種類のファイルをダウンロードする必要があります。 ニューラルネットワークの JSON 定義を含むシンボルファイル: レイヤー、接続、アクティベーション機能など。 全接続加重、バイアスの値を保存する加重ファイルで別名パラメーター。トレーニングフェーズ中にネットワークにより習得。 # MacOS users can easily install ‘wget’ with Homebrew: ‘brew install wget’ !wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-symbol.json -O […]

EC2 の H1 インスタンスは、ビックデータアプリケーションに 2 〜 16 テラバイトの高速で高密度なストレージ を提供し、シーケンシャル I/O に高スループットを提供するように最適化されています。拡張ネットワーキングをサポートし、32 〜 256 ギガバイトの RAM を提供、およびベース動作周波数 2.3 GHz の Intel Xeon E5-2686 v4 プロセッサーを搭載しています。 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、および欧州 (アイルランド)リージョンの H1 インスタンスのオンデマンド、リザーブドインスタンス料金をまもなく 15% 値引することをお知らせいたします。 — Jeff;

成功した多くのビジネスの中心には、顧客に対する深い理解があります。以前のブログ記事では、AWS データレイク戦略の一環として Amazon Redshift Spectrum を使用することで、全方向の顧客イニシアティブを強化する方法を説明しました。 このブログ記事では、敏捷性、コスト効率、そして AWS が顧客分析の実践を通じてどのように革新を起こすのかを実証するテーマを続けたいと考えています。みなさんの多くは、AI がどのようにして顧客イニシアティブを強化できるかを探っているでしょう。そこで、Amazon SageMaker と Amazon Pinpoint を活用したソリューションを通じて、ターゲットとするキャンペーンを機械学習 (ML) によってどのように推進できるかを実証します。 小売りの例を見てみましょう。消費者として、私たちには購入習慣の直感があります。私たちは、良い経験をした製品を再購入する傾向があります。あるいは、逆に、不満足な経験の結果として代替製品に移る可能性があります。三部作の一部である本を購入した場合、そのシリーズの次の本を購入する可能性が高くなります。スマートフォンを購入すると、近い将来にアクセサリーを購入する可能性が高くなります。 顧客の購買行動を知る能力があればどうなるでしょうか？次の購入がどうなるかを比較的高い確率で知ることができたら、どうすればいいでしょうか？私たちがこの予測能力を持っていれば、対処できる多くのことがあります。たとえば、在庫管理の効率を改善したり、マーケティングキャンペーンのパフォーマンスを向上させることができます。 このブログ記事では、Amazon SageMaker を使用してカスタムの長・短期記憶リカレントニューラルネットワーク (LSTM RNN) モデルを構築、トレーニング、使用して購入行動を予測し、予測を活用して Amazon Pinpoint によるキャンペーンを配信する方法を紹介します。 RNN は、特殊なタイプのニューラルネットワークであり、ML のアルゴリズムです。RNN は、通常、シークエンスデータと共に使用します。一般的なアプリケーションとしては、音声のテキストへの変換、言語の翻訳、￥感情分析などの自然言語処理 (NLP) の問題があります。このケースでは、少し創造的になり、UCI 機械学習リポジトリからダウンロードした 現実のオンライン小売データセット[i] の顧客取引履歴に RNN モデルを適用します。 課題 ソリューションに入る前に、こうしたプロジェクトをコンセプトから本番運用に移行する際の課題を理解してみましょう。標準的な ML プロセスを考えてみましょう。 いくつかの重要な観察があります。 このプロセスには、データエンジニアリングプロジェクトに共通のデータパイプラインが含まれているため、大規模なビッグデータの課題に直面します。このブログで紹介しているデータセットは小規模ですが、Amazon.com などの大手小売業者の類似データセットはビッグデータの規模であり、さまざまなフォーマットのバッチやストリームから集められています。モデルのパフォーマンスが向上するため ML プロジェクトには大量のデータが適していますが、データを大規模に活用するには適切なプラットフォームが必要です。AWS データレイク戦略は、運用の複雑さを最小限に抑え、コスト効率を最大化する、将来を見越したソリューションを提供することができます。AI イニシアチブだけでなく、他のデータエンジニアリングプロジェクトでも、引き続き基盤が実を結ぶことになります。 多様な活動をサポートする必要があります。多様な活動は、チームメンバーの役割やスキルセットに最も適した豊富な種類のツールの必要性につながります。データ処理、発見、大規模な機能エンジニアリングなどの活動には、Spark のようなツールが適しています。AWS では、Amazon EMR が […]

こんにちは、スタートアップ担当SAマネージャーの篠原英治(@shinodogg)です。 2018年4月24日に、IDaaS分野におけるリーディングベンダーであるAuth0社のCEO兼共同創業者のEuginio Pace氏をお招きして、日本でAWSをご活用いただいているStartup企業のCTOおよびVP of Engineeringの皆さまにお集まりいただき、Amazon目黒オフィスで #CTONight を開催しました。 昨年の『IVS CTO Night and Day 2017 Winter』に続き、グローバルで活躍しているプレーヤーの登壇アレンジにおいて、WiL代田常浩さんに大変お世話になりまして、今回はFireside Chatのモデレーターもご担当いただきました。 Round Table 少人数の日本のCTOの皆さまをお招きして、ホワイトボードを使った実践的な技術ディスカッションを行いました。 非常に深いディスカッションになりましたが、最後は和やかに記念撮影。 Auth0 – The Identity Platform 長年MicrosoftでDeveloper向けの活動をされていたというEugenioさんが、Identity Managementサービスを作るキッカケになったことや、7000マイル離れた場所に住む友人と会社を立ち上げた頃のエピソードなどをご紹介いただきました。 Fireside Chat – Eugenio Pace & Tsune Shirota 自分自身がDeveloperだからこそ、お客様のビジネスがB2BであれB2Cであれ、どんなDeveloperにも使いやすいサービスを探求するという姿勢や、Developerが自ら拡張できるような機能など、サービスを構築する上での根底にあるようなデザインの思想や、ドキュメンテーションの重要性など、Eugenioさんが創業時から心がけていることをシェアしていただきました。 何千ものお客様に使っていただいけるプラットフォームになった今だからこそ、こだわっている開発プロセスについては、参考になった方も多かったのではないかと思います。 グローバルに散らばったチームのマネージメントに関しては具体例も多く示してくださり、Director of Cultureというポジションを作って採用を行うなど文化の醸成に注力しており、そういったことに関して会場からも多くのご質問が上がっていました。 Networking Party カジュアルな雰囲気の中でハイレベルなディスカッションが各所で繰り広げられていました！ AWS Summit Tokyo 2018におけるStartup関連アクティビティのお知らせ AWS Startup Square Startupによるピッチ AWS SAによるStartup向け技術相談 Startup Architecture of the Year2018ファイナリスト達のパネル展示 […]

  Amazon RDS for Oracle および Oracle Active Data Guard スタンバイ向けの Binary Reader を、AWS Database Migration Service (AWS DMS) での移行のソースとしてサポートすることをお知らせします。 AWS DMS は、データベースを AWS に迅速かつ比較的安全に移行するのに役立ちます。AWS 内でデータを移行するのにも役立ちます。Oracle、Microsoft SQL Server、PostgreSQL など、最も広く使用されている商用データベースとオープンソースデータベースの間でデータを移行できます。このサービスでは、Oracle から Oracle のような同種移行をサポートします。また、Oracle から Amazon Aurora MySQL、Oracle から Amazon RDS for MySQL など、異なるデータベースプラットフォーム間の異種移行もサポートします。 今回のブログ記事では、Amazon RDS for Oracle で Binary Reader を備えた AWS DMS を使用する方法の概要をご紹介します。Oracle Active Data […]

Amazon DynamoDB Accelerator (DAX) で AWS Lambda を使用すると、 も使用するサーバーレスアプリケーションにいくつかの利点があります。DAX は、読み取りレイテンシを大幅に短縮することにより、DynamoDB を使用する場合と比較して、アプリケーションの応答時間を向上させることができます。また、DAX を使用すると、読み取り負荷の高いアプリケーションに必要なプロビジョニングされた読み取りスループットの量を減らすことで、DynamoDB のコストを削減できます。サーバーレスアプリケーションの場合、DAX には、次のようなメリットがあります。レイテンシが短くなると、Lambda 関数の実行時間が短縮され、コストが削減されます。 Lambda 関数から DAX クラスターに接続するには、特別な設定が必要です。この記事では、AWS Serverless Application Model (AWS SAM) に基づいた URL 短縮アプリケーションの例を示します。このアプリケーションでは、Amazon API Gateway、Lambda, DynamoDBｍDAX、および AWS CloudFormation を使用して、Lambda から DAX にアクセスする方法をデモします。 シンプルなサーバレス URL 短縮機能 この記事のアプリケーション例では、シンプルな URL 短縮機能を示します。ここでは、AWS SAM templates を使用して、API Gateway、Lambda、および DynamoDB の設定を簡易化します。全体の設定は、繰り返し可能な展開のための AWS CloudFormation テンプレートに表示されます。DAX クラスター、ロール、セキュリティグループ、およびサブネットグループを作成するセクションは、SAM テンプレートに依存していないので、通常の AWS CloudFormation […]

今日は、うれしいお知らせがあります。2018 年 4 月 24 日より、AWS IoT Analytics サービスが一般でご利用いただけるようになりました。接続済みデバイスデータに対し、スケールに合わせてクリーン、処理、強化、保存、分析などを行うことができるようになります。AWS IoT Analytics は、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ) および欧州 (アイルランド) で今すぐご利用いただけます。昨年の 11 月、同僚の Tara Walker が AWS IoT Analytics サービスの機能の一部について珠玉のブログ記事を書き、 Ben Kehoe (AWS コミュニティのヒーローであり、iRobot のリサーチサイエンティスト) が AWS re:Invent にて、柔軟な検索クラスターにデータを送信するために、iRobot の従来からある「変に手の込んだ機械」を AWS IoT Analytics に置き換える方法について講演を行いました。 サービスプレビューの期間中お客様から受け取ったフィードバックを振り返りながら、AWS IoT Analytics チームは BatchPutMessage API を使用して外部のソースからデータを取得する機能や SampleChannelData API を使って既存のデータ、プレビューパイプラインの結果、機械からのプレビューメッセージを処理する機能など、いくつもの新機能を追加しました。 それでは IoT Analytics の主要なコンセプトについて見直して、その後、サンプルを見ていきましょう。 […]