Amazon Web Services ブログ

AWS CloudFormation を使用して、推奨されるベストプラクティスによって Amazon Aurora PostgreSQL DB クラスターをデプロイする

このブログ記事では、Amazon Aurora PostgreSQL クラスターのクイックスタートリファレンスデプロイメントを構築する方法について説明します。クラスターはセキュリティと高可用性のための AWS のベストプラクティスに基づいており、AWS CloudFormation を使用して速やかに作成できます。必要に応じてカスタマイズできる CloudFormation の一連のサンプルテンプレートを見ていきます。 Amazon Aurora は、クラウド用に構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、ハイエンドの商用データベースのパフォーマンスと可用性、ならびにオープンソースデータベースのシンプルさと費用対効果を兼ね備えています。 PostgreSQL 互換エディションの Aurora は、同じハードウェアで動作する標準 PostgreSQL の最大 3 倍のスループットを実現します。これにより、既存の PostgreSQL アプリケーションおよびツールを変更することなく実行できます。PostgreSQL の互換性と Aurora のエンタープライズデータベース機能の組み合わせは、商用データベースの移行にとって理想的なターゲットです。 Aurora PostgreSQL で道筋を始めて、AWS Well-Architected フレームワークの推奨ベストプラクティスに基づいて AWS リソースを設定したい場合は、ここで提供されている CloudFormation テンプレートを使用できます。 アーキテクチャの概要 下の図は、アーキテクチャの図であり、これから設定しようとしているものの簡単な要約です。 サンプルの CloudFormation テンプレートは、ネットワークインフラストラクチャとアーキテクチャの図に示されているすべてのコンポーネントをプロビジョニングします。CloudFormation テンプレートを次の 3 つのスタックに分割しました。 VPC、サブネット、ルートテーブル、インターネットゲートウェイ、NAT ゲートウェイ、S3 ゲートウェイエンドポイント、AWS Secrets Manager インターフェイスエンドポイント、およびその他のネットワークコンポーネントを設定する CloudFormation […]

Read More

Amazon EMR の伸縮性と回復力を高めるための Spark の機能強化

お客様は Amazon EMR の伸縮性を利用して、ワークフローが完了したとき、またはより軽いジョブを実行するときにクラスターをスケールしてコストを節約しています。これは、低コストの Amazon EC2 スポットインスタンスでクラスターを起動する場合も同様です。 Amazon EMR の Automatic Scaling 機能により、お客様はクラスターの使用状況やその他のジョブ関連のメトリックスに基づいて、クラスターを動的にスケーリングできます。これらの機能は、リソースを効率的に使用するのに役立ちますが、実行中のジョブの途中で EC2 インスタンスがシャットダウンすることもあります。これにより、計算とデータが失われる可能性があり、それがジョブの安定性に影響を与えたり、再計算による重複作業を招いたりする可能性があります。 実行中のジョブに影響を与えずにノードを適切にシャットダウンするために、Amazon EMR は Apache Hadoop の廃止メカニズムを使用しています。このメカニズムは Amazon EMR チームが開発し、コミュニティに還元したものです。これはほとんどの Hadoop ワークロードではうまく機能しますが、Apache Spark ではそれほどうまくいきません。Spark は現在、ノードの損失に対処する際、さまざまな問題点に直面しています。これにより、失われたタスクやデータをリカバリおよび再計算しようとしてジョブが停滞したり、場合によってはジョブがクラッシュしたりすることもあります。Spark の未解決問題のいくつかについての詳細は、以下のリンクを参照してください。 フェッチのエラーに関連した問題 シャットダウン中のノードを追跡し、それらのノードに対するタスクのスケジューリングを回避する これらの問題のいくつかを回避し、お客様が Spark を使用して Amazon EMR の伸縮性機能を最大限に活用できるようにするために、Amazon EMR では、オープンソースの Spark をカスタマイズしてノードの損失に対する回復力を高めることができます。再計算は最小限に抑えられ、ジョブはノードのエラーおよび EC2 インスタンスの終了からより迅速にリカバリできます。これらの改善点は、Amazon EMR リリースバージョン 5.9.0 以降で反映されています。 このブログ記事では、問題に対処するためにオープンソースの Spark でノードの損失に対処する方法と、Amazon EMR の改善にまつわる問題点の概要について説明します。

Read More

Happy Coding Dojo 開催のお知らせ ~オンラインで気軽に視聴できます~

Amazon Web Service Japan の Solutions Architect 3人を中心にウェブ開発、プログラミング、モバイル、AWS にフォーカスした、Happy Coding Dojo を開催します。Tech 面では AWS の話はもちろんなんですが、Microservicesとか世間の流行りなどアプリケーション開発にまつわる話全般をお題に幅広めにやっていきます。また、AWS 関連ではアプリ開発者向けの新機能や新サービスをライブコーディングなど交えつつ紹介したり、私見を交えつつ紹介したり(あくまでも私見です!)、ときに視聴者の皆さんからの質問やコメントを拾いつつインタラクティブにライブでお届けします。オンラインでライブ配信しますので、気軽に参加可能です。Let’s Happy Coding! 過去の開催の様子 前半は話題の技術などをトピックとして自由に3人が会話し、後半はAWSサービスのデモをライブで行いました。 開催日時: 2019年 2 月 27 日(水)18:00 – 19:00 形式: オンライン お申し込みはこちら >>

Read More

Amazon SageMaker に組み込みの物体検出アルゴリズムと AWS DeepLens を使用してエッジで鳥の種を識別する

カスタムの物体検出は、MRI での腫瘍の発見、病気に罹った農作物の特定、鉄道駅ホームの監視など、さまざまな産業やユースケースにとって重要な要素となっています。このブログ記事では、アノテーションが付けられた公開データセットに基づいて鳥を識別します。このタイプのモデルは、さまざまな方法で使用できます。建設プロジェクトの環境調査の自動化で使用したり、バードウォッチングの時に鳥愛好家が使用したりすることができます。また、このモデルを実用的な例として利用し、独自のユースケースの新しいアイデアを生み出すこともできます。 この例では、Amazon SageMaker が提供している組み込みの物体検出アルゴリズムを使用します。Amazon SageMaker は、エンドツーエンドの機械学習 (ML) プラットフォームです。組み込みアルゴリズムを使用することで、開発者は TensorFlow や MXNet などの低レベルの ML フレームワークの使用に関する専門知識を必要とせずに機械学習を加速させることができます。モデルは、Amazon SageMaker の完全に管理されたオンデマンドトレーニングインフラストラクチャでトレーニングします。AWS IoT Greengrass を使用すると、トレーニング済みモデルをクラウドまたはエッジで簡単にホストすることができます。 カスタムの物体検出をエッジで使用する方法を示すために、トレーニング済みモデルを開発者向けの世界初の深層学習対応ビデオカメラである AWS DeepLens にデプロイする方法も示します。AWS DeepLens により、開発者は文字どおり完全にプログラム可能なビデオカメラ、チュートリアル、コード、および深層学習スキルを向上させるよう設計された事前トレーニング済みのモデルを使って深層学習を利用できます。 次の図は、鳥の識別ソリューションの構築方法の概要を示しています。 データセットの理解 CUB 200-2011 鳥類データセットには、200 種の鳥の種にわたる 11,788 枚の画像が含まれています (元の技術レポートはこちらにあります)。それぞれの種には約 60 枚の画像が付属しており、一般的なサイズは約 350 ピクセル × 500 ピクセルです。鳥の部分のアノテーションとして、バウンディングボックスが提供されています。推奨されるトレーニング/テストの分割は与えられますが、画像サイズデータは与えられていません。 画像データセットの準備 Amazon SageMaker の物体検出アルゴリズムに画像データを提供する最も効率的な方法は、RecordIO 形式を使用することです。MXNet には、データセット用の RecordIO ファイルを作成するための im2rec.py というツールがあります。このツールを使用するには、一連の画像を記述するリストファイルを用意します。 物体検出データセットでは、Amazon SageMaker は、バウンディングボックスを、フル画像に対するボックスのコーナーの比率である […]

Read More

最新の AWS ヒーロー情報 – 2019 年冬

AWS ヒーローとは、高度な技術的スキルを持つスーパーユーザーで、出現したばかりのテクノロジーにも早期から挑戦する人々のことを意味します。ヒーローは AWS に関する自らの幅広い知識を他の人たちと共有することに熱心です。ヒーローの中には、集会やワークショップの開催に参加したり、カンファレンスで講演したりする人たちや、ソーシャルメディア、ブログ投稿、オープンソースへの寄与など、オンラインの AWS コミュニティで豊かな知識を共有する人たちもいます。 2019 年も華々しいスタートを切った今、最新の AWS ヒーローをご紹介しましょう。 Aileen Gemma Smith Ant Stanley Gaurav Kamboj Jeremy Daly Kurt Lee Matt Weagle 吉田真吾 Aileen Gemma Smith – シドニー (オーストラリア) コミュニティヒーロー Aileen Gemma Smith 氏は Vizalytics Technology 社の創立者兼 CEO です。Vizalytics のチームは輸送、ツーリズム、経済開発の分野で世界中の公共および民間部門の顧客にサービスを提供しています。彼女は 2017 年にキャンベラで開催された AWS サミットにおいて、クラウドにおける複雑なワークロードの構築セッションで同社の経験を語りました。Aileen 氏はダイバーシティとインクルージョン構想に造詣が深く、過小評価されたエンジニアや創設者の功績や声を広めるため、常に活動しています。2018 年に開催された AWS Public Sector Summit Canberra (AWS 公共部門キャンベラサミット) では、We […]

Read More

AWS RoboMakerで新しい言語、タグ付け、AWS CloudFormationをサポートしました

AWS RoboMakerはロボットの開発とテストを簡単にし、インテリジェントなロボットアプリケーションの大規模なデプロイを可能にします。 今回、RoboMakerのマネージメントコンソールでサポートする言語に、フランス語、韓国語、簡体字および繁体字中国語、日本語、ドイツ語、イタリア語、スペイン語、ポルトガル語が追加されました。さらに、タグ付けとAWS CloudFormationに対応したことで、リソース管理の簡易化及び、構築を簡単にできるようになりました。 タグを利用することで、ロボットアプリケーション、シミュレーション、シミュレーションJOB、ロボットやフリートの管理を行う際の、アクセスコントロールやコストの管理が行いやすくなりました。CloudFormationを利用することで、RoboMakerのリソースであるロボットアプリケーション、シミュレーションアプリケーション、ロボット、フリートの作成が簡単になります。 AWS RoboMaker は現在、US East (N. Virginia)、US West (Oregon)、EU (Ireland) リージョンで利用可能です。始める場合は、サンプルシミュレーションの実行をマネージメントコンソールより実行するか、RoboMakerのサービスページを見るところから始めましょう。

Read More

Amazon RDS for Microsoft SQL Server で、クロスアカウントのネイティブバックアップおよびリストアを設定する

Amazon Relational Database Service (Amazon RDS) は、Microsoft SQL Server データベースのネイティブバックアップおよびリストアをサポートしています。複数の AWS アカウントがある場合、Amazon RDS インスタンスと Amazon Simple Storage Service (Amazon S3) バケットが同じ AWS リージョンにあれば、これらのアカウント間でネイティブバックアップおよびリストアを実行することができます。これらの手順を進める前に、この要件を理解しておくことが重要です。 この記事では、Amazon RDS for SQL Server でクロスアカウントのネイティブバックアップおよびリストアを実行するために必要なアクセス許可とポリシーを設定する方法について説明します。この手順では、これらのリソースを含む以下の AWS アカウントがあることを前提としています。 アカウント A – Amazon RDS for SQL Server インスタンス アカウント B – Amazon S3 バケット すべての設定は、S3 バケットが存在するアカウント B で行う必要があります。アカウント B で以下の作業を行います。 IAM ポリシーを作成する。 ロールを作成し、信頼ポリシーを設定する。 […]

Read More

Newstag は AWS の AI 言語サービスを使用して、世界の動画ニュースがより多くの人々に届けます

スウェーデンのスタートアップ、Newstag では人工知能 (AI) を使用し、世界中の主要なニュースプロバイダーから集めたニュースをカスタマイズした動画ニュースチャンネルを制作しています。同社の使命は、人々や組織が最新の多様な情報を活かし、自らの可能性を広げられるよう支援することです。Newstag では世界中から集めた同社の顧客向け動画ニュースがより多くの人々に届くよう、各動画のリッチメタデータを制作しています。Newstag では Amazon Transcribe、Amazon Translate、Amazon Comprehend を使用することにより、動画からメタデータを抽出し、制作するという膨大な手作業を要するこのプロセスを自動化することに成功しました。AWS の各種サービスを組み合わせて使用することで、Newstag では従来の 10 倍に相当する量の動画メタデータを制作できるようになったのです。 「人々は自分たちの見るニュースを選びたがっていると、私たちは感じています。顧客自身が関連するストーリーを取捨選択できるようにすること、当社の使命を遂行するのに、このことが極めて重要であると私たちは考えます」と Newstag 社 CTO、Mats Ekholm は述べています。これを現実にするため、Newstag ではパーソナライズされた動画ニュースチャンネルを作成するのに顧客自身が選択できるタグを開発しました。以下のスクリーンショットでは顧客が Newstag でこれらのタグをどのように選択するかについて解説しています。 一日に 1,000 本以上の動画を提供するため、Newstag の編集スタッフは長い時間をかけてコンテンツへのタグ付けを行っていました。その作業には複数の言語を要し、手作業で行わなければなりませんでした。タグの多くは表題、簡単な説明、そして一部のメタデータで構成されています。同社は需要に応えようと奮闘しながらシンプルでコスト効率が良く、展開しやすいソリューションを探しました。AWS で事前トレーニングを施した機械学習 (ML) サービスを使用することで、Newstag は AI に関する経験なしでも、AI を使用してこの問題を解決したのです。 まず、Newstag は Amazon Transcribe を使用して、Amazon Simple Storage Service (S3) に格納された動画音声をサポート言語でテキスト化します。続いて、テキスト化された英語以外のデータ、その他の表題、説明、または動画と共に元々提供されたキーワードに Amazon Translate を適用して正確な英語訳を作成します。最後に、テキストコンテンツを分析してインサイトを提供する機械学習サービスである Amazon Comprehend を使用して、入手できてる英語のテキストすべてから、題を抽出します。組織、人々、場所、ロケーションなど、名前の付けられた題は、顧客が興味のあるコンテンツを見つけやすくするための正確なタグの作成に使用されます。 「手作業で処理していた頃は 1 時間あたり 3 […]

Read More

AWS Database Migration Service の移行用に Amazon Elasticsearch Service を拡張する

ウェブアプリケーションアーキテクチャの一般的なパターンには、アプリケーションデータを検索するための検索エンジンと対になったアプリケーションデータ用データベースが含まれます。多くのリレーショナルデータベース、さらには非リレーショナルデータベースにも、基本的な検索機能が提供されています。しかし、検索エンジンには、他のデータベースに対し、関連性とブール式による、真の、複雑な、自然言語による検索機能が搭載されています。Werner Vogels が最近指摘したように、万能のデータベースは存在しないのです。ユーザーは信頼できるデータの情報源としてリレーショナルデータベースまたは NoSQL データベースを使用し、そのデータを検索するために検索エンジン (データベース) を使用します。 お使いのデータベースからどのようにデータを Amazon Elasticsearch Service (Amazon ES) へ移し、2 つのシステム間でそれらをどのように同期しますか? ごく最近まで、スクリプトを書くか、Amazon ES を使用してデータベースをブートストラップし、同期をとるために、パイプラインを増やす必要がありました。2018 年 11 月、AWS Database Migration Service (AWS DMS) で、Amazon ES をデータベースマイグレーションのターゲットとするサポートが追加されました。AWS DMS を使用することで、データを Amazon ES へブートストラップし、DMS の変更データキャプチャ (CDC) 機能で両システムを同期できます。 本記事では、DMS タスクの処理に Amazon ES ドメインで十分なリソースを確保するためにおすすめの基準をご紹介します。しかし、あらゆるおすすめの基準と同じで、ここで触れる内容も一般論に過ぎません。データの使用量はユーザーごとに異なるためです。 AWS DMS のタスク設定パラメータ AWS DMS で Elasticsearch のターゲットを使用する場合、サポートされている任意のソースから Amazon ES へデータを移動するのはシンプルな処理です。必要なデータをすばやく安全に移行できます。Amazon ES ドメインにデータベースのテーブルまたはビューをレプリケートできます。全ロードフェーズで、ソースデータベースにある既存データのすべてがレプリケートされます。データベースの継続的な変更は、CDC […]

Read More

【本日よりお申し込み開始!】AWS Innovate オンラインカンファレンス (2019年4月8日〜5月7日開催)

1ヶ月間の AWS Innovate で『AWS とは何か?』『AWS 選択の理由とは?』『どのように AWS を活用すれば良いか?』を知り、ビジネス改革を効率良く加速  詳細・お申し込みはこちら >> セッション一覧はこちら >> AWS Innovateは、AWS クラウドを活用してビジネス革新を目指しているすべての IT リーダー及び IT プロフェッショナルを対象とした、オンラインカンファレンスです。昨年は 1 万人以上が参加し、AWS 技術習得に役立ったというコメントを多くいただきました。今回も AWS 最新情報の他、AWSエキスパートによる30以上のビジネス及びテクニカルセッションを提供します。 このオンラインカンファレンスにより、AWS サービスについての正しい理解を深め、より多くのビジネス改革を効率良く加速することができます。また、インフラストラクチャとアプリケーションを設計、デプロイ、運用するためのスキルを身につけるのに役立ちます。 2019 年 4 月 8 日 (月) 〜 5 月 7 日 (火) の期間で開催し、期間中いつでも視聴できるオンデマンドセッション、4 月 16 日 (火)には Q&A つきのライブセッションも用意しています。  

Read More