Amazon Web Services ブログ

Amazon S3 にデータレイクを構築することは、組織に無数のメリットをもたらします。多様なデータソースへのアクセスし、ユニークな関係の決定、カスタマイズされたカスタマーエクスペリエンスを提供するための AI / ML モデルの構築、消費のための新しいデータセットのキュレーションの加速などを可能にします。ただし、オンプレミスであれ AWS であれ、運用データストアから継続的に変化する更新をキャプチャしてデータレイクに読み込むと、時間がかかり管理が困難になる可能性があります。 この投稿では、Oracle、SQL Server、PostgreSQL、MySQL などの定評があるデータベースソースから進行中の変更をデータレイクに読み込むソリューションをデプロイする方法を示します。このソリューションは、新規および変更されたデータを Amazon S3 にストリーミングします。また、適切なデータレイクオブジェクトを作成および更新し、設定したスケジュールに基づいてソースに似たデータのビューを提供します。その後、AWS Glue Data Catalog は、分析サービスが使用するために、新しく更新され重複除外されたデータを公開します。 ソリューションの概要 このソリューションを 2 つの AWS CloudFormation スタックに分割します。この投稿で参照する AWS CloudFormation テンプレートは、パブリックの S3 バケットからダウンロードすることもできますし、後で紹介するリンクを使用して起動することもできます。同様に、この投稿の後半で参照されている AWS Glue ジョブもダウンロードできます。 最初のスタックには、再利用可能なコンポーネントが含まれています。一度だけそれをデプロイする必要があります。以下の AWS リソースを起動します。 AWS Glue ジョブ: 未処理の S3 ファイルから重複排除され最適化された parquet ファイルへの読み込みプロセスのワークフローを管理します。 Amazon DynamoDB テーブル: それぞれのデータレイクテーブルのデータ読み込み状態を保持します。 IAM ロール: これらのサービスを実行して、S3 にアクセスします。このロールには、昇格された権限を持つポリシーが含まれています。これらのサービスにだけこのロールを割り当て、IAM ユーザーまたはグループには割り当てないでください。 AWS […]

長期にわたって稼働する Amazon EMR クラスターを使用している開発者またはデータサイエンティストであれば、急激に変化するワークロードに直面します。これらの変化では、クラスターで最適に実行するために、異なるアプリケーションの構成をしばしば必要とします。 再構成機能を使用して、EMR クラスターを実行するときに、構成を変更することができるようになりました。EMR リリース emr-5.21.0 から、この機能を使用すると、新しいクラスターを作成せずに、または各ノードに SSH で手動で接続せずに、構成を変更できるようになりました。 この記事では、次のトピックについて取り上げます。 再構成の使用 インスタンスグループの状態、構成バージョン、イベント 再構成例の使用事例 再構成の利点 再構成の使用 以下のタスクは、EMR release emr-5.21.0 で更新されます。 再構成の提出 構成の変更 構成レベルの定義 再構成の提出 EMR コンソール、SDK、または AWS CLI を通じて認識を送信できます。詳細については、認識の送信と追加情報を参照してください。. 構成の変更 再構成を送信するときに、クラスターに適用する構成のすべてを含まなければなりません。更新のみがこれらの項目に適用され、ほかのすべてを削除します。構成を変更すると、EMR コンソールはまた前のクラスター構成も追跡します。 構成レベルの定義 アプリケーションのクラスターレベルとインスタンスグループレベルの構成を定義します。クラスターを作成するため、クラスターレベルの構成を提供します。これらの構成は、クラスターが開始し実行中となった後で追加された場合でも、その後自動的にすべてのインスタンスグループに適用されます。構成が開始した後で、クラスターレベルの構成を変更できません。しかし、再構成リクエストを通じて、インスタンスグループレベルでこれらの構成を補足またはオーバーライドできます。インスタンスグループの再構成要求を送信するたびに、これらの新しいインスタンスグループレベルの構成は継承されたクラスターレベルの構成よりも優先されます。 インスタンスグループでクラスタレベルとインスタンスグループレベルの設定がどのように連携して機能するかをよりよく理解するために、EMRコンソールで簡単なデモを見てください。 [構成] タブで、[フィルター] ドロップダウンリストのインスタンスグループを選択します。該当するインスタンスグループの構成表に移動します。構成表の [ソース] 列は、構成のレベルを示します。 このクラスターは、次のクラスターレベルの構成セットで始まります。 [ { “Classification”: “core-site”, “Properties”: { “Key-A”: “Value-1”, “Key-B”: “Value-2” } } ] […]

私たちは、州や地方の自治体、コミュニティ組織、教育機関が、ミッションクリティカルな IT システムを運用する能力に影響を及ぼす、自然災害や人為的災害への備えを改善するように支援したいです。 今日、私たちは AWS Project Resilience を立ち上げました。既存の災害対応プログラムでのこの新しい要素は、上で述べたタイプの組織に最大 2,000 USD の AWS クレジットを提供します。このプログラムは、新規および既存のお客様に開放されています。それぞれに対して次のような利点があります。 新規のお客様 – 適格な新規のお客様は、Amazon Simple Storage Service (S3) に重要なデータセットを保存するときに発生するコストを相殺するために使用できる AWS Project Resilience クレジットで、最大 2,000 USD までリクエストを送信できます。 既存のお客様 – 適格な既存のお客様は、CloudEndure と AWS Disaster Response のエキスパートが既存の事業継続性アーキテクチャを深く掘り下げるときに発生するコストを相殺するために、AWS Project Resilience クレジットで最大 2,000 USD までリクエストを送信できます。 今月初め、私は同僚の Ana Visneski と話し合い、災害対策、災害復旧、そして AWS Project Resilience について学びました。こちらがそのビデオです。 詳細やプログラムへの適用については、AWS Project Resilience のページをご覧ください。 — […]

AWS チームは常にお客様の声に耳を傾け、お客様の生産性向上のためにどのように私たちのサービスを改善すればよいかを考えています。こうした弊社のアプローチを実証するべく、OpsCenter という AWS Systems Manager の新しい機能を開発し、お客様がサービス上での問題、イベント、アラートを一体化できるようにしました。この新機能により、1 か所にアクセスすれば問題を表示、調査、修正することが可能となり、複数の異なる AWS サービス間を移動する手間を減らしました。 問題、イベント、アラートはこの新しいコンソールに操作項目 (OpsItem) として表示され、コンテキスト情報、履歴のガイダンス、迅速な解決手順を提供します。この機能では、主要な調査データを 1 か所で入手できるようにすることで、ソリューションに到達するまでの平均時間を短縮し、エンジニアの生産性を向上させることを目的としています。 OpsItem 担当エンジニアは、次のような情報にアクセスできます。 イベント、リソース、アカウントの詳細 類似の特性を持つ過去の OpsItem 関連する AWS Config の変更と関係性 AWS CloudTrail ログ Amazon CloudWatch アラーム AWS CloudFormation スタック情報 ログやメトリクスにアクセスするためのその他のクイックリンク Runbook と 推奨 Runbook の一覧 AWS サービスを通じて OpsCenter に渡される追加情報 この情報はエンジニアが運用上の問題をより迅速に調査し、修正するのに役立ちます。エンジニアは OpsCenter を使うと、Systems Manager コンソールを介してまたは Systems Manager OpsCenter API を使用して問題を表示し、対処することができるようになります。 このブログの残りの部分では、この新機能について解説します。まず最初に Systems […]

本投稿は AWS コンテナサービスのプリンシパルディベロッパーアドボケートである Massimo Re Ferreによる寄稿です クラウドのセキュリティはAWSの最優先事項であり、コンテナチームの取り組みがその証でもあります。およそ1か月前、私たちは AWS Secrets Manager や AWS Systems Manager パラメータストアと、AWS Fargate タスクの統合機能を発表しました。 これにより Fargate のお客様は、ご自身のタスク定義から秘密情報を安全に、パラメータを透過的に利用することができます。 この記事では、秘密情報を確実に保護しつつ Secrets Manager と Fargate の統合を利用する方法の例を紹介します。 概要 AWS は複数の重要なセキュリティ上の基準を以って Fargate を高度にセキュアに設計しました。その 1つは、各Fargate タスクはそれぞれに分離境界があり、下層のカーネル、CPUリソース、メモリリソース、またはElastic Network Interface（ENI）を他のタスクと共有していないところです。 セキュリティに重点を置くもう 1 つの領域は、Amazon VPC ネットワーキング統合です。これにより、ネットワーキングの観点から Amazon EC2 インスタンスを保護する手法で Fargate タスクを保護できます。 この発表は、責任共有モデルの観点でも重要です。例えば、AWSのプラットフォーム上でソリューションを構築して実行するようなDevOpsチームは、アプリケーションコードの実行時に秘密情報、パスワード、機密パラメータをセキュアに管理する適切な仕組みや機能を必要とします。そして、プラットフォームの機能によって彼ら/彼女らがまさにそのようなことを可能な限り簡単に実行できるようにすることが私たちの役割なのです。 私たちは、時に一部のユーザーがセキュリティ面をトレードオフとして俊敏性を得るために、ソースコードに AWS 認証情報を埋め込んだままパブリックリポジトリにプッシュしたり、プライベートに格納された設定ファイルに平文でパスワードを埋め込んでいるのを見てきました。私たちは、さまざまなAWSサービスを利用している開発者が IAM ロールを Fargate タスクに割り当てることができるようし、AWS 認証情報を透過的に取り扱えるようにすることで、この課題を解決しました。 これはネイティブな […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Backupが東京リージョンに対応しましたのでお知らせいたします。 AWS Backup は、クラウド内で AWS のサービス全体のデータのバックアップの一元化と自動化を簡単に実行できる、完全マネージド型のバックアップサービスです。 バックアップポリシーを一元的に設定し、Amazon EBS ボリューム、Amazon RDS データベース、Amazon DynamoDB テーブル、Amazon EFS ファイルシステム、AWS Storage Gateway ボリュームなどの AWS リソースのバックアップアクティビティを監視することができます。バックアップ対象には Storage Gateway ボリュームのサポートが含まれているため、作成したバックアップに既存のオンプレミスデータを含めることができます。 バックアップスケジュールを作成することができ、バックアップの開始時刻、バックアップの頻度、バックアップウィンドウを指定し、AWS リソースを自動的にバックアップします。バックアップを自動的に保持または失効させる、バックアップ保持ポリシーを設定することも可能で、自動バックアップ保持管理では、バックアップを保持する期間を限定できるため、古い不必要なバックアップがストレージ利用料金を押し上げることを防ぎ、バックアップストレージコストを簡単に最小化できます。 AWS Key Management Service (KMS) と連携しバックアップデータの暗号化も可能です。 Amazon EBSのバックアップ設定を行うサンプル 1.マネージメントコンソールでAWS Backupの画面にいきます。 2.[バックアッププランの作成]を押し、[新しい作成プランの]を選び、バックアッププランに名前を付けます。 3.[ルール名]を入力し、スケジュールを設定します。[バックアップウインドウのカスタマイズ]を選びバックアップを行いたい任意の時間を選択します。 4.[数時間以内にバックアップを開始]でバックアップを行う時間を指定します。 この設定は3.のの[バックアップウインドウ]の時間と連携して動作します。 バックアップウィンドウは、そのバックアップウィンドウの開始時刻と、ウィンドウの期間 (時間単位) で構成されます。バックアップジョブは、このウィンドウ内で開始されます。使用するバックアップウィンドウがわからない場合は、AWS Backup が推奨するデフォルトのバックアップウィンドウの使用を選択できます。デフォルトのバックアップウィンドウは、午前 5 時 (UTC 時間) 開始に設定され、8 […]

 どの業界でも詐欺が経済に及ぼす影響は非常に大きいです。Financial Times の記事、電気通信業界の詐欺費用は年間 170 億 USD (有料サブスクリプションが必要) によると、電気通信業界は詐欺によって毎年 170 億 USD の損失を被っています。 詐欺師は常に新しいテクノロジーを探し、新しい技術を考案しています。これにより詐欺パターンが変わるため、検知が難しくなります。企業は通常、ルールベースの詐欺検知システムで対応しています。しかし、詐欺師が現在の技術やツールが特定されていることに気づくと、すぐにそれを回避する方法を見つけてしまいます。また、ルールベースの検知システムは、大量のデータを使用するときに苦労し、処理速度が低下します。これによって詐欺を発見し、迅速に行動することが難しくなります。その結果、収入に対して損失を被ることになります。 概要 異常検知を実装し、詐欺に対応するために使用する AWS サービスには色んなものがありますが、次の 3 つに焦点を当てたいと思います。 Amazon Kinesis Data Analytics Amazon SageMaker Amazon QuickSight ML Insight 詐欺行為を検知しようとすると、高レベルの課題が 2 つ発生します。 スケール – 分析するデータの量。たとえば、各通話は呼詳細レコード (CDR) イベントを生成します。これらの CDR には、発信電話番号および着信電話番号、通話時間など、さまざまな情報が含まれています。これらの CDR イベントに 1 日にかけられる通話回数分の電話を掛けた、オペレーターが管理しなければならない規模に関するアイデアを得ることができます。 機械学習の知識とスキル – 機械学習でビジネス上の問題を解決するのに役立つ適切なスキルセットです。これらのスキルを磨いたり、十分な専門知識を持った有資格のデータサイエンティストを雇ったりするのは簡単ではありません。 Amazon QuickSight ML Insight の紹介 Amazon QuickSightは、リッチでインタラクティブなダッシュボードにより組織内のすべての人がデータからビジネスに役立つインサイトを簡単に手に入れることができる高速クラウドベースの BI […]

みなさん、こんにちは。AWSソリューションアーキテクトの小林です。AWS Summit Tokyo 2019に引き続き、AWS Summit Osaka 2019も無事に終了いたしました。大阪会場にもたくさんのお客様にお越し頂き、本当にありがとうございました。7/5(金)に東京・大阪双方のサミットのダイジェストと、2019年前半の重要アップデートをまとめてお伝えするウェビナーを開催させて頂きますので、こちらにもぜひご参加ください。どのセッションやコンテンツも学ぶべき点があり、全部ご紹介したいところなのですがが時間制約の都合上、断腸の思いでご紹介する内容の絞り込みを進めています…… 週刊AWSのブログポストはコンパクトにまとめるのをモットーにしています。ですが今週はRE:INFORCEの兼ね合いもあってか、重要なアップデートが多数発表されました。今回は特大号ということで、通常よりは多めになっていますのでご承知おきくださいませ。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Service Quotasがリリースされましたのでお知らせいたします。 AWSのアカウントには、すべてのお客様に可用性と信頼性の高いサービスを提供し、またオペレーションミスなどによる意図しない支出からユーザーを保護するためのクォータ（制限）を実装しています。 従来、その制限値は以下のページにAWSにおける全アカウント共通の汎用の設定値一覧としてまとまっており https://docs.aws.amazon.com/ja_jp/general/latest/gr/aws_service_limits.html 個別のAWSアカウントの設定状態を把握することは難しいのが実情でした。 今回実装された新しいサービス AWS Service Quotasでは、AWSアカウント単位、サービス単位で制限値の確認と上限緩和申請を出すことができるようになりました。AWS Organizations と統合し、新しいアカウントでクォータを簡単に設定することもできます。サービスクォータを使用して、AWS Organizations を通じて作成した新しいアカウントに適用される定義済みクォータリクエストテンプレートを設定するだけです。 サンプル：Amazon EC2のサービス制限の確認と緩和申請を行う １．以下のURLへアクセスします https://console.aws.amazon.com/servicequotas/ ２．画面左のAWSサービスを押します ３．AWSサービス、のところに【EC2】と入力します ４．EC2を選択します ５．EC2が持っているサービスのクォータ一覧が表示されます。 ６．例えばVPCで設定できるElastic IPを増やすために [ Number of EIPs – VPC EIPs]を選択してみましょう。 クォータはAWSデフォルトの5が設定されています。 ７．クォーターを引き上げる場合【クォータ引き上げリクエスト】を押します ８．引き上げたい値を入力して【リクエスト】ボタンをおします。以上で申請が完了です。 この際、入力されるべき値は、引き上げたい数ではなく、引き上げ後の絶対値で入力する必要があります。以下のように ダッシュボードで、リクエストの状態が確認できます。   従来は、サポートから個別にチケットを作成する必要がありましたが、この機能によりAWSアカウントの状態を把握しやすくなり、またリクエストも簡易に上げることができるようになりました。従来のサポートチケットでは日本語等ローカル言語でのやり取りとなっていましたが、こちらの機能は全リージョン一括で英語で処理されます。 是非ご利用ください。 – プロダクトマーケティング エバンジェリスト 亀田    

昨年、Nitro システムが導入された際、私は次のように言いました。 Nitro システムはさまざまな方法で組み立てることができる構成ブロックの豊富なコレクションで、コンピューティング、ストレージ、メモリ、ネットワーキングのかつてなく大規模な選択肢から EC2 インスタンスタイプを設計し、短期間で提供できる柔軟性をもたらします。もっと数多くの種類のワークロードを構築、移行、実行できるよう、今後数か月間に、これまでにないほど速やかに新しいインスタンスタイプを提供する予定です。 本日、その約束を果たすことができました。オプションの NVMe ストレージを含む、Intel と AMD を搭載した M5 インスタンスと R5 インスタンスに 2 つの追加サイズが導入されました。これらの追加サイズにより、ワークロードに最適なインスタンスサイズをより簡単に見つけることができます。 M5 インスタンス これらのインスタンスは、ウェブサーバー、アプリケーションサーバー、開発/テスト環境、ゲーム、ログ記録、メディア処理などの汎用ワークロード向けに設計されています。仕様は以下のとおりです。 インスタンス名 vCPUs RAM ストレージ EBS最適化帯域幅 ネットワーク帯域幅 m5.8xlarge 32  128 GiB EBS のみ 5 Gbps 10 Gbps m5.16xlarge 64  256 GiB EBS のみ 10 Gbps 20 Gbps m5a.8xlarge 32  128 GiB EBS のみ 3.5 Gbps […]