Amazon Web Services ブログ

EFS File Sync、Amazon EFS ファイルシステムへの高速なファイル転送

AWS re:Invent 2017 の数日前に使用可能になった EFS File Sync について、お話できるようになりました。 大量のファイルをオンプレミスまたはクラウドのファイルシステムから Amazon Elastic File System に移動させる必要があるなら、このツールが最適です。たとえば、 cp および rsync などのシンプルで、シングルスレッドのコマンドラインツールは、クラウドに対応しておらず、膨大な量のデータをある場所から別の場所へ移動するために必要なスループットを提供することができません。こうしたツールは、多くの場合、スケジューリング、オーケストレーション、ネットワークセキュリティに関するスクリプトで、ビルディングブロックとして使用されるのが一般的です。 安全および並列 EFS File Sync は、安全で高度な並列データ転送メカニズムを使用しており、前述のツールよりも最大 5 倍高速で動作します。VMware ESXi または EC2 インスタンスで実行され、NFS (v3 および v4) 経由でソースファイルシステムにアクセスし、EFS が利用可能なすべての AWS リージョンで使用できるエージェントとして利用できます。このエージェントが AWS とのすべての通信を開始するので、VPN を設定したり、ファイアウォールを介してインバウンド接続を許可したりする必要はありません。 AWS マネジメントコンソールで、エージェントと同期タスクを起動、制御、監視することができます。ジョブは、ファイルシステム全体または特定のディレクトリツリーの転送を指定することができ、転送先にすでに存在するファイルを検出してスキップすることもできます。ファイルのメタデータ (変更やアクセスの時間、POSIX の所有権とアクセス許可、シンボリックリンク、ハードリンク) もコピーされます。 EFS File Sync の使用 このブログへの投稿を書くために、EC2 インスタンスを起動し、NFS ファイルシステム (/data) をエクスポートし、ファイルシステムに Linux カーネルのソースコードを転送しました。 […]

Read More

Amazon EC2 リソース ID の更新 – 移行する詳細なリソースタイプ

いくつかの必須の EC2 リソースに対する長い ID を提供するための以前の仕事のフォローアップとして、当社は移行の期日を 2018 年 7 月に設定して、同じことを残りの EC2 リソースに対しても行っています。ユーザーごと、リージョンごと、タイプごとにオプトインして、コード、正規表現、データベーススキーマおよびデータベースクエリが期待通りに動作することを確認できます。 EC2 リソースのタイプについて ID を認識、処理、または保存するコードがある場合は、注意深く、この投稿をお読みください。知る必要があることは、次のとおりです。 移行期日 – お使いのコードおよびスキーマが新しい、長い ID を処理し、保存できるのは、2018 年 7 月までです。その後、長い ID はすべての新しく作成されたリソースにデフォルトで割り当てられます。既存のリソースの ID は、そのまま残り、機能し続けます。 詳細なリソースタイプ – 長い ID はすべてのタイプの EC2 リソースに対してサポートされ、希望に応じてオプトインすることができます。 できるだけ早く、テストアカウントから始めて、オプトインするようにお勧めします。このことは、コードを徹底的にテストし、コードを本番稼働させるためにプロモーションする前に、必要な変更を行うための時間を与えます。 その他のリージョン – 長い ID は、現在、AWS 中国 (北京) および AWS 中国 (寧夏) リージョンで使用可能です。 AMI のテスト – テストするために使用できる長い ID をもつ AMI を発行しました […]

Read More

Amazon Kinesis Analytics でのリアルタイムのホットスポット検知

AWS では本日、Amazon Kinesis Data Analytics でストリーミングデータの「ホットスポット」を検知するための新しい機械学習機能をリリースしました。AWS は Kinesis Data Analytics を 2016 年8月に公開して以来、機能を追加し続けています。すでにご存じかもしれませんが、Kinesis Data Analytics はストリーミングデータ用の完全マネージド型リアルタイム処理エンジンで、データから意味を引き出し、結果を Kinesis Data Firehose、Kinesis Data Streams、または AWS Lambda 関数にさえも出力する SQL クエリを記述することができます。新しい HOTSPOT 関数は、お客様がストリーミングベースの教師なし機械学習アルゴリズムを活用することを可能にする、Kinesis の既存機械学習能力を高めます。これらの能力を利用するために、お客様がデータサイエンスや機械学習の専門家である必要はありません。 ホットスポット HOTSPOTS 関数は、複雑な機械学習モデルを明示的に構築して訓練することなく、データの比較的高密度な領域を特定するために使用できる新しい Kinesis Data Analytics SQL 関数です。早急な対応が必要なデータのサブセクションを特定し、Kinesis Data ストリーム、Firehose 配信ストリームにストリーミングする、または AWS Lambda 関数を呼び出すことによって、プログラム的にアクションを実行することができます。 これが業務を容易にし得る非常に素晴らしいシナリオが数多くあります。交通渋滞に関する時空間データを伝えるライドシェアプログラムや自動化された車両運行、または多数のサーバーが過熱状態になり始め、HVAC 問題を示しているデータセンターを想像してみてください。 HOTSPOTS は、時空間データ以外にも数多くの問題領域にわたる適用が可能です。 この関数はいくつかのシンプルな構文に従い、 DOUBLE、 INTEGER、 FLOAT、 TINYINT、 SMALLINT、 REAL、および BIGINT […]

Read More

[AWS Black Belt Online Seminar] AWS Well-Architected Framework によるコスト最適化

こんにちは、ソリューションアーキテクトの廣瀬です。 先月 (2018/3/13) 開催致しました AWS Black Belt Online Seminar 「AWS Well-Architected Framework によるコスト最適化」の資料を公開致しました。当日、参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

最新の AWS コミュニティヒーロー (2018 年春季)

AWS コミュニティヒーロープログラムでは、世界中の腕の良い AWS デベロッパーによって行われている革新的な作業の一部を紹介しています。 このようなヒーローは、クラウドの専門知識と、コミュニティ構築および教育に対する熱意を組み合わせて、ソーシャルメディアや実際に顔合わせができるイベントで時間と知識を共有しています。ヒーローは、ミーティング、ワークショップ、会議などでコンテンツの推進を積極的に支援しています。 今年 3 月、私たちのクラウドイノベーターのネットワークに、5 人のヒーローが加わりましたのでご紹介させていただきます: Peter Sbarski Michael Wittig Fernando Hönig Anders Bjørnestad Peter Sbarski Peter Sbarski は、A Cloud Guru のエンジニアリング担当副社長です。サーバーレスアーキテクチャとテクノロジーに特化した世界初の会議 Serverlessconf の主催者です。彼は A Cloud Guru の仕事として、サーバーレスアーキテクチャー、クラウドコンピューティング、AWS について講演したり、執筆活動などを行っています。彼は Serverless Architectures on AWS という書籍を執筆しています。現在 Tim Wagner および Yochay Kiriaty と「Serverless Design Patterns」という書籍を共同執筆中です。 Peter はクラウドコンピューティングと AWS について、いつも喜んで語っています。彼の姿は年間を通じて、カンファレンスやミーティングで見かけることができます。彼はオーストラリアのメルボルンとシドニーにおける Serverless Meetups の開催を援助しおり、興味深く革新的なクラウドプロジェクトに取り組んできた経験を共有したいと常に心がけています。 Peter が熱意を注いでいるものとして、サーバーレステクノロジー、イベント駆動型プログラミング、バックエンドアーキテクチャ、マイクロサービス、システムのオーケストレーションなどがあります。Peter はオーストラリアのモナッシュ大学でコンピュータサイエンスの博士号を取得しており、Twitter、LinkedIn、Medium、GitHub で彼をフォローできます。 […]

Read More

AWS Cloud9、AWS CodeCommit、Troposphereを使ったCloudFormationテンプレートの作成

AWS Cloud9 は 2017年11月の AWS re:Invent で発表されました。Cloud9 はブラウザベースの IDE で、サーバレスアプリケーションも含め、数多くのクラウド上の開発ユースケースに適しています。AWS CloudFormation を使うことで AWS CodeCommit と連携した AWS Cloud9 の開発環境を迅速に構築することができます。このブログでは、CloudFormation を使った Cloud9 環境の構築手順を説明します。さらに Cloud9 の環境で Python と Boto3 のコードを書き、 Troposphere を使って CloudFormation の YAML テンプレートを生成する方法についても説明します。

Read More

[AWS Black Belt Online Seminar] 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス 資料及びQA公開

こんにちは、ソリューションアーキテクトの上原です。 先日(2018/3/06)開催致しました AWS Black Belt Online Seminar 「 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス」の資料を公開いたしました。当日参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

Scikit Docker コンテナを構築して、Amazon SageMaker で Scikit-learnモデルのトレーニングとホストを行う

re:Invent 2017 で登場した Amazon SageMaker は機械学習モデルを規模に応じてビルド、トレーニング、デプロイするためのサーバーレスデータサイエンス環境を提供します。お客様はまた、Scikit-learn など、最も身近なフレームワークで作業できます。 このブログ記事では次の 2 つの目標に沿って進めていきます。まずは、Amazon SageMaker がモデルのトレーニングやホストのためにどのようにコンテナを使用するかについて、高水準の説明を行います。続いて、Amazon SageMaker で Scikit モデルのトレーニングおよびホスト用に Docker コンテナをビルドする方法について説明します。 概要では、モデルのトレーニングとホスト用に Amazon Elastic Container Service (ECS) からロードされた Docker イメージが Amazon SageMaker 上でどのように実行されるかについて説明します。また、トレーニングコードや推論コードなど、SageMaker Docker イメージの仕組みについても説明します。 そのため、Amazon SageMaker で Scikit モデルをビルド、トレーニング、デプロイする方法についてのみ興味をお持ちの場合は、概要の部分を飛ばしてお読みください。SageMaker で最小限の手間で Scikit モデルをコンテナ化するかについて、ハンズオンでもご覧いただけます。 目次 Amazon SageMaker 用コンテナの概要 Scikit-学習との連携のビルド Amazon SageMaker 用コンテナの概要 SageMaker は、ユーザーがアルゴリズムをトレーニングし、デプロイできるように、Docker コンテナの用途を拡張します。開発者とデータサイエンティストたちは、コンテナを活用することで Docker をサポートするあらゆるプラットフォームで着実に稼動する標準化されたユニットにソフトウェアをパッケージングできるようになります。コンテナ化することで、コード、ランタイム、システムツール、システムライブラリ、設定などのすべてを 1 か所にまとめ、環境から分離し、どこで開始するかに関係なく、一貫したランタイムを確保します。 […]

Read More

AWS Managed Microsoft ADのディレクトリ管理を、オンプレミスのActive Directoryユーザーに委任する方法

オンプレミスのユーザー管理者が、AWS Managed Microsoft ADとも呼ばれる “AWS Directory Service for Microsoft Active Directory” を管理できるようになりました。 Active Directory(AD)信頼と新しいAWS委任ADセキュリティグループを使用すると、オンプレミスADディレクトリのグループメンバシップを管理することで、オンプレミスユーザーに管理アクセス許可を与えることができます。これにより、管理を実行できるユーザーを簡単に管理できます。また、管理者は、オンプレミスのAD資格情報を使用して既存のワークステーションにサインインして、AWS Managed Microsoft ADを管理できるため、管理者の作業が楽になります。 AWSは、AWS Managed Microsoft ADディレクトリに新しいドメインローカルADセキュリティグループ(AWS委任グループ)を作成しました。各AWS委任グループには、一意のAD管理者権限があります。新しいAWS委任グループのメンバーであるユーザーは、ユーザーの追加、細かいパスワードポリシーの構成、Microsoftエンタープライズ認証局の有効化などの管理タスクを実行するためのアクセス許可を取得します。 AWS委任されたグループは、範囲内のドメインローカルなので、オンプレミスADに対するAD信頼を使用してそれらを使用できます。これにより、AWS Managed Microsoft ADを管理するために別個のIDを作成して使用する必要がなくなります。代わりに、選択したオンプレミスユーザーを必要なAWS委任グループに追加することで、管理者に権限の一部またはすべてを付与できます。オンプレミスのADセキュリティグループをAWS委任グループに追加することで、これをさらに簡素化できます。これにより、オンプレミスのADセキュリティグループからユーザーを追加したり削除したりして、AWS Managed Microsoft ADの管理者権限を管理できるようになります。 このブログでは、オンプレミスのユーザーに権限を委任して、管理タスク(AWS Managed Microsoft ADディレクトリの細かなパスワードポリシーの設定)を実行する方法を説明します。この記事の手順に従うことで、グループマネージドサービスアカウントとKerberos制約付き委任の構成などの他の管理アクセス許可をオンプレミスのユーザーに委任できます。   背景 これまで、AWS Managed Microsoft ADは、組織単位(OU)にADセキュリティグループを作成し、これらのAWS委任グループに共通管理アクティビティを許可することによって、ディレクトリの管理者権限を委任していました。ディレクトリ内の管理者ユーザーは、OU内にユーザーアカウントを作成し、これらのユーザーにこれらのAWS委任グループの1つ以上にディレクトリを追加してディレクトリを管理する権限を与えていました。 ただし、オンプレミスADフォレストへの信頼をAWS Managed Microsoft ADに構成した場合、オンプレミスディレクトリのユーザーをこれらのAWS委任グループに追加することはできませんでした。これは、AWSがグローバルスコープのAWS委任グループを作成し、別のフォレストからのユーザーの追加を制限するためです。そのため、管理目的でAWS Managed Microsoft ADに異なるユーザーアカウントを作成する必要がありました。その結果、AD管理者は、通常、AWS Managed Microsoft ADの追加の資格情報を覚えておく必要がありました。 これに対処するために、AWSはドメインローカルスコープを持つ新しいAWS委任グループを、AWS Delegated Groupsと呼ばれる別個のOUに作成しました。ドメインローカルスコープを持つこれらの新しいAWS委任グループは柔軟性が高く、他のドメインやフォレストからのユーザーやグループの追加を可能にします。これにより、管理者ユーザは社内のユーザおよびグループの管理者権限をAWS Managed Microsoft ADディレクトリに委任できます。 備考: […]

Read More