Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

LLAPを使用してAmazon EMRでのApache Hiveクエリをターボチャージ!

Apache Hiveは、SQLを使用してHadoopクラスタに格納された大規模なデータセットを分析するための最も一般的なツールの1つです。データアナリストやデータサイエンティストは、大きなデータのクエリ、要約、探索、および分析にHiveを使用します。 Hive LLAP(Low Latency Analytical Processing)の導入により、Hiveが単なるバッチ処理ツールであるという考え方が変わりました。 LLAPは、インテリジェントなインメモリキャッシュを使用して長期実行デーモンを使用し、バッチ指向のレイテンシを覆し、1秒未満のクエリ応答時間を提供します。 この記事では、Hive LLAPのアーキテクチャと、クエリパフォーマンスを向上させるための一般的な使用例など、Hive LLAPの概要を示します。 Amazon EMRクラスタにHive LLAPをインストールして設定し、LLAPデーモンでクエリを実行する方法を学習します。

Read More

AWS re:Invent 2017 の準備

2017 年 11 月 27 日まであとわずか 110 日となった今、私と私の同僚は re:Invent 2017 の準備を懸命に行っています。まだブログ投稿の作成や新しい LEGO の作成は開始していませんが、非常に暫定的な発表リストを確認済みで、これからの非常に多忙な 1~2 か月に向けて既に準備中です。 これまでにないほど、より多くの会場、より大きな展示ホール、より多くのコンテンツ (1,000 以上のセッション)、ハッカソン、ブートキャンプ、ワークショップ、認定のチャンスが用意されています。Tatonka チャレンジや re:PLAY パーティーといった恒例の人気行事に加えて、ブルームボール (Amazon の長期にわたる伝統行事) やオールスターフィットネスアクティビティも追加されました。 毎年、長い間ご無沙汰している知り合いからチケットを求めるぎりぎりの手紙、電話、E メールをもらいますが、すべてお断りしなければなりません (「たしか 1 年生のときに一緒でしたね」というような連絡を待っていますが、どうなるかはおわかりですね)。毎年キャパシティーは増やしていますが、多くのお客様に対して売り切れになることが予想されるため、取り残されないよう、今すぐ予約することを今一度お勧めいたします。 ベガスでお会いしましょう。 — Jeff;

Read More

階層とタグによるパラメータの組織化及びAmazon EC2 Systems Manager パラメータ ストアのAmazon CloudWatchイベント

このポストはアマゾンウェブサービスのソフトウェア デベロッパーエンジニアであるLusha Zhang によって書かれました。   Amazon EC2 Sysmtes Mangager の一部であるパラメータストアは、平文データ(データベース文字列)または秘密情報データ(パスワード、APIキーなど)を問わず、設定データを管理するための集中化された暗号化ストアを提供します。パラメータストアはAWS CLI、API、およびSDKを介して利用できるため、AWSラムダやAmazon ECSなどのAWSサービス間でパラメータを簡単に参照できます。   パラメータストアのその他の記事については、以下を参照してください: Managing Secrets for Amazon ECS Applications Using Parameter Store and IAM Roles for Tasks Use Parameter Store to Securely Access Secrets and Config Data in AWS CodeDeploy   パラメータストアは最近、階層化サポートとパラメータのタグ付け、及びCloudWatchイベント サポートをローンチしました。これらの機能によって大規模にパラメータを組織化し、管理することが可能になりました。このポストでは、これらの新しい機能を使ってセキュリティ機能を拡張し改善する方法を示します。   階層化パラメータ パラメータストアの階層化サポートによって、組織構造に基づいたパラータの構造化が可能となります。これはパラメータの編成、クエリ、および権限管理のための強力なツールを提供します。   一般的なDevOpsのシナリオでは、開発、ベータ、本番の異なる環境に対してソフトウェアの展開を自動化します。例えば、デプロイメント設定を作成する時に、設定を保存するためにパラメータストアを利用できます。おそらく各デプロイメント環境に最低限の健全なホスト数やパーセンテージを設定しなければならず、それらを環境ごとに異なる値でパラメータストアに保存したいと思うでしょう。   Step1. デプロイメント設定のパスを作成する 次のコマンドを使用して、保存するパスとパラメータを作成します: aws ssm […]

Read More

Amazon Connect と Amazon Lex のインテグレーション

私のお気に入りのサービス、Amazon Connect と Amazon Lex に機能強化が施されました。セルフサービスの Amazon Connect はクラウドベースのサポートセンターで、ビジネスがより良いカスタマーサービスを低コストで簡単に提供できるようにしています。Amazon Lex は、音声とテキストを使用して会話型インターフェイスを構築するためのサービスです。この 2 つのサービスを統合することで、Lex の自動音声認識 (ASR) と自然言語理解 (NLU) の性能を利用し、優れたセルフサービスエクスペリエンスを顧客に提供することができます。この統合を有効にするため、Lex チームが 8kHz の音声入力サポートを追加しました。これについては後ほど詳しくご説明します。この機能のメリットは?顧客によるリクエストの大半をボットが解決できれば、電話での待ち時間を削減し、ユーザーは時間を無駄にすることなく製品を使用することができます。 Connect または Amazon Lex の背景情報については、Jeff が過去に公開したブログ [1][2] をぜひお読みください。LEGO ファンの方は特にお楽しみいただけると思います。 では、この新しい統合の使用方法を見ていきましょう。Twitch チャンネルで構築したアプリケーションを使用して、このブログ用に内容を変更します。アプリケーションのコアでユーザーが Amazon Connect の番号を呼び出します。この番号はユーザーを Lex ボットに繋げ、AWS Lambda 関数を開始します。これは Lex のインテントをベースにしています。アプリケーションでできることは? 最良のコードエディタは何だと思いますか? 個人的には vim が好きです。コード編集を行うには最高のエディタです。私の同僚の Jeff は emacs を選んでいます。 これは素晴らしいオペレーティングシステム エディタです。もし、生まれつき指の関節が普通以上にあればの話しですが。そして同僚の Tara が選んだのは Visual Studio […]

Read More

異なるAWS CodeBuildビルドスペックファイルを使用した、同じソースからの複数ビルド作成

2017年6月、 AWS CodeBuildプロジェクトで別のビルドスペックファイル名または場所を指定できるようになりました。 この記事では、異なるビルドスペックファイルを同じリポジトリで使用して、異なるビルドを作成する方法を説明します。この投稿のソースコードは我々のGitHubリポジトリにあります。   前提要件 AWS CLIをインストールして設定しておく必要があります。 ソリューションの概要 共有ライブラリを作成するために使用されるCプログラム(cbsamplelib.c)と、そのライブラリを使用するための別のユーティリティプログラム(cbsampleutil.c)を作成しました。 Makefileを使ってこれらのファイルをコンパイルします。 このサンプルアプリケーションをRPMとDEBパッケージに入れてエンドユーザーが簡単に展開できるようにする必要があります。 RPM用のビルドスペックファイルを作成しました。ビルドスペックで設定されたこのコードとRPMスペックファイル(cbsample.rpmspec)をコンパイルしてRPMパッケージを作成するには、makeを使用します。同様に、DEB用のビルドスペックファイルも作成しました。このビルドスペックで構成されたコントロールファイル(cbsample.control)に基づいてDEBパッケージが作成されます。   RPMビルドプロジェクト: 次のビルドスペックファイル(buildspec-rpm.yml)は、ビルドスペックバージョン0.2を使用します。ドキュメントで説明されているように、このバージョンは環境変数の構文が異なります。このビルドスペックには、複数のフェーズがあります。 installフェーズの一部として、yumを使用して必要なパッケージがインストールされます pre_buildフェーズでは、必要なディレクトリが作成され、RPMビルドスペックファイルを含む必要なファイルが適切な場所にコピーされます buildフェーズでは、コードがコンパイルされ、RPMスペックに基づいてRPMパッケージが作成されます artifactセクションで定義されているように、RPMファイルはビルドアーティファクトとしてアップロードされます。 version: 0.2 env:   variables:     build_version: “0.1” phases:   install:     commands:       – yum install rpm-build make gcc glibc -y   pre_build:     commands:       – […]

Read More

Now Available – Lumberyard Beta 1.10

本日、546以上の改善、修正、および機能を備えた最大リリースであるLumberyard Beta 1.10のリリースを発表しました。こちらからダウンロードできます。 昨年2月にリリースされて以来、元コードの50%以上を修正、書き換えを行いました。皆様ののフィードバックのおかげで、いくつかの大きな進歩を遂げましたが、まだやるべきことはたくさんあります。この行程のお手伝いができ興奮しております。 今回のリリースにはいくつかのハイライトがあります。(全リリースノートはこちらにあります)   Order-independent Transparency ゲーム上で透明なオブジェクトをレンダリングするのはチャレンジングです。ワイングラスを例に:グラフィックスエンジニアは、すべての表面を正しく表示し、特に表面やリフレクションの順序が乱れている場合は、すべてのリフレクションを正しく取得するのに時間がかかることを知っています。Order-independent Transparency(OIT)はこれを解決します。 今年GDCでNVIDIA Researchと協力してOITを垣間見ることができ、そして今回のLumberyard 1.10に統合することができました。私たちは常にゲーム開発を簡単にする方法を探し求めていますが、リアルタイムレンダリングで可能性を押し広げています。皆様がOITの力をどのように活用するかを待たせることはありません。 画面の左側には、Order-independent Transparencyを有効にしており、その利点がわかります。   Temporal Anti-Aliasing 私たちはすべてのjagged edges (aka jaggies) やゲーム中のちらつきを処理してきました-多くの点で、それに慣れていました。しかしそれはもう必要はありません。Temporal Anti-Aliasingを使用すると、リアルタイムレンダリングによる欠点をより簡単にスムーズに処理し、ゲーム中で映画のような品質に近づけることができます。 それにすぐ直面し、映画では数秒のCGI効果で数百時間を費やすこととなります。しかし、ゲームでは、すべてをリアルタイムで実行する必要があります。Lumberyardの高度なレンダリング技術と一緒に、Temporal Anti-Aliasingは、プロジェクトにおいてハイレベルの視覚的忠実度を成し遂げるのに役立てます。 画面の左側には、 Temporal Anti-Aliasingを有効にしており、その利点がわかります。   何百もの追加機能と最適化 皆様のフィードバックのおかげで、今回のリリースではさらに重要な調整と修正が行われました。 component entity workflowsでワークフローに35の改善点を 導入し、イテレーション時間を短縮しました。たとえば、Entity Inspectorで複数選択(CTRLとSHIFTのクリック)したり、コンテキストメニューからワンクリックでエンティティとコンポーネントをスライスのデフォルトに戻したり、Entity Outlinerのコンポーネントを有効または無効にしたり、エンティティのアイコンをカスタマイズができるようになりました。 Cloud Gems には50以上の改善点が追加され、プレイヤーコミュニティの管理性を向上させました。新しい機能は、Cloud Gems Portalから数回のクリックで新しいユーザーを作成したり、パスワードをリセットしたり、プレーヤーを停止する機能が含まれました。 さらに、エディタをカスタマイズした新しいdocking systemやmaterial editorのパフォーマンス向上など、多くの機能を備えています。 Lumberyardの新しいdocking system   皆様のご意見をお聞かせください いつものように、あなたの考えをお聞かせください。リリースから18カ月しか経っておらず、いろいろな意味でまだ始まったばかりです。あなたのフィードバックや提案の多くを組み込むのを待っています。だからこそお聞かせください。Lumberyardについての詳細は、チュートリアルを参照し、コミュニティフォーラムにアクセスでき、ドキュメントを確認することができます。 (翻訳はSA 森が担当しました。原文はこちら)

Read More

AWS Twitchチャンネルで GameDay エッセンシャルズ (番組)のご紹介

Unicorn.Rentals という LARM (Legendary Animal Rental Market – レジェンダリーアニマルレンタルマーケット) を専門にする企業で、あなたが新しい職に就いたと想像してみてください。もしチャンスがあれば、何を引き換えにしてもユニコーンと遊んでみたいと思わない子供はいるでしょうか?そして、我が子を喜ばせるなら何でもしてやりたいと思うのが親心というものでしょう。そして今が 2017 年であると想定し、Unicorn.Rentals が現在もアニマルレンタルマーケットの業界をリードする存在であるとします。 その時点で、あなたは全く別の次元に入り込む寸前にいます。宇宙や時間のない空間。そう、こんな感じに。 無限です。光と影、そして科学と迷信の中間にあるその場所は、1 人のクラウド知識から始まります。素晴らしい想像の世界にあなたを導き、そこには影と物質が待っているのです。これよりあなたは GameDay Essentials のゾーンに足を踏み入れることになります。 まぁ、別の次元とまではいかなくても、かなりすごい場所ではあります。多分、おそらく? その判断はあなたにお任せします。どちらにしても、今回 AWS Twitch チャンネルの「GameDay Essentials」をご紹介できることを大変嬉しく思います。GameDay Essentials は、先述した Unicorn.Rentals のような状況にある企業の「新入社員トレーニングプログラム」です。アマゾン ウェブ サービスを使用し、企業で上手く仕事をこなしていくために新入社員がクラウドコンピューティングに関する知識を高め、トレーニングする様子が分かります。 GameDay Essentials では、Unicorn.Rentals というスタートアップ企業の成長に加担すべく、実践的なコンピューティングを実際に行っていきます。初回エピソードの「Recon」は 7 月 25 日に公開され、CloudTrail と Cloudwatch でのロギングサービスに関する情報を提供したほか、設定へのアクセスや AWS アカウントにある既存のインベントリリソースを識別する方法について解説しました。「エピソード 1 – Recon (Episode 1–Recon)」はこちらからご覧いただけます。6 つのシリーズから構成されるシーズン 1 のその他のエピソードは毎週火曜日の午前 11:30 (太平洋標準時) に公開されます。次回 […]

Read More

Lambda@Edge – エッジで HTTP リクエストを”賢く”処理する

昨年、Lambda@Edge のプレビューをアナウンスし、お客様に近いロケーションでHTTPリクエストを”賢く”処理する方法を説明しました。プレビューに応募しアクセスを許可された開発者は Lambda@Edge を有効に活用し、非常に有用な多くのフィードバックをいただきました。プレビュー中に HTTP レスポンスの生成、CloudWatch Logs のサポートを追加し、フィードバックに基いてロードマップを更新しました。 一般提供の開始 本日、 Lambda@Edge の一般提供を開始できることを嬉しく思います。次のように利用できます: A/B テストを行うために cookie を検査し、 URL を書き換える ユーザーエージェントヘッダに基づいて、特別なオブジェクトを返す オリジンにリクエストを許可する前に、特定のヘッダを検索することでアクセスコントロールを実装する ヘッダを追加、削除または変更して様々なキャッシュ済オブジェクトに誘導する HTTP レスポンスを生成する 古い URL 形式のサポート ヘッダや URL を変更または簡略化して、キャッシュ使用率を改善する 他のインターネットリソースへ HTTP リクエストを行い、その結果を使用してレスポンスをカスタマイズする

Read More

Active Directory証明書サービス(AD CS)によるAmazon WorkSpacesマネージドデバイス認証の構成

ソリューションアーキテクトの渡邉(@gentaw0)です。Amazon WorkSpacesで、クライアント証明書によるマネージドデバイス認証が可能になりました(新機能 – Amazon WorkSpaces 用のマネージド型デバイスの認証)。マネージドデバイス認証を使用すると、あらかじめIT管理者が許可したデバイスからのみ接続を許可することで認証のセキュリティを強化することが可能になります。マネージドデバイス認証は現在、WindowsおよびMac OS Xに対応していますが、iOS、Android、Chrome OS、ウェブ、およびゼロクライアントデバイスからのアクセスをそれぞれ許可またはブロックすることも可能です。 マネージドデバイス認証はセキュリティ強化のための強力な機能ですが、使用するためには認証局(CA)や証明書の配布など公開鍵基盤(PKI)のための仕組みを用意する必要があります。この記事では、Active Directory証明書サービス(AD CS)を使用してクライアント証明書の発行とデバイスの管理をおこなう方法について解説します。 まず、Active Directory証明書サービス(AD CS)をEC2インスタンス上にインストールします。サーバーマネージャーの「役割の追加」から「Active Directory証明書サービス」を選択することでインストールが可能です。今回は、スタンドアロンのルートCAとしてインストールしますが、本番環境ではエンタープライズCAとすると証明書の発行をActive Directoryアカウントと連動して自動的におこなうことが可能です。また、「証明機関Web登録」をインストールすることによってWebサーバー(IIS)の役割があわせてインストールされます。 Active Directory証明書サービスのインストールが完了すると、クライアント証明書の発行と管理が可能になります。まずはAD CSからルート証明書をエクスポートしてAmazon WorkSpacesのディレクトリにインポートします。Amazon WorkSpacesコンソールで「Directories」→「Update Directory Details」を選択し、「Access Control Options」のセクションでBase64エンコードされたルート証明書を貼り付けることでインポートが可能です。 ルート証明書をインポートしたあと、「Only Allow Trusted Windows Devices to Access WorkSpaces」および「Only Allow Trusted MacOS Devices to Access WorkSpaces」のチェックボックスをオンにすることで適切なクライアント証明書がインストールされていないWindowsまたはMac OSデバイスからのアクセスを禁止することができるようになります。また、その他のデバイスタイプについてはプラットフォームごとにアクセスを許可もしくは禁止することが可能です。 次に、クライアント証明書の発行およびインストールをおこないます。ここでは証明機関Web登録を使用してクライアント証明書をリクエストしていきます。WebブラウザからActive Directory証明書サービスのWebサイトにHTTPSでアクセスして、「証明書を要求する」を選択することでリクエストをおこなうことが可能です。 「証明書の要求」では、「証明書の要求の詳細設定を送信」を選択して「証明書の要求の詳細設定」で「このCAへの要求を作成し送信する」を選択します。識別情報に必要な内容を入力し、証明書の種類では「クライアント認証証明書」を選択して要求を送信すると、クライアント証明書のリクエストがActive Directory証明書サービスに送信されます。発行したクライアント証明書をエクスポートする必要がある場合は「エクスポート可能なキーとしてマークする」にチェックしてください。 証明書の要求が完了すると、ステータスが保留中になります。リクエストを承認するためには、サーバーマネージャーでActive Directory証明書サービスを開き、「保留中の要求」からリクエストを承認します。 ふたたびWebブラウザでActive Directory証明書サービスのWebサイトにアクセスし、「保留中の証明書の要求の状態」を選択すると証明書のステータスを確認することが可能です。発行されたクライアント証明書をインストールするか、エクスポートした証明書をクライアントデバイスにコピーします。クライアントデバイスにルート証明書がインストールされていない場合は、あわせてルート証明書もインストールしておく必要があります。 WorkSpaces Client側にクライアント証明書がインストールされていない場合は、以下のようなメッセージが表示されます。クライアント証明書が適切にインストールされていると通常通りのログイン画面が表示され、自分のWorkSpaceにログインできるようになります。 マネージドデバイス認証を利用することで、管理者が許可していないデバイスからWorkSpacesに接続することをふせぐことができるためいままでよりセキュリティを強化することができます。このブログ記事で紹介した手順で、Active Directory証明書サービスを使用してマネージドデバイス認証をかんたんに検証することができます。その他、マネージドデバイス認証の詳細についてはこちらを参照してください。

Read More

AWS ホットスタートアップ – 2017年7月

今月も引き続き、ホットなスタートアップ企業を紹介していきます。日々、スタートアップ企業は革新的であっと言わせるようなビジネス、アプリケーション、製品を世界中で製作しています。AWS では毎月、AWS を使用して何か優れたことをしているスタートアップ企業を紹介しています。 7 月は学習に関する企業を集めました。次の企業は様々な方法で知識や技術を拡張するためのツールやリソースへのアクセス提供に重点を置いています。 今月のスタートアップ企業をご紹介します。 CodeHS – 中高生を対象に、使って楽しくアクセスしやすいコンピュータサイエンスのカリキュラムを提供しています。 Insight – データサイエンス分野の技術的な才能を伸ばすための集中的なフェローシップを提供しています。 iTranslate – 90 か国語以上の言語で読み取り、書き取り、会話ができるサービスを世界中で提供しています。 CodeHS (カリフォルニア州サンフランシスコ) 2012 年、スタンフォード大学の学生だった Zach Galant 氏と Jeremy Keeshin 氏は、コンピュータサイエンスを専攻していました。そして初級レベルのクラスの教育助手をしていた時に、ある傾向に気が付いたのです。多くの学生が、もっと小さい頃からコンピュータサイエンスに関わっていたかったということです。大学 4 年の時に Zach と Jeremy は中高生が楽しく、アクセスしやすいコンピュータサイエンス教育を提供するチャンスを作るために CodeHS を立ち上げました。CodeHS はウェブベースのカリキュラムで、指導者のリソース、レッスンプラン、専門的能力の開発チャンスで成り立っています。カリキュラムは時間節約を意図して作られた指導者用のツールを伴い、レッスンプランや採点、学習者のコードの評価、クラスルームの管理ができます。 CodeHS は、すべての生徒が将来に向けて意義ある影響力を培えるように取り組んでいます。また、コードを学ぶことは読解力と共に現代の新たな基礎的能力であると考え、そうした技術を身に着けることで生徒がより深く個人の興味や学習を拡大していくことができると見ています。CodeHS が設立された 2012 年には、コンピュータサイエンスのコースを提供している米国内の高等学校は 10% ほどでした。Zach と Jeremy は学校や学区が簡単に取り組めるようにするためのソリューションを提供することで、その現状を変えることに努めてきました。CodeHS により、何千人もの指導者がトレーニングを受け、何百何千人という世界中の生徒達に指導できるようになりました。CodeHS を使用するにあたり必要なのはインターネットとウェブブラウザだけです。生徒はオンラインでコードを書き、実行することができます。指導者は生徒が何に取り組んでいるか、そして進み具合などをすぐにチェックすることができます。 Amazon EC2、Amazon RDS、Amazon ElastiCache、Amazon CloudFront、Amazon S3 は CodeHS […]

Read More