Amazon Web Services ブログ

AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション

 Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合するための効率的なメカニズムとしても利用しておられます。 この記事では、AWS Step Functions および AWS Glue Python Shell を使用して、完全にサーバーレスな方法でこれらの Amazon Redshift ベースの ETL ワークフローのタスクをオーケストレーションする方法をご紹介します。AWS Glue Python Shell は、SQL クエリを送信して応答を待つといった小規模から中規模の ETL タスクを実行するための Python ランタイム環境です。Step Functions は、一連の ETL タスクを簡単に実行して監視できるように、複数の AWS サービスをワークフローにまとめることを可能にします。AWS Glue Python Shell と Step Functions […]

Read More

Amazon EFS を使用して、ミッションクリティカルなファイルを AWS GovCloud (米国) に保存 – FedRAMP 認定済み

 Amazon Elastic File System (Amazon EFS) が AWS GovCloud (米国) で FedRAMP High 暫定承認を達成したことをお知らせできるのは大変な喜びです。この成果により、米国政府機関は、個人識別情報 (PII)、機密患者記録、財務データ、法執行データ、およびその他の管理すべき重要情報 (CUI) を含む機密ファイルを Amazon EFS に簡単かつコスト効率よく保存できるようになりました。 ストレージブログで前に述べたように、数万のお客様が Amazon EFS が提供するシンプルさ、拡張性、費用対効果の恩恵をすでに受けています。昨年後半に AWS GovCloud (米国) で EFS が開始され、FedRAMP High 認定を受けた政府機関のお客様向けに、機密性の高いミッションクリティカルなワークロードのブロックを正式に解除できることを誇りに思います。AWS GovCloud (米国) の FedRAMP High ベースラインの詳細については、こちらをご覧ください。 お客様はさまざまなユースケースで EFS を使用していますが、この機会に、政府機関のお客様とその規制対象アプリケーションに見られるメリットを考えて、2 つの特定の機能を強調したいと考えています。何よりもまず、EFS ライフサイクル管理を使用して、使用頻度の低いデータを EFS 低頻度アクセスストレージクラス (EFS IA) に透過的に移動することにより、アクセスパターンの変化に応じて自動的に費用を節約できます。EFS を使用すると、政府機関のお客様は、アプリケーションを変更することなく、ワークロードをリフトアンドシフトするだけで、クラウドで簡単に開始できます。ライフサイクル管理を有効にすると、時間の経過とともにファイルへのアクセスが自然に少なくなるので、自動的にお金を節約できますが、引き続き同じファイルシステムのネームスペースでアクティブに使用されるデータとともに完全にアクセス可能のままになります。また、クラウドへの移行およびデータの Amazon EFS への読み込みを迅速かつ簡単に強化するために、AWS DataSync もお勧めします。 […]

Read More
週刊AWS

週刊AWS – 2019/10/7週

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 私達の東京本社はJR/東急目黒駅のすぐ近くにあるのですが、目黒駅は目黒区では無いという事をご存知でしたでしょうか?この駅周辺は区としては品川区でして、AWSのオフィスが入っている「目黒セントラルスクエア」も住所は品川区上大崎なのです。とはいえ、道を一本挟んだ先ぐらいから目黒区なのですけど。 では今回も先週の主なアップデートについて振り返っていきましょう。

Read More

[AWS Black Belt Online Seminar] AWS Fargate 資料及び QA 公開

先日 (2019/9/25) 開催しました AWS Black Belt Online Seminar「AWS Fargate」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190925 AWS Black Belt Online Seminar AWS Fargate from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. CloudFormationでの設定は可能でしょうか ? A. Fargate を利用した ECS サービスの作成、および、タスク定義での Fargate 起動タイプとの互換性の設定については、いずれも CloudFromtionでも設定可能となります。それぞれリンク先にて詳細をご確認ください。 ECS サービスについてはこちら タスク定義についてはこちら Q. Fargateを用いた場合、SSHなどで内部にアクセスすることは可能でしょうか? A. Fargate 起動タイプでは、AWSが管理するインフラストラクチャ上にデプロイされることとなるため、EC2 起動タイプで実施されるようなコンテナインスタンスへの SSH アクセスは行えません。 Q. FargateはEC2に比べてコンテナ起動が遅いイメージがありますが、改善する方法はありますか? A. コンテナの起動時間については、DescribeTasks API でイメージのプル時間を含めたタスクの起動完了までに要した時間をご確認いただけます。イメージサイズやロードバランサを併用している場合はヘルスチェック間隔などの設定を見直すことで起動やサービス提供までの時間を改善できる場合がありますので、ご確認いただければと思います。 […]

Read More
Amazon Game Tech

【開催報告】Game Tech Night #16 ~Lightning Talks~ / 次回は10/30大阪開催

こんにちは、ゲームソリューションアーキテクトの 畑史彦 です。 9月19日に第16回となる Game Tech Night を開催致しました。 Game Tech Night は、オンラインゲーム開発と運用に携わる開発者やインフラエンジニアを対象に、ゲームに関連する技術情報や AWS サービスの情報をお届けするイベントです。最近では概ね 1,2 ヶ月に1度くらいの頻度で定期開催しています。この第16回では特に特定のテーマを決めずに複数の LT を実施しました。

Read More

【開催報告】メディア向けクラウド活用 最新事例紹介・シーズン III

メディア業界向けAWS セミナーシリーズ 第三弾 |IBC Recap & 最新動画配信ユースケースをご紹介 2019年9月26日 メディア業界に関わる事業者様および企業様を対象とした、クラウド活用最新事例紹介イベントを開催しました。 4半期毎に開催しているセミナーの第3弾として、今回は9月に開催された IBC 2019 のブース レポートと、AWS パートナーとエンドユーザ様から最新のユースケースとして、動画配信ワークフローをクラウドで運用いただくことで得られる 拡張性・可用性、インフラ管理の省力化、短期間でのサービス開発 などのメリットが注目を集めている『コンテンツ配信 』カテゴリーの活用事例をご紹介いただきました。 当日は約130名のお客様にご来場頂きました。 IBC 2019 Recap -AWS ブース レポート アマゾン ウェブ サービス ジャパン ソリューションアーキテクト 安司 仁 IBC(International Broadcasting Convention)は、世界150カ国から55,000人以上が参加する、欧州最大の映像・音響技術の展示会です。AWS は5年連続で今回も出展し、4つのメディアワークロード(コンテンツ制作、コンテンツワークフロー・アーカイブ、コンテンツ配信、機械学習&データ分析)に関する展示に加え『 マネタイゼーション・パーソナライゼーション 』『 テクノロジーイノベーション 』のテーマを加えた新機能紹介とデモを実施しました。 『 コンテンツ制作 』:コラボレーションの促進、制作/品質向上への取り組みから、制作環境がクラウドにシフトしてきており、全てクラウドで編集をしているスタジオの Untold Studios の事例についてもご紹介しました。ブース展示内容としては先日9/20発表された NVIDIA T4 GPU を備えた G4 インスタンスの紹介や、それを使ったクラウド上の制作環境、AWS ThinkBox Deadline と Spot […]

Read More

さぁ!AWS Innovate に参加しよう! – Week.2 見どころ紹介

  2019年10月1日 から開始している「AWS Innovate」をお楽しみ頂いていますでしょうか? AWS Innovate はグローバルでも人気のある「クラウド活用のための無償オンラインカンファレンス」です.今回は 2019年10月1日 から 2019年11月5日 までの「計36日間」毎日開催をしており,ライブ配信も含めると「計60個のセッション」を視聴可能です. 先週 AWS Innovate「Week.1(2019年10月1日より公開)」の見どころを紹介しました.合わせて読んで頂けると嬉しいです! さぁ!AWS Innovate に参加しよう! – Week.1 見どころ紹介 | Amazon Web Services ブログ 既に今週のライブ配信が終わり,セッションも一般公開されているため,引き続き AWS Innovate「Week.2(2019年10月8日より公開)」の見どころを紹介したいと思います.本記事も AWS テクニカルトレーナーである吉田慶章が担当します.Week.1 と Week.2 のセッションを累計すると,なんと「40個」です!単純計算でも「20時間」も AWS Innovate のセッションを視聴していることになる…?最高ですー! 今からでも AWS Innovate に参加できます.参加申込みは簡単です!以下の申込みサイトにアクセスをしましょう. AWS Innovate サイト AWS Innovate 申込みサイト(無料)   セッションカテゴリ Week.2 では,以下の「計7種類」のセッションカテゴリが追加で視聴できるようになっています.Week.2 も本当に素晴らしいセッションが揃っていますので,気になったセッションから視聴しましょう.では,見どころ紹介に入りたいと思います.Here We Go ===┌(・_・)┘ 2019年10月8日より公開(ライブ配信と Q&A) データベース移行 ネットワーク 分析 ストレージ 働き方改革 セキュリティ AWS アンチパターン(初級編)   AWS アンチパターン まず,今回最初に紹介するのは「AWS アンチパターン(初級編)(Lv.100)」です.AWS に限らず「アンチパターン」を学ぶことにより,よくある失敗に陥らないように早期発見と対策を考えられるようになります.「失敗を探すことを目的にせず,早期発見と対策を提案することが重要である」という言葉が非常に印象的でした. 本セッションは初級編となり,AWS を使う「マインドセット」としての「アンチパターン」を紹介しています.具体的には以下の3点です.皆さんも,過去の経験の中で「やってしまったなー!」と感じるアンチパターンがあるのではないでしょうか?原因 / 症状 / 解決法から体系的に学ぶことができるため,オススメです!なお,来週 Week.3 には「AWS アンチパターン(応用編)(Lv.300)」も予定されています.お見逃しなく! 「机上の空論」アンチパターン 「塩漬け」アンチパターン 「ノーコスト最適化」アンチパターン   データベース移行 次に紹介するのは「データベース移行」です.今回は連続して3セッションをご用意していますので,合わせて視聴して頂くのが良いでしょう. データベースの移行で考えなければならないこと (Lv.100) データベース移行アンチパターン その1 (Lv.200) データベース移行アンチパターン その2 (Lv.200) 一言に「データベース移行」と言っても,何を検討し,どのような検証をすれば良いのでしょうか?そんな疑問に答えるセッションになっています.「データベース移行のプロセス」として,以下の「計6フェーズ」が紹介されていますが,それぞれのフェーズで検討や検証が必要です.そして,お客様の要件(停止要件/データベースエンジン選定など)によっても異なります. 検討 設計 変換 移行 運用 最適化 […]

Read More

AWS IQ – サードパーティーの AWS 認定エキスパートをオンデマンドで活用

 当社では、広い視野で考えすばやく構築を行うことで、お客様がクラウドコンピューティングの価値を活用できるよう最善を尽くしています。 また、クラウドジャーニーを開始するにあたって、成功に欠かせないさまざまなリソースもぜひ活用していただきたいと考えています。以下にその一例を挙げましょう。 AWS トレーニングと認定 – ユーザーやユーザーチームのクラウドスキルの向上と検証に役立つプログラムです。 AWS サポート – パフォーマンスの最適化やコストの削減、イノベーションの加速化などを図る際に役立つツール、技術、人材へのアクセスを提供するプログラムです。 AWS プロフェッショナルサービス – ユーザー (とユーザーが選んだ APN パートナー) がエンタープライズクラウドコンピューティングにおける目標を達成できるよう、万全の態勢で支援するグローバルなエキスパートのチームです。 APN コンサルティングパートナー – アプリケーションやワークロードのデザイン、アーキテクチャ設計、構築、移行、管理をサポートする、プロフェッショナルなサービスプロバイダーで構成されるグローバルなチームです。 AWS Managed Services (AMS) – エンタープライズ規模のお客様の代理で AWS を操作するサービスです。 そして本日、新たにご紹介するサービスが AWS IQ です。こちらは、プロジェクト作業におけるサードパーティーの AWS 認定エキスパートの利用を支援するサービスとなります。AWS IQ はあらゆる規模の組織にご活用いただけますが、とりわけ中小企業のお客様のお役に立つものと確信しています。AWS IQ を利用すれば、組織の大きさに関係なく、実地での支援を必要とする際に、AWS 認定エキスパートをすばやく安全に発見して利用し、支払いまで行うことが可能です。エキスパートは全員、有効な AWS アソシエイト、プロフェッショナル、または専門知識の認定を保持しており、万全の態勢でお客様を支援します。 AWS IQ は、お使いの AWS アカウントおよび AWS 請求書に統合されています。エキスパートのサービスを利用する場合、AWS IQ を使って、ご自分の AWS アカウントへのアクセスを許可、モニタリング、制御できます。また、プロジェクトの各マイルストーンの終了時にエキスパートに支払いを行うこともできます。 […]

Read More

Amazon Textract を使用して、スキャンしたドキュメントから検索可能な PDF を自動的に生成する

 Amazon Textract は、ほぼすべてのドキュメントからテキストとデータを簡単に抽出できる機械学習サービスです。Textract は、シンプルな光学文字認識 (OCR) という枠を超えて、フォーム内のフィールドのコンテンツや、表に保存された情報も識別します。これにより、Amazon Textract を使用して、手動での工数やカスタムコードを必要とすることなく、実質上どのようなタイプのドキュメントでも瞬時に「読み取り」、テキストとデータを正確に抽出することが可能になります。 ブログ記事「Amazon Textract を使用したドキュメントからのテキストと構造化データの自動抽出」は、Amazon Textract を使用して、機械学習 (ML) の経験なしでスキャンしたドキュメントからテキストとデータを自動的に抽出する方法を示しています。記事で取り上げられているユースケースの 1 つは、検索と検出です。Amazon Textract を使用してドキュメントからテキストと構造化データを抽出し、Amazon ES を使用してスマートインデックスを作成することにより、数百万のドキュメントを検索できます。 この記事では、Amazon Textract を使用してスキャンしたドキュメントからテキストを抽出し、検索可能な PDF ドキュメントを生成する方法を示します。このソリューションを使用すると、関連するドキュメントをダウンロードしたり、オフラインで保存されているドキュメント内を検索したり、テキストを選択してコピーしたりできます。 スキャンしたドキュメントから Amazon Textract を使用して生成された検索可能な PDF ドキュメントの例を見ることができます。スキャンしたドキュメント内の画像のテキストはロックされていますが、検索可能な PDF ドキュメント内のテキストを選択、コピー、検索することができます。 検索可能な PDF を生成するには、Amazon Textract を使用してドキュメントからテキストを抽出し、抽出したテキストを PDF ドキュメントの画像にレイヤーとして追加します。Amazon Textract は、テキスト入力ドキュメントを検出および分析し、ページ、単語、行、フォームデータ (キーと値のペア)、テーブル、選択要素などの検出されたアイテムに関する情報を返します。また、バウンディングボックス情報も提供します。これは、ドキュメントページで認識されたアイテムの位置を軸に沿って粗く表現したものです。検出されたテキストとそのバウンディングボックス情報を使用して、PDF ページにテキストを配置できます。 PDFDocument は、AWS サンプル GitHub リポジトリのサンプルライブラリであり、Amazon Textract を使用して検索可能な PDF ドキュメントを生成するために必要なロジックを提供します。 また、オープンソースの […]

Read More

Amazon Translate に新言語を追加: ギリシャ語、ハンガリー語、ルーマニア語、タイ語、ウクライナ語、ウルドゥー語、ベトナム語

私たちテクニカルエバンジェリストは世界中を頻繁に旅します。その中で Amazon Translate を紹介する際にお客様から一番よく受ける質問が「自分の母国語はサポートされていますか?」というものです。母国語がギリシャ語、ハンガリー語、ルーマニア語、タイ語、ウクライナ語、ウルドゥー語、そしてベトナム語のいずれかである方に、今日から「はい」と答えられることをとてもうれしく思います。実際、Amazon Translate を使えば、”ναί”、”igen”、”da”、”ใช่”、”так”、“جی ہاں” and “có”といった言葉でさえも話すことができます。それもおそらく正しいアクセントで。 上記の言語を含め、Amazon Translate は現在、次の 32 の言語をサポートしています。アラビア語、中国語 (簡体字)、中国語 (繁体字)、チェコ語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、イタリア語、日本語、韓国語、マレー語、ノルウェー語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語です。 これらの言語間で 987 の翻訳の組み合わせに対応しています。サポートされている言語ペアの一覧は、こちらのドキュメントページでご確認いただけます。 Amazon Translate を使う Amazon Translate の使い方はとても簡単です。さっそく、AWS コンソールで私のお気に入りの詩の一篇を翻訳してみましょう。 開発者の方であれば、TranslateText API を呼び出すのではないでしょうか。以下は AWS CLI を使用した例です。 $ aws translate translate-text –source-language-code auto –target-language-code hu –text “Les sanglots longs des violons de l’automne blessent mon coeur d’une langueur monotone” { […]

Read More