Author: AWS Japan

ソリューションアーキテクトの鈴木哲詩 (@studio3104) です。 先日のブログエントリでお伝えいたしました 2019/10/3, 4 にて開催予定の AWS DevDay Tokyo 2019 ですが、皆様 Save the date にはご登録いただいておりましたでしょうか！？ 先のエントリ中でもお伝えしておりますが、改めてサラッと概要を。AWS DevDay は世界主要都市で開催されているアプリケーション開発者のためのイベントです。2019年の東京開催では、規模を拡大して神田明神ホールをお借りして開催します。無料です。アプリケーション開発者のための無料イベントです！！！！！！！１ そして、皆様、大変お待たせいたしました、本日本登録サイトをオープンしました！！ https://aws.amazon.com/jp/about-aws/events/2019/devday/ つきまして、本ブログエントリでは、予定しているコンテンツの一部をご紹介していきます。   ゼネラルセッション まずはゼネラルセッションをご紹介します。ゼネラルセッションでは、トークセッションとパネルディスカッションの2部構成となります。 トークセッションでは、Ruby の父まつもとゆきひろ様、株式会社ソニックガーデンの創業者で代表取締役社長の倉貫義人様をお招きして、今研究や開発に取り組んでおられること、注目しているテクノロジー、エンジニアがもっと輝くために必要なことなど、ソフトウェアエンジニアの皆様へのメッセージを、それぞれお話しいただきます。 パネルディスカッションでは、Amazon Web Services Japan の岡嵜禎がモデレーターを務めさせていただき、引き続き倉貫様とまつもと様をパネリストとして、 エンジニアがさらに輝いていくにはどうしていけばよいのかというテーマについてディスカッションをしていただきます。ソフトウェアとそれらを取り巻くパラダイムは常に目まぐるしく変化・進化をしてきていますが、このような厳しい環境下でどのようにキャリアを培ってこられたのか、これからのエンジニアが新しいパラダイムの荒波をどう乗りこなしていけばいいのか、といったようにエンジニアの生き様について熱く語っていただく予定です。 ゲストセッション 続いてはゲストスピーカーセッションのご紹介です。ワークロードやサービス種別によって様々な課題があり、それに対する取り組み方や考え方についても同じようにそれぞれ多種多様です。多岐に渡る課題に対して、ソフトウェアのちからでどのように解決出来るのか、どのような考え方が必要であるのかという点で、ゲストスピーカーセッションでは、あらゆる業種からそれぞれの分野のエキスパートの皆様にご登壇いただき、それぞれの観点でのお話をしてただきます。 なお、本日はすべてのゲストスピーカーセッションをご紹介していませんが、今後のアップデートは随時本登録サイトにて行っていきますので、続報に是非ご期待ください。 AWS上に構築するセルラーコアネットワークシステム 株式会社ソラコムの川上大喜様 (@moznion) のセッションでは、日常では意識することが少ないセルラーネットワークの裏側にアーキテクチャレベルで Dive Deep して、先進的な技術と挑戦的なアーキテクチャの採用によって従来のセルラーネットワークシステムと比較して大きくパフォーマンス改善させた取り組みをご詳解いただきます。 AWSの「隙間」を埋める隙間家具OSS開発 Perl, Go のハッカーとして著名な株式会社カヤックの藤原俊一郎様 (@fujiwara) からは、これまで開発して OSS としてメンテナンスを継続されているソフトウェアについてお話しいただきます。”ないものを作る”マインドや、なぜOSSにするのか、どのような思想で設計、開発、運用をされているのかを、実例をもとにご紹介いただきます。 「ブロックチェーン×フルサーバレス」での開発について 〜システム構成・運用の全て〜 契約のスムーズな検証、執行、実行、交渉を意図したコンピュータプロトコルであるスマートコントラクトを司るシステムを開発する実例について、株式会社ALISの富樫圭樹様 (@keillera) からお話しいただきます。ブロックチェーンとサーバーレスアーキテクチャを活用した実際の例をもとに、開発から運用について、なんとすべての知見を共有いただけるそうです。 オープンソースコミュニティで加速するサーバーレスの未来 Serverless […]

こんにちは。9 月の AWS Black Belt オンラインセミナーについてご案内させて頂きます。 9 月は、3本のWebinarを実施いたします！ぜひお役立てください。 視聴方法: オンラインセミナー登録ページよりお申し込みください 9月のスケジュール AWS Batch 2019 年 9 月 11 日 (水) | 18:00 – 19:00 | IT 知識レベル:★★★☆☆ | AWS 知識レベル:★★★☆☆ AWS Batchは、HPCなど大規模な分散処理を行う際に必要となるバッチコンピューティング環境を、フルマネージドで提供するサービスです。AWS Batchを活用することで、分散処理におけるノード管理の負担を減らすだけでなく、より効率的なリソース活用が可能になります。本セッションではAWS Batchの基本的な使用方法、ユースケースに加え、GPUやマルチノード対応、起動テンプレート活用などの主要なアップデートについてもご紹介いたします。 対象者 技術者の方 本セミナーで学習できること バッチコンピューティングの基礎とAWS Batchの活用方法と新機能 AWS Batchのユースケース スピーカー 宮本　大輔 Solutions Architect   AWS AI Services 2019 年 9 月 24 日 […]

みなさん、こんにちは！ソリューションアーキテクトの下佐粉です。 日中は変わらず暑い日々が続いていますが、東京は朝夕は随分涼しくなってきたように思います。 今週は先週出せなかった8/19週分の週刊AWSも出ていますので、ぜひ合わせてご覧ください。また、これまでの週刊AWSはこちらから辿れます。それでは、先週(8/26週)の主なアップデートについて振り返っていきましょう。

ブログ投稿が遅くなってしまいましたが、8/19のアップデートを振り返ってみましょう。

Amazon Web Services (AWS)のお客様はデータストアと、そのデータストアの高可用性にお客様のビジネスを委ねています。そのようなお客様に向けて、Multi-AZ配置は高可用性を実現する方法を容易に提供します。 Amazon Relational Database Service (Amazon RDS)でMulti-AZを有効にすることで、データの冗長かつ一貫した状態を維持します。もし、primaryデータベースサーバに問題が発生した場合は、standbyデータベースサーバに自動的に変更しデータへアクセスし続けられるようにします。2つのデータのコピーはそれぞれ別のAvailability Zones (AZs)内で管理されています(そのため、Multi-AZと呼ばれています)。別々のAvailability Zones を持つことで、両方のデータが同時に障害に見舞われるリスクを軽減させています。データの適切な管理、簡単な再構成、およびコピーへの信頼できるユーザーアクセスは、顧客環境が要求する高可用性要件に対処するための鍵です。 この投稿では、MySQL、MariaDB、PostgreSQL、およびOracleデータベースインスタンスのAmazon RDS Multi-AZ設定について説明します。Amazon RDS for SQL ServerおよびAmazon Auroraは、異なるテクノロジースタックを使用してマルチAZ機能を提供します。 基本デザイン Mult-AZ機能はデータベースアプリケーションとAmazon Elastic Block Store(Amazon EBS)ボリュームの間にあるレプリケーションレイヤーを使用して実装されています。このレイヤーは、アプリケーションの読み取りおよび書き込み要求を処理し、2つの個別のEBSボリュームコピーがある環境に適用されます。1つはローカルアクセス、もう1つはリモートアクセスです。 通常時は、レプリケーションレイヤーがインストールされた、2つのアクティブなAmazon EC2インスタンスがあります。 各インスタンスは、データの完全なコピーが行われているEBSボリュームを管理しています。この構成により、2つのインスタンスとそのボリュームがMulti-AZデータベースインスタンスとして稼働しています。 レプリケーションレイヤーは、TCP接続を介して互いに直接通信を行っています。 各インスタンスには特定のロールが割り当てられます。1つはプライマリであり、ユーザーがデータにアクセスするための外部エンドポイントを提供します。もう1つはスタンバイであり、プライマリから受信するすべてのデータを同期的に書き込むセカンダリインスタンスとして機能します。データベースの書き込みは、正常応答が呼び出し側アプリケーションに送り返される前に、データが両方のボリュームに適切に書き込まれます。ただし、読み取り操作は常にプライマリEBSボリュームを介して実行されます。データベースサーバープロセスは、スタンバイインスタンスで実行されていないため外部エンドポイントは公開されません。そのため、ユーザーはstandbyデータベースインスタンス上のデータのコピーは使用できません。 可用性を向上させるためにMulti-AZは、インスタンスの1つがプライマリロールにあることを一貫して保証し、データのコピーへのアクセスを提供します。もし可用性の問題が発生した場合、スタンバイインスタンスを自動的にプライマリロールに昇格させ、リダイレクトによって可用性を復元させます。 このイベントは、フェイルオーバーと呼ばれます。旧プライマリがまだ稼働している場合、スタンバイロールに降格されます。 新しいプライマリインスタンスへのリダイレクトは、DNSを介して提供されます。クライアントDNSクエリの結果に含まれるレコードのTTLは非常に短くなっています。アドレス情報の長期間のキャッシングを禁止することを目的としています。これにより、クライアントはフェールオーバープロセスで情報をより早く更新し、DNSリダイレクトの変更をより迅速に取得します。 以下の図が正常時のMulti-AZインスタンスの状態を示しています。 Figure 1: Multi-AZ instance データベースアプリケーション(黄色で表示されるDB APP)は、DNS)オレンジ色で表示)使用して、データへのアクセスを提供している現在の外部エンドポイントのアドレス情報を取得します。 このマルチAZインスタンスには2つのRDS DBインスタンスがあります。プライマリインスタンス(左側に緑色で表示)とスタンバイインスタンス)右側に青色で表示)です。この例では、DNSはアプリケーションをプライマリインスタンスEC2＃1に向けており、Availability Zone＃1で利用可能なEBS＃1のプライマリコピーを提供しています。2つのEC2インスタンスの複製レイヤーが接続されています。アプリケーションが発行する書き込み操作は、2番目のインスタンスへの書き込みにもなります(パスは灰色で表示)。 レプリケーションレイヤーは、それ自体の可視性が制限されているため、より詳細な決定を下すことができません。たとえば、クライアントからの接続問題、ローカルまたはregionの停止、または予期せずサイレントな状態になったEC2ピアの状態などを知るすべがありません。このため、2つのインスタンスは、より重要な情報にアクセスし、インスタンスのステータスを定期的に監視する外部システムによって監視および管理されています。必要に応じて、管理システムは、可用性とパフォーマンスの要件が満たされてるためのアクションを実行します。 Multi-AZが提供する可用性と耐久性の改善は、最小限のパフォーマンスコストで実現しています。通常の使用例では、レプリケーションレイヤーが接続され、スタンバイEBSボリュームへの同期書き込み操作が発生します。スタンバイインスタンスとボリュームは、地理的に離れた個別のAvailability Zoneに配置されています。評価では、データベースのコミットへのオーバーヘッドが2ミリ秒から5ミリ秒増加していることが示されています。ただし、実際の使用例に対する実際の影響は、ワークフローに大きく依存します。ほとんどのお客様のMulti-AZインスタンスは、影響があったとしてもパフォーマンスにわずかな影響を示します。 この設計により、AWSはお客様のデータに対して99.95％の可用性を超えるサービスレベルアグリーメント(SLA)を提供しております。詳細については、Amazon RDSサービスレベルアグリーメントをご覧ください。 実装について ボリューム複製機能の設計は単純で簡単だと思われるかもしれません。しかし、実際の実装はかなり複雑です。これは、絶えず変化し、時には大きく変動する環境内で、2つのネットワークで接続された個別のインスタンスおよびボリュームが遭遇する可能性があるすべての事象を考慮する必要があるためです。 通常の進行中のレプリケーションは、すべてが適切に機能し、正常に動作していることを前提としています。EC2インスタンスが利用可能で、通常のインスタンス監視が機能し、EBSボリュームが利用可能で、ネットワークが期待どおりに動作しています。しかし、これらのピースの1つ以上が誤動作しているとどうなるでしょうか？ 発生する可能性のある問題とその対処方法を見てみましょう。 […]

先日 (2019/8/22) 開催しました AWS Black Belt Online Seminar「AWS AppSync」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190821 AWS Black Belt Online Seminar AWS AppSync AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS AppSyncのSubscriptionでは、Mutationの取りこぼしはないのでしょうか？例えば、「購読中に、Mutationの頻度が高い場合に、いくつかのMutationの結果が返らない」等です。あるいは、Lambdaのように、最低1回の受信(複数回受信することもある)ということはないのでしょうか？ A. 基本的に設定されたSubscriptionは取りこぼし無く実行されます。但しAppSyncの制限事項としてGraphQL API ごとのスロットルレート、サブスクリプションの最大ペイロードサイズ等がありますのでその点はご注意ください。 Q.（少し調べれば出てくるかもしれませんが）実際に手を動かしてAppSyncの機能に触れられるチュートリアル的なものはありますか？ A. AppSyncのチュートリアルに関しましてはこちらからご確認ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 【AWS Innovate Online Conference】 AWS Innovate は、AWS クラウドを活用してビジネス革新を目指しているすべての IT リーダー及び IT プロフェッショナルを対象とした、最新のクラウド情報をお届けするためのオンラインカンファレンスです。この期間で、AWS初心者の方はAWSを始めるための準備を、AWS既存ユーザーの方は情報のアップデートにお役立ていただければと思います。 詳細はこちら お申し込みはこちら — 【初心者向け】AWSome Day […]

先日 (2019/8/20) 開催しました AWS Black Belt Online Seminar「Serverless モニタリング」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190820 AWS Black Belt Online Seminar Serverless モニタリング AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. トレースは、Lambda以外にEC2やECSのアプリなどでも利用可能なのでしょうか？ A. Amazon EC2: インスタンスを起動するときに、ユーザーデータのスクリプトを使用して自動的にデーモンを実行することができます。詳細は、AWS公式サイトを参照ください。 Amazon ECS: Amazon ECS で、X-Ray デーモンを実行する Docker イメージを作成し、それを Docker イメージリポジトリにアップロードして、Amazon ECS クラスターにデプロイできます。タスク定義ファイルでポートマッピングとネットワークモード設定を使用すると、アプリケーションがデーモンコンテナと通信できるようになります。詳細は、AWS公式サイトを参照ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 【AWS Innovate Online Conference】 AWS Innovate は、AWS クラウドを活用してビジネス革新を目指しているすべての IT […]

学術研究機関においては研究不正対策なども含め、研究データや関連資料の長期保存が必要となってきています。日本学術会議から公開された文章においても論文の実験データ等の資料は原則論文発表後10年保存することが必要であるとされています。 研究データや関連資料の保存のための基盤は多くの機関で必要となりますが、その際に考えるべきことは何でしょうか？ 様々なことを考える必要はありますが、例えば、 メンバー管理・アクセスコントロール ファイル等のバージョン管理 研究証跡の記録 ファイル保管 高い耐久性でかつ大容量のストレージ 長期保管 のようなことを考える必要があるでしょう。 この1〜4の部分に関しては 米国NPOである Center for Open Science  (COS)のOpen Science Framework  (OSF) など研究データ管理用のオープンソースソフトウェア等の開発が進み、国内でも国立情報学研究所などがこれらをGakuNinRDMとしてカスタマイズして提供するなど、研究データ管理基盤の利用が開始されはじめています。 研究データ管理基盤としてこのようなソフトウェア等を利用していくためには、ストレージについて考えておく必要があります。研究データは年々増える一方ですので、各機関にてストレージを確保しておく必要があります。その際に前述の5〜6についても考える必要があります。 まず高い耐久性を持つためにには、オブジェクトのコピーを複数分散して配置するなどして耐久性を高める必要があります。ストレージの容量ですが、実際に研究を進めてみなければ必要な容量が分かってきません。急激に研究が進み、保存すべきデータが急増することもあるでしょう。あまりに大きく容量を見積もりすぎてしまうと、実際にはそこまで使用しなかった場合にその分のコストが無駄になってしまいます。また長期保存の場合、サービスの永続性が重要になってきます。論文を公開してから10年ということは、論文を発表し続ける研究者にとって、常にそこから10年ということになり、永続的にストレージを確保し続けて行く必要があることを意味します(図1)。 図1　研究が継続している場合のデータ保管期間 ストレージをオンプレミスで確保しようと考えた場合、データの耐久性を確保するために、複数拠点に冗長化されたストレージを用意する必要が出てきます。運用中はディスク等の故障時の交換やハードウェアの保守期限に合わせて後継となる機器の調達、またそれに伴うデータをコピーの手間も発生します。またオンプレミスで用意する多くの場合、最初にストレージ容量を決めておかなくてはならないため、過剰な容量を確保する傾向にもなってしまいコストが増大します。 現在、SINET5とAWSはInternet Exchange(IX)でピアリングもしているため※1、各機関からAWS上に構築されているシステムへアクセスするとSINET5の出口であるIXから直接AWS入る形となり、いわゆる一般に言うインターネットには出て行くことなく通信が可能となります。 また機関で用意されるストレージ はAmazon S3※2を利用頂くことで、標準で耐久性の高いストレージを利用でき、使用した分だけの支払いとなるため、スモールスタートが可能で、研究データや関連資料の量など将来を見積もり事が難しいものを長期間保管するのに適しており、前述の5〜6に対処することができると考えられます。 さまなざな機関や組織においてクラウドを利用する機会が増えています。利用形態もいくつか選択肢があり、AWSに直接サインアップしてご利用いただくケースやAPNパートナーの請求代行サービスを利用しアカウント管理と日本円での支払いを選択いただくことも可能です。各機関に合わせた幅広い選択肢があります。一方で入札による一括でしか調達できないような場合には、単価契約での調達や、図2のように例えば「Amazon S3で月あたりの積み上げで総計T[GB]のストレージをNヶ月以上利用出来、月あたり最大M[GB]以上利用できる環境を提供すること」などとして調達することが考えられます。このようにすることで、オンプレミスのように最初から最大の容量を調達することなく、徐々に増えていくストレージを調達することが可能であると考えられます。この際機関側と契約する企業間で総計容量の上限に達した場合にどのような扱いとするのかをあらかじめ決めておくことも重要です。 図2 時間軸とストレージの容量 他方、法令やデータの置き場所を気にされるお客様もいらっしゃいますが、お客様自身でAWS カスタマーアグリーメントの準拠法を日本法に変更し、更に、同契約に関するあらゆる紛争に関する第一審裁判所を東京地方裁判所に変更※3することができます。AWS ではコンテンツの所有権と管理権をお客様にお渡ししていますので、例えば東京リージョンを選択し、そこにデータを置いている場合はデータは日本国内に留まります。詳しくはAWSのデータプライバシー※4をお読みください。 まとめ 研究データ保管のための基盤としてが研究データ管理用のオープンソースソフトウェア等の開発がすすんでいます 研究データを置くための機関側ストレージとしてAmazon S3を利用頂くことができます Amazon S3は標準で耐久性が高く、使用した分だけの課金となるため、スモールスタートが可能で、研究データや関連資料の長期保存にも向いています   ※1  Amazon Web Services ブログ「学術研究機関でのSINET5を経由したAWSの利用」: https://aws.amazon.com/jp/blogs/news/sinet5-aws-explain/ ※2  Amazon Simple Storage Service (Amazon […]

先日 (2019/08/14) 開催しました AWS Black Belt Online Seminar「AWS Serverless Application Model」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190814 AWS Black Belt Online Seminar AWS Serverless Application Model   AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS SAM CLI 自体を Docker コンテナの中で実行することは可能でしょうか？ A. Docker コンテナの中で実行することも可能です。ただし、Lambda 関数のローカル実行や、コンテナを利用したビルドを行う場合、コンテナの中でコンテナを起動する形になるため、たとえば docker コマンドの実行時に privileged フラグを付与するといった、いわゆる docker in docker の構成でコンテナを起動するための手続きは必要になりますので、ご留意いただければと思います。 Q. 自動で生成されるLambdaの単体テストはどのように実施できるのでしょうか？ A. SAM CLI の sam init コマンドにより自動生成される […]

こんにちは！ AWS Webinarチームより、来週8月29日（木）の15時から開催いたします「AWSome Day Online Conference」をご案内させていただきます。 日程：8月29日（木） 時間：15:00-17:30終了予定 視聴方法はこちらからお申込みください。 AWSome Dayとは？ 「AWSome Day」は、AWS クラウドジャーニーのはじめの一歩として、AWS に関する基礎知識を 1 日で体系的に学ぶ無償のトレーニングイベントです。AWS テクニカルインストラクターが主導するセッションを通じて、コンピューティング、ストレージ、データベース、ネットワークといった AWS の主要なサービスを段階的に学ぶことができます。また、AWSに関わる方への基礎知識として、請求、アカウントマネジメント、料金モデル等、実際の導入に向けた内容となっております。技術的な面だけではなく、これから AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。 「AWSome Day Online」は、AWS クラウドジャーニーのはじめの一歩として、AWS に関する基礎知識を実際に足を運んでいただく 1 日の AWSome Day の内容を 2.5 時間に凝縮し、ポイントを押さえて紹介いたします。短時間で、場所を選ばずに学習したい方はぜひ、ご活用ください！ AWS Webinarチーム