Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

研究データ管理基盤でのAmazon S3の活用

学術研究機関においては研究不正対策なども含め、研究データや関連資料の長期保存が必要となってきています。日本学術会議から公開された文章においても論文の実験データ等の資料は原則論文発表後10年保存することが必要であるとされています。 研究データや関連資料の保存のための基盤は多くの機関で必要となりますが、その際に考えるべきことは何でしょうか? 様々なことを考える必要はありますが、例えば、 メンバー管理・アクセスコントロール ファイル等のバージョン管理 研究証跡の記録 ファイル保管 高い耐久性でかつ大容量のストレージ 長期保管 のようなことを考える必要があるでしょう。 この1〜4の部分に関しては 米国NPOである Center for Open Science  (COS)のOpen Science Framework  (OSF) など研究データ管理用のオープンソースソフトウェア等の開発が進み、国内でも国立情報学研究所などがこれらをGakuNinRDMとしてカスタマイズして提供するなど、研究データ管理基盤の利用が開始されはじめています。 研究データ管理基盤としてこのようなソフトウェア等を利用していくためには、ストレージについて考えておく必要があります。研究データは年々増える一方ですので、各機関にてストレージを確保しておく必要があります。その際に前述の5〜6についても考える必要があります。 まず高い耐久性を持つためにには、オブジェクトのコピーを複数分散して配置するなどして耐久性を高める必要があります。ストレージの容量ですが、実際に研究を進めてみなければ必要な容量が分かってきません。急激に研究が進み、保存すべきデータが急増することもあるでしょう。あまりに大きく容量を見積もりすぎてしまうと、実際にはそこまで使用しなかった場合にその分のコストが無駄になってしまいます。また長期保存の場合、サービスの永続性が重要になってきます。論文を公開してから10年ということは、論文を発表し続ける研究者にとって、常にそこから10年ということになり、永続的にストレージを確保し続けて行く必要があることを意味します(図1)。 図1 研究が継続している場合のデータ保管期間 ストレージをオンプレミスで確保しようと考えた場合、データの耐久性を確保するために、複数拠点に冗長化されたストレージを用意する必要が出てきます。運用中はディスク等の故障時の交換やハードウェアの保守期限に合わせて後継となる機器の調達、またそれに伴うデータをコピーの手間も発生します。またオンプレミスで用意する多くの場合、最初にストレージ容量を決めておかなくてはならないため、過剰な容量を確保する傾向にもなってしまいコストが増大します。 現在、SINET5とAWSはInternet Exchange(IX)でピアリングもしているため※1、各機関からAWS上に構築されているシステムへアクセスするとSINET5の出口であるIXから直接AWS入る形となり、いわゆる一般に言うインターネットには出て行くことなく通信が可能となります。 また機関で用意されるストレージ はAmazon S3※2を利用頂くことで、標準で耐久性の高いストレージを利用でき、使用した分だけの支払いとなるため、スモールスタートが可能で、研究データや関連資料の量など将来を見積もり事が難しいものを長期間保管するのに適しており、前述の5〜6に対処することができると考えられます。 さまなざな機関や組織においてクラウドを利用する機会が増えています。利用形態もいくつか選択肢があり、AWSに直接サインアップしてご利用いただくケースやAPNパートナーの請求代行サービスを利用しアカウント管理と日本円での支払いを選択いただくことも可能です。各機関に合わせた幅広い選択肢があります。一方で入札による一括でしか調達できないような場合には、単価契約での調達や、図2のように例えば「Amazon S3で月あたりの積み上げで総計T[GB]のストレージをNヶ月以上利用出来、月あたり最大M[GB]以上利用できる環境を提供すること」などとして調達することが考えられます。このようにすることで、オンプレミスのように最初から最大の容量を調達することなく、徐々に増えていくストレージを調達することが可能であると考えられます。この際機関側と契約する企業間で総計容量の上限に達した場合にどのような扱いとするのかをあらかじめ決めておくことも重要です。 図2 時間軸とストレージの容量 他方、法令やデータの置き場所を気にされるお客様もいらっしゃいますが、お客様自身でAWS カスタマーアグリーメントの準拠法を日本法に変更し、更に、同契約に関するあらゆる紛争に関する第一審裁判所を東京地方裁判所に変更※3することができます。AWS ではコンテンツの所有権と管理権をお客様にお渡ししていますので、例えば東京リージョンを選択し、そこにデータを置いている場合はデータは日本国内に留まります。詳しくはAWSのデータプライバシー※4をお読みください。 まとめ 研究データ保管のための基盤としてが研究データ管理用のオープンソースソフトウェア等の開発がすすんでいます 研究データを置くための機関側ストレージとしてAmazon S3を利用頂くことができます Amazon S3は標準で耐久性が高く、使用した分だけの課金となるため、スモールスタートが可能で、研究データや関連資料の長期保存にも向いています   ※1  Amazon Web Services ブログ「学術研究機関でのSINET5を経由したAWSの利用」: https://aws.amazon.com/jp/blogs/news/sinet5-aws-explain/ ※2  Amazon Simple Storage Service (Amazon […]

Read More

[AWS Black Belt Online Seminar] AWS Serverless Application Model 資料及び QA 公開

先日 (2019/08/14) 開催しました AWS Black Belt Online Seminar「AWS Serverless Application Model」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190814 AWS Black Belt Online Seminar AWS Serverless Application Model from Amazon Web Services Japan   AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. AWS SAM CLI 自体を Docker コンテナの中で実行することは可能でしょうか? A. Docker コンテナの中で実行することも可能です。ただし、Lambda 関数のローカル実行や、コンテナを利用したビルドを行う場合、コンテナの中でコンテナを起動する形になるため、たとえば docker コマンドの実行時に privileged フラグを付与するといった、いわゆる docker in docker の構成でコンテナを起動するための手続きは必要になりますので、ご留意いただければと思います。 Q. 自動で生成されるLambdaの単体テストはどのように実施できるのでしょうか? A. SAM […]

Read More

8 月29日(木)にAWSome Day Online Conferenceを開催いたします

こんにちは! AWS Webinarチームより、来週8月29日(木)の15時から開催いたします「AWSome Day Online Conference」をご案内させていただきます。 日程:8月29日(木) 時間:15:00-17:30終了予定 視聴方法はこちらからお申込みください。 AWSome Dayとは? 「AWSome Day」は、AWS クラウドジャーニーのはじめの一歩として、AWS に関する基礎知識を 1 日で体系的に学ぶ無償のトレーニングイベントです。AWS テクニカルインストラクターが主導するセッションを通じて、コンピューティング、ストレージ、データベース、ネットワークといった AWS の主要なサービスを段階的に学ぶことができます。また、AWSに関わる方への基礎知識として、請求、アカウントマネジメント、料金モデル等、実際の導入に向けた内容となっております。技術的な面だけではなく、これから AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。 「AWSome Day Online」は、AWS クラウドジャーニーのはじめの一歩として、AWS に関する基礎知識を実際に足を運んでいただく 1 日の AWSome Day の内容を 2.5 時間に凝縮し、ポイントを押さえて紹介いたします。短時間で、場所を選ばずに学習したい方はぜひ、ご活用ください! AWS Webinarチーム

Read More

IoTソリューションにおける10のゴールデンルール

Internet of Things(IoT)ソリューションは、さまざまな業界や用途で業務と顧客体験を変革するのに役立ちます。その無限の機会は興奮をもたらしますが、セキュリティ、リスク、プライバシーの懸念も持っています。顧客、デバイス、および企業を保護するには、すべてのIoTソリューションがセキュリティで始まり、セキュリティで終わる必要があります。最高のIoTセキュリティソリューションは、エッジからクラウドまでの多層保護を提供し、IoTデバイス、接続、およびデータを保護します。理想的には、独自の要件と制約に合わせたIoTソリューションのすべてのビルディングブロックについて、セキュリティプラクティスでパブリックに知られている再利用可能なリストに依存することができます。ただし、実際には、セキュリティルールをガイドとして使用して、セキュリティ戦略の少なくとも一部を自分で計画する必要があります。設計と実装から継続的な運用と管理まで、ビジネスとIoTエコシステムの保護に役立つ次のベストプラクティスをまとめました。高レベルの推奨事項のリストも各ルールに従います。これらの推奨事項は完全なリストではなく、各ルールの背景にある基本概念を明確にするものになります。

Read More

[AWS Black Belt Online Seminar] AWS Glue 資料及び QA 公開

先日 (2019/8/6) 開催しました AWS Black Belt Online Seminar「AWS Glue」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。     20190806 AWS Black Belt Online Seminar AWS Glue from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. データソースをクロールする際にデータソース側で開放するポートはなんですか? A. データソースがVPC内に存在するRDSやRedshiftの場合、クローラーからアクセスするためには「すべての TCP ポート」に対して自己参照のインバウンドルールを持つセキュリティグループを指定します。自己参照ルールを作成することで、ソースを VPC 内の同じセキュリティグループに制限することができる為、ネットワーク全体には公開されません。なお、VPCのデフォルトのセキュリティグループには、すでに ALL Traffic (すべてのトラフィック) の自己参照インバウンドルールがある場合があります。 また、オンプレミスのデータベースを使用する場合、接続するデータベースのポートおよびネットワークへのアクセスができるように、ファイアウォールを設定していただく必要があります。下記、参考URLをご確認ください。 ・JDBC データストアに接続するための VPC の設定はこちら ・How to access and analyze on-premises data stores using AWS […]

Read More

TCP BBR 輻輳制御による Amazon CloudFront のパフォーマンス向上

コンテンツデリバリネットワーク (CDN) が提供すべき重要な要素の1つとしてパフォーマンスがあります。パフォーマンスの良さを示す2つの観点としてレイテンシーとスループットがあり、これらが優れていると大量の情報を高速にかつ安定して送ることができます。

Read More
週刊AWS

週刊AWS – 2019/8/12週

みなさん、こんにちは!ソリューションアーキテクトの下佐粉です。 毎日暑い日が続きますね。東京では最高気温が37℃になる日もあります。こういう時こそ前々回で書いた日傘が役に立つのですが、人混みの中ではさすのが難しい事もあります。なので帽子も買っておこうかと思っているのですが、なかなか日々の通勤で使えそうな物が見つからずにいます。使いやすい帽子をご存知であればぜひ教えてください。 それでは、先週の主なアップデートについて振り返っていきましょう。

Read More

【開催報告】AWS re:Inforce 2019 re:Cap Seminar

2019年7月30日、AWS Loft Tokyo にて、AWS re:Inforce 2019 で発表・紹介されたセキュリティサービスやソリューションの最新情報を振り返るイベントが開催されました。 AWS re:Inforce 2019 とは、2019年6月25、26日に米国ボストンで開催された AWS セキュリティ&コンプライアンス最大のカンファレンスです。エンドユーザー様、パートナー様を中心に、世界50カ国以上中から8,000人以上の来場者が集まりました。基調講演や170を超えるセッション、パートナー様展示ブースからなる Security Learning Hub、参加者同士のネットワーキングイベントなどからなるとても大きなイベントでした。 そこで本セミナーでは、AWS re:Inforce 2019 に参加されたAWS利用者を迎え、企業のセキュリティ意思決定者・担当者に向けて効率的に情報収集いただく目的で開催されました。以下より、登壇者の発表から伝わる AWS re:Inforce 2019 の熱気をお感じください!

Read More

Amazon SageMaker 2019年4月から8月のアップデート

みなさま、こんにちは。AWS 機械学習ソリューションアーキテクトの大渕です。 すでにみなさまにご利用いただいている機械学習のマネージドサービス Amazon SageMaker ですが、現在も新機能がどんどん追加されています。そこで今回は、2019 年 4 月から 8 月までに Amazon SageMaker に追加された機能をご紹介したいと思います。 ご自身にピッタリの機能がないか、ぜひチェックしてみてください。

Read More
週刊AWS

週刊AWS – 2019/8/5週

こんにちは、AWSソリューションアーキテクトの小林です。関東は梅雨明け直後から大変な暑さですが、みなさまいかがお過ごしでしょうか?今週からお盆休みの方が多いようで、通勤電車もいつになく空いており快適でした。私は混む時期を避けて夏休みを取ることが多いのですが、お盆期間中は電車が空いているのも大きなメリットのひとつですね。デメリットは、お気に入りのランチスポットがお盆休みでやっていないリスクがあることです(これはとても残念)。

Read More