Amazon Web Services ブログ

Bristol-Myers Squibb が AWS Storage Gateway と Amazon S3 を使用して科学データを管理する方法

Bristol-Myers Squibb (BMS) は、革新的な医薬品を発見し、開発することで、深刻な病気の治療、管理、治療に貢献しています。AWS のサービスを多数使用して、科学データ、ラボでのワークフロー、大規模な計算を管理し、分子データ、細胞データセット、臨床データセットを分析しています。BMS のラボで生成したゲノミクスや臨床データは、飛躍的な速さで膨張しています。それだけにとどまらず、BMS では学術医療センター、医療プロバイダー、その他の共同研究者などの外部ソースからも、さまざまな臨床データを収集しています。いろいろなデータのソースがあるため、データ形式の種類は幅広くなります。 結果として、ペタバイト規模のデータセットを統合して分析するには、BMS にとってクラウドは最も便利なツールになります。オンプレミスのデータセンターからサイロ化されたデータにアクセスするのとは異なり、クラウドでは膨張しつつあるデータセットに社内の関係者によるオンデマンドでのアクセスが可能となるため、BMS での科学的革新の加速に貢献しています。現在 AWS が提供している数多くのクラウドストレージサービスの中でも、Amazon Simple Storage Service (Amazon S3) と AWS Storage Gateway は BMS で中心的な役割を果たしています。これらのサービスは、科学データを臨床データレイクに移動させ、さまざまな手法や方法を利用して数え切れないほどのライフサイエンスデータ分析プロセスを行うサポートとなっています。 Amazon S3 は、業界をリードするスケーラビリティ、データの可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。Storage Gateway はハイブリッドのクラウドストレージサービスで、オンプレミスで実質的に無制限のクラウドストレージにアクセスすることが可能となります。 このブログ投稿では、私がシニアクラウドアーキテクトとして勤務する BMS が、ライフサイエンスアプリケーションで Amazon S3 と Storage Gateway をどのように使用しているかに焦点を当てています。この投稿はある程度まで、AWS re:Invent 2019 で行われたプレゼンテーションの「STG305 Build hybrid storage architectures with AWS Storage Gateway」に沿っています。これは、数ヶ月前に上司である Mohamad Shaikh 氏と共に発表したものです。 このセッションにおいてカバーしきれなかった BMS での Amazon […]

Read More

Apache Flink と Amazon Kinesis Data Analytics を使用した ETL のストリーミング

ほとんどの企業は、リアルタイムで増え続ける量のデータを継続的に生成します。データは、ユーザーがモバイルゲームをプレイし、ロードバランサーがリクエストをログに記録し、顧客がウェブサイトで買い物をし、IoT センサーの温度が変化する場合に生成されます。このデータを迅速に分析することで、時間に敏感なイベントを活用し、顧客体験を向上させ、効率を高め、イノベーションを促進できます。多くの場合、これらの洞察を得る速度は、データレイク、データストア、およびその他の分析ツールにデータをロードできる速度に依存します。データの量と速度が増加するにつれて、着信データをロードするだけでなく、ほぼリアルタイムで変換および分析することも重要になります。 この記事では、洗練されたストリーミング抽出・変換・ロード (ETL) パイプラインの基礎として Apache Flink を使用する方法について説明します。Apache Flink は、データストリームを処理するためのフレームワークおよび分散処理エンジンです。AWS は、Amazon Kinesis Data Analytics を介して Apache Flink に完全マネージド型サービスを提供します。これにより、洗練されたストリーミングアプリケーションを迅速かつ簡単に、運用オーバーヘッドを抑えて、構築および実行できます。 この記事では、Apache Flink と Kinesis Data Analytics を使用して強力で柔軟なストリーミング ETL パイプラインを実装するために必要な概念について説明します。また、さまざまなソースとシンクのコード例を調べます。詳細については、GitHub リポジトリを参照してください。リポジトリには AWS CloudFormation テンプレートも含まれているため、数分で開始し、サンプルのストリーミング ETL パイプラインを調べることができます。 Apache Flink で ETL をストリーミングするためのアーキテクチャ Apache Flink は、無限と有限のデータストリーム上のステートフルな計算のためのフレームワークおよび分散処理エンジンです。Apache Kafka、Amazon Kinesis Data Streams、Elasticsearch、Amazon Simple Storage Service (Amazon S3) のコネクタを含む、高度にカスタマイズ可能な幅広いコネクタをサポートしています。さらに、Apache Flink は、イベントを変換、集約、強化するための強力な API を提供し、1 […]

Read More

AWS DMS を使用して Oracle から Amazon Aurora に移行する継続的なデータベースレプリケーション

これは IPG のゲスト投稿です。同社の説明によれば、「IPG は日本に拠点を置いており、テレビ関連のデータを専門に取り扱っています。日本全国の放送局から送られてきたデータを使用し、使いやすく理解しやすいようにフォーマットし、メタタグで構造化し、スマートフォンなどのプラットフォームで簡単に利用できるようにしています」 この記事では、AWS DMS を使用して、Oracle から Amazon Aurora への移行中にテストしたさまざまな最適化および MySQL 互換性について説明し、各ソリューションの欠点と利点を示し、取り扱うユースケースに最適なソリューションについて説明します。 次の図は、衛星、放送局、コンテンツプロバイダーから送られてきたデータを IPG がどのように移転させているかを示しています。 最初に Oracle データベースを使用して、テレビ番組のデータとそのさまざまな関連情報を保存および管理しました。入力データの詳細は次のとおりです。 EPG データ – 約 250,000 の番組 (地上波、BS、CS100°、新しい 4K8K の衛星放送を含む 8 日先までのテレビ番組情報) 放送局 – 約 200 の放送局と約 1000 のチャンネル コンテンツプロバイダー – 約 10 社 このデータは 30 の企業に送信され、それらの企業のサービスで使用されます。 システム操作には、40 個のバッチプログラム、10 個の操作 UI、40 個の API サービスを含むソフトウェアプログラムの複雑なネットワークを使用しました。 Oracle に関する懸念事項 このシステムは耐久性があり安定していますが、次の点に懸念がありました。 […]

Read More

Amazon API Gateway を Amazon EKS における Ingress として利用する

チームが Amazon EKS にマイクロサービスをデプロイすると、通常、フロントエンドおよびサードパーティーアプリケーションで使用する REST API を公開します。ベストプラクティスは、これらの API を API Gateway で管理することです。 これにより、API の一意のエントリポイントが提供され、各マイクロサービスのセキュリティ、キャッシュ、スロットル、監視などの API 固有のコードを実装する必要もなくなります。このパターンは、ALB Ingress Controller と Amazon API Gateway を使用して実装できます。Amazon API Gateway は、あらゆる規模でセキュアな API を管理するための完全マネージドサービスです。このアプローチは機能しますが、いくつかの構成ファイルを作成する必要があります。このタスクをどのように自動化できますか? この記事では、オープンソースソリューション API Gateway Ingress Controller の使用方法を示します。これは、Amazon API Gateway の HTTP プロキシモードを活用して Amazon EKS で実行する API をすばやく設定することで、手動手順を削減します。API Gateway Ingress Controller は、リバースプロキシポッドの前に Network Load Balancer を構成します。これは、パスベースのルーティングを処理し、HTTP リクエストをポッドにルーティングします。次の図は、この記事で説明した高レベルのアーキテクチャを示しています。 Kubernetes Ingress […]

Read More

AWS がスタートアップ企業向けに Activate Founders パッケージをスタート?

今この記事をお読みのあなたは、スタートアップ企業の方ですか? AWS は本日、スタートアップ企業向けに Activate Founders パッケージを発表いたします。???本パッケージでは新たな特典セットをご用意しています。皆さんのスタートアップ企業がベンチャーキャピタル、アクセラレーター、インキュベーターからの出資を受けていない場合は、1,000 USD の AWS Activate クレジット (有効期間 2 年) および AWS テクニカルサポートで利用できる 350 USD の AWS 開発者サポートクレジット (有効期間 1 年) の受け取りを申請できます。 ??Activate Founders パッケージの詳細については、 aws.amazon.com/activate をご覧いただき、ぜひこの機会にお申し込みください。 Activate Founders パッケージはどんなスタートアップ企業にメリットがあるのでしょうか? Activate Founders パッケージは、機関投資家からの資金提供を受けていない、または受ける計画もない多数のスタートアップ企業にメリットがあります。 Activate Founders パッケージはお客様にどんな特典がありますか? Activate Founders クレジットを使ってみましょう。?AWS でスタートアップ向けのアーキテクチャを実験、ビルド、テスト、デプロイする際のコストを削減するチャンスとなります。 AWS 開発者サポートクレジットを使用すると、スタートアップ企業では AWS テクニカルサポートに E メール?すれば、サポートケースに無制限にアクセスできます。 7 Core AWS Trusted Advisor […]

Read More

Amazon FSx for Lustre の最新情報: 長期間、高パフォーマンスワークロード用の永続ストレージ

昨年、Amazon FSx for Lustre についての記事を投稿した際、当社のお客様がサブミリ秒の遅延で、膨大な量の IOPS (1 秒あたりの入出力オペレーション数) を実現する大量の並列クライアントに対応するペビバイト規模の高度に配列化された POSIX 準拠のファイルシステムを作成するために、FSx for Lustre をどう使用できるかについてお話ししました。 マネージドサービスとして Amazon FSx for Lustre を使用することで、世界でも最も人気のある高パフォーマンスファイルシステムを簡単に起動および実行できます。お客様は機械学習、ハイパフォーマンスコンピューティング (HPC)、金融モデリングなど、速度が重要なワークロードにこのサービスを使用しています。 今後は、耐久性と可用性に優れたハイパフォーマンスファイルシステムを作成する機能と、3 つのパフォーマンスティア、そして、急激なワークロードの増加に、より良いサポートを提供するようデザインされた新しい次世代スクラッチファイルシステムをリリースすることで、Amazon FSx for Lustre を強化していきます。 最新の更新 今日のニュースの本題に入る前に、サービスに盛り込まれた最新の更新をいくつかご紹介します。 データリポジトリ API – この更新により、一連の API が導入され、FSx から S3 へ簡単にファイルをエクスポートできるようになりました。また、その中には S3 への変更済みファイルの送信を開始、監視、およびキャンセルする機能も含まれています。詳しくは、Amazon FSx for Lustre と Amazon S3 の間でデータを移動するための新しい機能強化を参照してください。 SageMaker の統合 – この更新により、Amazon FSx for Lustre ファイルシステムに保存したデータを […]

Read More

アカウント間の Amazon RDS DB インスタンスを単一の共有ドメインに参加させる

セットアップとメンテナンスを簡素化し、AWS Managed Microsoft AD ディレクトリのコストを削減しながら、Amazon Relational Database Service (RDS) for SQL Server DB インスタンスのセキュリティを強化するにはどうすればよいですか? AWS は、複数の AWS アカウントと Amazon VPC にデプロイされた Amazon RDS for SQL Server DB インスタンスが、AWS リージョン内の Microsoft Active Directory (AWS Managed Microsoft AD) の単一の AWS Directory Service に参加できるようになったことを発表しました。これにより、ディレクトリをセットアップしてそのセキュリティ設定を一度行えば、すべての DB インスタンスの認証に使用できるため、ディレクトリ対応データベースのワークロードを管理しやすくなります。この記事では、アカウント間および VPC 間ドメインに参加するために Amazon RDS DB インスタンスを準備する方法について学びます。 注: この記事は Amazon RDS for SQL […]

Read More

Amazon SageMaker で DeepChem を使用して、仮想スクリーニングを行う

 仮想スクリーニングは、膨大な量の分子ライブラリを検索して、ターゲット特性を示す可能性が最も高い構造を特定することにより、薬物または物質の発見に用いられる計算手法です。 利用できる計算時間の急激な増加とシミュレーションの絶え間ない改善により、仮想スクリーニングは分子発見のための画期的なツールになりつつあります。 ディープラーニングテクノロジーは、この計算仮想コンパウンドスクリーニングで広く使用されており、そのようなテクノロジーは飛躍的に進化しています。DeepChem は最も人気のあるオープンソースツールの 1 つで、創薬、物質科学、量子化学、生物学においてディープラーニングを広く利用できるようにしています。詳細については、GitHub の「創薬、量子化学、物質科学および生物学のためのディープラーニングの民主化」をご参照ください。 この記事では、DeepChem を Amazon SageMaker で使用する方法について説明します。Amazon SageMaker は、機械学習 (ML) モデルをすばやく簡単に構築、トレーニング、デプロイできるようにする完全マネージド型のサービスです。ML は、モデルを構築し、トレーニングし、本番環境にデプロイするプロセスが複雑で時間がかかるため、本来よりも難しいと感じることが多々あります。Amazon SageMaker はその複雑さを軽減します。 Amazon SageMaker で DeepChem をインストールする DeepChem をインストールするには、AWS アカウントをセットアップし、最初の Amazon SageMaker ノートブックインスタンスを作成します。次の手順を実行します。 AWS アカウントがまだない場合は、AWS アカウントを作成します。 AWS にサインアップすると、AWS アカウントは Amazon SageMaker を含むすべての AWS のサービスに自動的にサインアップされます。請求は、利用したサービスに対してのみ行われます。Amazon SageMaker を初めて使用する場合は、「Amazon SageMaker の仕組み」をご参照ください。 Amazon SageMaker コンソールで、[Notebook instances] を選択します。 [Create notebook instance] を選択します。 […]

Read More

Amazon EBS マルチボリュームのクラッシュ整合性のあるスナップショットを使用した Oracle のバックアップおよびリカバリのパフォーマンスの改善

 Amazon Elastic Block Store (EBS) スナップショットは、ポイントインタイムスナップショットを取得することにより、EBS ボリューム上のデータを Amazon S3 にバックアップする機能を提供します。Amazon EC2 で Oracle Database を実行し、EBS ボリュームを使用する場合、バックアップ要件を満たすために EBS スナップショットを使用している可能性があります。2019 年 5 月より前は、データベースをバックアップモードにして、データベースファイルを含む各 EBS ボリュームのスナップショットを個別に作成する必要がありました。このアプローチには、主に 3 つの欠点がありました。 データベースと対話する必要があった 複数の API を呼び出して、ボリュームの個別のスナップショットを作成する必要があった バックアップモードでは、データベースブロックは最初に変更されたときにログバッファに完全にコピーされ、これにより、特定のワークロードでより多くの REDO が生成され、データベースのパフォーマンスに影響が出る可能性がある AWS は、1 回の API 呼び出しと最小限の I/O の一時停止で、EC2 インスタンスにアタッチされたすべての EBS ボリュームにわたってクラッシュ整合性のあるスナップショットを作成できる新しい機能を 2019 年 5 月にリリースしました。詳細については、「Amazon EC2 インスタンス上の複数の Amazon EBS ボリュームにわたってクラッシュ整合性のあるスナップショットを取得する」を参照してください。 この機能と Oracle Database […]

Read More

最初の IoT ヒーローを含む最新の AWS ヒーローのご紹介!

AWS ヒーロープログラムは、地域コミュニティで活躍する傑出したリーダー個人を表彰するものです。AWS ヒーローは、AWS の知識を共有し、さまざまな方法でピアツーピア学習を促進したことで知られるようになった人たちです。AWS ヒーロープログラムは、AWS が世界中のコミュニティで色々なものを育てようという熱意が高まるにつれて拡大し、今では 35 か国に AWS ヒーローがいます。 本日、最新の AWS ヒーローをご紹介できることを嬉しく思います。ご紹介するヒーローには、ボスニア、インドネシア、ナイジェリア、スウェーデン初のヒーローや、初の IoT ヒーローが含まれます。   Joshua Arvin Lat – フィリピン首都圏 Machine Learning ヒーローの Joshua Arvin Lat は、Complete Business Online、Insites、Jepto の CTO です。彼は 9 つの AWS 認定を取得しており、認定内容領域専門家として参加し、貢献し、AWS Certified Machine Learning (アイテム開発ワークショップ中の専門試験) を更新するのを支援しました。彼は過去 4~5 年間、AWS ユーザーグループフィリピンのコアリーダーの 1 人で、さらに AWS Summit Singapore (TechFest)、AWS Community Day (メルボルン) など、いくつかの国際的な […]

Read More