Amazon Web Services ブログ

Amazon SageMaker Studio と Apache Spark を用いた Delta Lake からのデータのロードと変換

AWS Lake Formation をはじめ、複数のベンダーがデータレイクアーキテクチャを作成しています。また、オープンソースのソリューションにより、企業は簡単にデータにアクセスし、ロードし、共有することができます。AWS クラウドにデータを保存するためのオプションの1つが Delta Lake です。Delta Lake ライブラリは、オープンソースの Apache Parquet ファイルフォーマットでの読み込みと書き込みを可能にし、ACID トランザクション、スケーラブルなメタデータ処理、統一されたストリーミングおよびバッチデータ処理といった機能を提供します。Delta Lake は、Amazon Simple Storage Service (Amazon S3) のようなオブジェクトレイヤーのストレージの上にデータを格納するために使用できるストレージレイヤー API を提供しています。

魅力的な顧客体験を提供するプラットフォームを学習できるリテールデモストアの紹介

こんにちは。ソリューションアーキテクトの平井です。本記事では、AWS サービスを使用して、e コマース、小売、 […]

Amazon EKS を数千ノードにスケールするまでの Mobileye の軌跡

Amazon EKS を数千ノードにスケールするまでの Mobileye の軌跡

この記事では、Mobileye の AI エンジニアリング部が Amazon EKS 上でシームレスにワークフローを実行し、毎日約 250 のワークフローをサポートしている様子を報告します。どのような構成によって、Amazon EKS クラスターを 3,000 ノード以上にスケールし、多様な種類のワークロードをサポートできるようになったのか、また大規模なクラスターにおける考慮事項についても取り上げます。

Amazon EKS のスケジューリングをカスタムする

Amazon EKS のスケジューリングをカスタマイズする

この記事では、Kubernetes によるワークロードのスケジューリングを簡単にカスタマイズする概念実証を紹介します。このソリューションでは、mutating admission webhook を使用して、Pod 作成に関するリクエストをインターセプトし、Pod をノードに割り当てます。これにより、ノードラベルを使用して Pod を任意の比率でスケジューリングする、カスタム Pod スケジューリング戦略を定義できます。

← Older posts
Newer posts →