Amazon Web Services ブログ

Category: Storage

Amazon Aurora MySQL から Amazon S3 Tables に Apache Iceberg 形式でデータを抽出する

Amazon Aurora MySQL Serverless v2 のデータを AWS Glue 5.0 で Amazon S3 Tables に Apache Iceberg 形式で抽出する方法を紹介します。CloudFormation テンプレートによるインフラの自動プロビジョニングからデータ移行、Amazon Athena でのクエリまでの手順を解説します。

KNFSD ファイルキャッシュのご紹介: NFS ストレージをクラウドに拡張

本記事では、KNFSD File Cache (KNFSD) の仕組みと、オンプレミスのファイラー、サードパーティ、Amazon FSx などの AWS サービスを問わず、NFS 準拠のストレージとどのように連携するかを説明します。また、単一の Terraform モジュールを使って本番環境向けのオートスケーリングクラスターをデプロイする方法も紹介します。このクラスターは、100 Gb 毎秒あたり時間 6 ドル未満で集約スループットを実現します。

Outpost VFX が ビジュアルエフェクト向けに AI モデルのトレーニングを AWS で加速した方法

本記事では、Outpost VFX が AWS インフラを活用してトレーニング速度を 8 倍に向上させ、顔置換ワークフローを刷新した方法、単一 GPU の限界を克服するために実装した技術アーキテクチャ、そして AWS マルチ GPU トレーニングで得られた具体的な成果について紹介します。

Amazon OpenSearch Service の書き込み可能なウォームストレージでコストと運用負荷を削減

Amazon OpenSearch Service に、書き込み可能なウォームストレージ (writable warm) が加わりました。UltraWarm では履歴データの更新にホットとの往復が必要でしたが、writable warm ならウォームに直接書き込めます。インフラコストは最大 48% 削減でき、更新も数時間ではなく数秒で完了します。

Metagenomi が LanceDB と Amazon S3 で実現した 10 億ベクトル超のスケーラブルな検索基盤

Metagenomi は LanceDB、Amazon S3、AWS Lambda を組み合わせ、35 億件のタンパク質エンベディングを低コストで保存・検索するサーバーレスソリューションを構築しました。データをバケット分割して並列インデックス化し、map-reduce 方式で検索する設計により、常時稼働サーバーなしで数十億ベクトル規模の近似最近傍検索を実現しています。