Category: Analytics

AWS re:invent 2023 では、生成 AI に関する多数の発表があったため、私はこのテクノロジーを […]

生成 AI ソリューションを構築したり、リッチメディアやオーディオを検索したり、既存の検索ベースのアプリケーションによりセマンティックな検索を加えたりするには、OpenSearch は有能なベクトルデータベースです。OpenSearch は様々なエンジン、アルゴリズム、距離尺度をサポートしており、適切なソリューションを構築することができます。OpenSearch は、低レイテンシで数十億のベクトルに対応できる、スケーラブルなエンジンを提供します。OpenSearch とそのベクトル DB 機能により、ユーザーは簡単に 8 フィートの青いソファを見つけ、暖かい火のそばでリラックスできます。

Amazon OpenSearch Service は、ワークロード固有の要件を満たすための複数のドメイン設定 […]

1月22日週も当社のサービスチームはお客様のためにイノベーションを続けており、Amazon Web Servi […]

1月30日は、データ統合ジョブのオーサリングとトラブルシューティングに自然言語を使用することができる AWS […]

Amazon Athena for Apache Spark は、インタラクティブに Spark プログラムを実行できるサーバーレスサービスです。この投稿では、Amazon Athena for Apache Spar を使って Apache Iceberg、Apache Hudi、Linux Foundation Delta Lake などのオープンソースのトランザクション処理可能なテーブルフォーマット (Open Table Format – OTF) を利用する方法をガイドします。

2024 年 4 月に、AWS Certified Data Analytics – Specialty (DAS)、AWS Certified Database – Specialty (DBS)、AWS Certified: SAP on AWS – Specialty (PAS) の 3 つの AWS 認定を廃止します。また、2024 年 3 月からは新たに AWS Certified Data Engineer – Associate (DEA) の提供を開始します。廃止される AWS 認定の取得や再認定をする場合は、期日までに試験を受験してください。

Amazon OpenSearch Service は、AWS クラウドで OpenSearch クラスターを大規模に安全にデプロイし運用するのを簡単にするマネージドサービスです。昨年、Shard indexing backpressure と アドミッションコントロール を導入しました。これはクラスターリソースと入力トラフィックをモニタリングして、メモリ不足などの安定性のリスクを引き起こす可能性のあるリクエストを選択的に拒否したり、メモリの競合、CPUの飽和、GC オーバーヘッドなどによるクラスター パフォーマンスへの影響を軽減します。

OpenSearch Service の Search Backpressure と CPU ベースのアドミッションコントロールをご紹介できることを嬉しく思います。これにより、クラスターの回復力がさらに向上します。これらの改善は、OpenSearch のバージョン 1.3 以降のすべてのバージョンで利用できます。

OpenSearch は、リアルタイムアプリケーションモニタリング、ログ分析、ウェブサイト検索など、幅広いユースケースで使用される分散型のオープンソースの検索と分析スイートです。Amazon OpenSearch Service は、大規模な OpenSearch クラスターを安全に展開し運用することを容易にするマネージドサービスです。Amazon OpenSearch Service は、ユースケースに合わせた幅広いクラスター構成を提供します。2021 年に、自動メモリ管理の機能を Auto-Tune の下でリリースしました。Auto-Tune は、Amazon OpenSearch Service の適応型リソース管理システムで、リクエストを継続的にモニタリングし、効率とパフォーマンスを向上させるためにクラスターリソースを最適化します。

昨今のデータドリブンな世界では、組織は拡大し続けるデータエコシステムから貴重な洞察を管理し、抽出する上で、前例のない課題に直面しています。データ資産とユーザーの数が増えるにつれ、データ管理とガバナンスに対する従来のアプローチではもはや間に合いません。顧客は現在、権限管理を分散化するためのより高度なアーキテクチャを構築しています。これにより、中央のガバナンスチームに律速されることなく、個々のユーザーグループが独自のデータ製品を構築して管理できるようになります。 AWS Lake Formation のコア機能の1つは、 AWS Glue Data Catalog のデータベース、テーブル、カラムなどのリソースのサブセットに対する権限をデータスチュワードに委任することです。これにより、誰がリソースにアクセスできるかを決定できるようになり、データレイクの権限管理を分散化できます。 Lake Formation にはデータスチュワードが独自の Lake Formation タグを作成してアクセス権を管理できる機能が追加されました。 Lake Formation タグベースアクセス制御 (LF-TBAC) は、属性に基づいて権限を定義する認証戦略です。 Lake Formation ではこれらの属性を LF タグと呼びます。 LF-TBAC は、データカタログリソースが多数ある場合に Lake Formation の権限を付与する方法として推奨されます。 LF-TBAC は、名前付きリソース方式よりスケーラブルで、権限管理のオーバヘッドも少なくて済みます。この記事では、 LF タグの作成、管理、権限付与をデータスチュワードに委任するプロセスについて説明します。