Сервис Amazon Athena для Apache Spark теперь доступен в ноутбуках Amazon SageMaker
Amazon SageMaker теперь поддерживает Amazon Athena для Apache Spark, что позволяет использовать новые возможности ноутбуков и быстрый бессерверный интерфейс Spark в едином рабочем пространстве. Теперь у аналитиков, инженеров и исследователей данных есть единая среда, позволяющая запрашивать данные, запускать код на Python, создавать задачи, обучать модели, визуализировать данные и работать с ИИ, без необходимости управления инфраструктурой и с оплатой по факту использования.
Athena для Apache Spark масштабируется за считанные секунды и поддерживает любые рабочие нагрузки – от интерактивных запросов до задач с петабайтами данных. Athena для Apache Spark теперь работает на Spark версии 3.5.6 – высокопроизводительном движке Spark, который используется в сервисах AWS и оптимизирован для открытых форматов таблиц, включая Apache Iceberg и Delta Lake. Он предоставляет новые функции отладки, мониторинг в реальном времени через интерфейс Spark UI, а также безопасное интерактивное взаимодействие с кластером через Spark Connect. При использовании этих возможностей для работы с данными Athena для Spark теперь применяет контроль доступа на уровне таблиц, определенный в AWS Lake Formation.
Сервис Athena для Apache Spark теперь доступен с ноутбуками Amazon SageMaker во всех регионах, где предоставляется Единая студия Amazon SageMaker. Дополнительные сведения см. на странице движка Apache Spark версии 3.5, в новостном блоге AWS или в документации Amazon SageMaker. Ознакомьтесь с руководством по началу работы, чтобы попробовать его в ноутбуках Amazon SageMaker.