Category: Amazon EMR

В рамках статьи, мы посмотрим на основные варианты обработки данных для ML, и дадим рекомендации как выбрать тот из них, который подходит и для ваших задач, и для команд, предпочитающих работать с Python, Spark, SQL и другим инструментарием.
Важными факторами для выбора способа обработки данных могут быть уровень опыта команды, и ее склонность к написанию кода или управлению инфраструктурой. Чем меньше уровень опыта, тем предпочтительнее использование управляемых сервисов, вместо подхода «настрой всё сам».

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.