Category: Analytics

В рамках статьи, мы посмотрим на основные варианты обработки данных для ML, и дадим рекомендации как выбрать тот из них, который подходит и для ваших задач, и для команд, предпочитающих работать с Python, Spark, SQL и другим инструментарием.
Важными факторами для выбора способа обработки данных могут быть уровень опыта команды, и ее склонность к написанию кода или управлению инфраструктурой. Чем меньше уровень опыта, тем предпочтительнее использование управляемых сервисов, вместо подхода «настрой всё сам».

Теперь, когда самостоятельно установленная Kafka поддерживается в качестве источника событий для AWS Lambda, вы можете обрабатывать сообщения из топиков (topics) в функциях Lambda. Это облегчает интеграцию ваших самостоятельно установленных кластеров Kafka с последующими бессерверными процессами обработки данных. В этой статье я объясню, как самостоятельно установить кластер Apache Kafka на Amazon EC2 и настроить ключевые элементы сетевой конфигурации. Я также покажу, как создать функцию Lambda для обработки сообщений из топика Kafka.

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.

Продолжая тему, начатую в предыдущих постах этой серии о паттернах обмена сообщениями и интеграции приложений с помощью очередей, сегодня мы рассмотрим потоковую обработку, и как она помогает осуществлять анализ данных с низкой задержкой, практически в режиме реального времени.

В этой серии постов мы рассмотрим лучшие практики по обмену сообщениями в ваших приложениях. В этом посте мы рассмотрим несколько основных концептов, и как они могут быть использованы для решения проблем при проектировании современных облачных архитектур.