Блог Amazon Web Services

Category: Analytics

Способы обработки данных для AI/ML

В рамках статьи, мы посмотрим на основные варианты обработки данных для ML, и дадим рекомендации как выбрать тот из них, который подходит и для ваших задач, и для команд, предпочитающих работать с Python, Spark, SQL и другим инструментарием.
Важными факторами для выбора способа обработки данных могут быть уровень опыта команды, и ее склонность к написанию кода или управлению инфраструктурой. Чем меньше уровень опыта, тем предпочтительнее использование управляемых сервисов, вместо подхода «настрой всё сам».

Read More

Использование самостоятельно установленной Apache Kafka в качестве источника событий для AWS Lambda

Теперь, когда самостоятельно установленная Kafka поддерживается в качестве источника событий для AWS Lambda, вы можете обрабатывать сообщения из топиков (topics) в функциях Lambda. Это облегчает интеграцию ваших самостоятельно установленных кластеров Kafka с последующими бессерверными процессами обработки данных. В этой статье я объясню, как самостоятельно установить кластер Apache Kafka на Amazon EC2 и настроить ключевые элементы сетевой конфигурации. Я также покажу, как создать функцию Lambda для обработки сообщений из топика Kafka.

Read More

Новость – Amazon EMR на Amazon Elastic Kubernetes Service (EKS)

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.

Read More

Анализ данных в реальном времени с бессерверной (serverless) потоковой обработкой

Продолжая тему, начатую в предыдущих постах этой серии о паттернах обмена сообщениями и интеграции приложений с помощью очередей, сегодня мы рассмотрим потоковую обработку, и как она помогает осуществлять анализ данных с низкой задержкой, практически в режиме реального времени.

Read More

Введение в обмен сообщениями в современных облачных архитектурах

В этой серии постов мы рассмотрим лучшие практики по обмену сообщениями в ваших приложениях. В этом посте мы рассмотрим несколько основных концептов, и как они могут быть использованы для решения проблем при проектировании современных облачных архитектур.

Read More