Блог Amazon Web Services

Распространённый функционал в Amazon SQS – это очереди необрабатываемых сообщений (DLQ). DLQ используется для хранения сообщений, которые не могут быть обработаны потребителем. Данный пост описывает как добавить отказоустойчивости в автоматизированном режиме к вашим SQS очередям. Этот механизм мониторит DLQ и отправляет сообщения обратно в основную очередь, чтобы проверить возможность их повторной обработки.

Знакомимся с возможностями нового сервиса для хранения и работы с ML-признаками — SageMaker Feature Store

Из этой статьи вы узнаете, как развернуть приложение на Laravel с использованием бессерверного подхода. Laravel – это фреймворк с открытым исходным кодом для веб-приложений на языке PHP.

Amazon Managed Service для Prometheus (AMP) — это совместимый с Prometheus сервис мониторинга контейнерной инфраструктуры и метрик приложений для контейнеров, который упрощает клиентам настройку безопасного мониторинга масштабируемых контейнерных окружений.

Amazon Managed Service for Grafana (AMG) – это полностью управляемый и безопасный сервис для визуализации данных, который позволяет клиентам быстро запрашивать, сопоставлять и визуализировать операционные метрики, логи и трассировки своих приложений из нескольких источников. AMG основан на проекте Grafana с открытым исходным кодом. В этом посте рассмотрим, как начать работу с ним.

Часто наши клиенты хотят ограничить команды, которые можно запускать на инстансах Amazon EC2 при подключении к ним с использованием интерактивных сессий AWS Systems Manager Session Manager. В этой статье мы продемонстрируем, как можно настроить группы пользователей так, чтобы разрешить им выполнение разных наборов команд в AWS Systems Manager Session Manager.

В этом посте мы расскажем о VPC Reachability Analyzer, инструменте для сетевой диагностики, который помогает с устранением проблем доступности между двумя точками в одной или нескольких VPC.

Теперь, когда самостоятельно установленная Kafka поддерживается в качестве источника событий для AWS Lambda, вы можете обрабатывать сообщения из топиков (topics) в функциях Lambda. Это облегчает интеграцию ваших самостоятельно установленных кластеров Kafka с последующими бессерверными процессами обработки данных. В этой статье я объясню, как самостоятельно установить кластер Apache Kafka на Amazon EC2 и настроить ключевые элементы сетевой конфигурации. Я также покажу, как создать функцию Lambda для обработки сообщений из топика Kafka.

По мере увеличения объема и сложности конвейеров обработки данных вы можете упростить весь процесс, разложив его на ряд более мелких задач и скоординировав выполнение этих задач в рамках рабочего процесса (workflow). Для этого многие разработчики и инженеры по работе с данными используют Apache Airflow, платформу, созданную сообществом для программного создания, планирования и мониторинга рабочих процессов. Мы рады сообщить о доступности Amazon Managed Workflows for Apache Airflow (MWAA), полностью управляемого сервиса, который упрощает запуск версий Apache Airflow с открытым исходным кодом на AWS, а также создание рабочих процессов для выполнения ваших задач извлечения-трансформации-загрузки (ETL) и конвейеров данных.

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.