Author: AWS Central EurAsia & Russia Team

В этом посте мы расскажем о VPC Reachability Analyzer, инструменте для сетевой диагностики, который помогает с устранением проблем доступности между двумя точками в одной или нескольких VPC.

Теперь, когда самостоятельно установленная Kafka поддерживается в качестве источника событий для AWS Lambda, вы можете обрабатывать сообщения из топиков (topics) в функциях Lambda. Это облегчает интеграцию ваших самостоятельно установленных кластеров Kafka с последующими бессерверными процессами обработки данных. В этой статье я объясню, как самостоятельно установить кластер Apache Kafka на Amazon EC2 и настроить ключевые элементы сетевой конфигурации. Я также покажу, как создать функцию Lambda для обработки сообщений из топика Kafka.

По мере увеличения объема и сложности конвейеров обработки данных вы можете упростить весь процесс, разложив его на ряд более мелких задач и скоординировав выполнение этих задач в рамках рабочего процесса (workflow). Для этого многие разработчики и инженеры по работе с данными используют Apache Airflow, платформу, созданную сообществом для программного создания, планирования и мониторинга рабочих процессов. Мы рады сообщить о доступности Amazon Managed Workflows for Apache Airflow (MWAA), полностью управляемого сервиса, который упрощает запуск версий Apache Airflow с открытым исходным кодом на AWS, а также создание рабочих процессов для выполнения ваших задач извлечения-трансформации-загрузки (ETL) и конвейеров данных.

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.

gp3 – новый тип EBS-томов на твердотельных накопителях (SSD), который позволяет настраивать производительность независимо от объема дискового пространства и предлагает на 20% более низкую цену по сравнению с существующими типами томов gp2.

В этом посте мы поговорим о новой функциональности, которая позволяет упаковывать и разворачивать Lambda-функции в виде образов контейнеров размером до 10 ГБ. Мы посмотрим, как это работает на практике на нескольких примерах. В первом мы будем использовать образ для Node.js, предоставляемый AWS, а во втором – соберём свой собственный образ для Python.

AWS re:Invent главная конференция по облачным технологиям в мире. В этом году она впервые проходит online. Ведущие русскоязычные архитекторы AWS будут регулярно проводить бесплатные Twitch стримы для обсуждения новинок и анонсов конференции.

В этом посте, я приведу пример архитектуры на основе событий, и покажу как её построить на основе Amazon SNS FIFO топиков и Amazon SQS FIFO очередей. Бывает, что события должны передаваться всем приложениям-адресатам в строгом порядке. При помощи Amazon SNS FIFO топиков и Amazon SQS FIFO очередей, вы можете построить приложение, с требованиями по строгой очередности доставки сообщений, фильтрации, дедупликации и шифрованию.

В этом блоге мы расскажем как можно комбинировать сервисы сообщений для решения некоторых проблем в распределённых архитектурах. Используя специфичный функционал каждого сервиса, можно создавать довольно продвинутые архитектурные паттерны при минимальном объёме кода. Такие комбинации могут сделать ваши приложения более отказоустойчивыми, масштабируемыми и помогут снизить объём дополнительной логики и архитектурной сложности в ваших рабочих нагрузках.

В этой статье мы рассмотрим три наиболее полезные паттерна обмена сообщениями, используемые разработчиками бессерверных приложений, – это очереди, модель «издатель – подписчик» (Pub/Sub) и шина событий. В AWS, эти паттерны реализованы в соответствующих сервисах: Amazon SQS, Amazon SNS и Amazon EventBridge. Все эти сервисы являются полностью управляемыми и высоко-доступными, без необходимости управлять базовой инфраструктурой.