Блог Amazon Web Services

По мере увеличения объема и сложности конвейеров обработки данных вы можете упростить весь процесс, разложив его на ряд более мелких задач и скоординировав выполнение этих задач в рамках рабочего процесса (workflow). Для этого многие разработчики и инженеры по работе с данными используют Apache Airflow, платформу, созданную сообществом для программного создания, планирования и мониторинга рабочих процессов. Мы рады сообщить о доступности Amazon Managed Workflows for Apache Airflow (MWAA), полностью управляемого сервиса, который упрощает запуск версий Apache Airflow с открытым исходным кодом на AWS, а также создание рабочих процессов для выполнения ваших задач извлечения-трансформации-загрузки (ETL) и конвейеров данных.

Сегодня мы анонсируем выход на рынок Amazon EMR на Amazon EKS, новой возможности развертывания EMR, которая позволяет клиентам автоматизировать инициализацию и управление фреймворками с открытым исходным кодом для работы с большими объемами данных на Amazon EKS. С помощью EMR на EKS клиенты теперь могут запускать приложения Spark совместно с другими типами приложений на одном и том же кластере EKS для повышения эффективности использования вычислительных ресурсов и упрощения управления инфраструктурой.

gp3 – новый тип EBS-томов на твердотельных накопителях (SSD), который позволяет настраивать производительность независимо от объема дискового пространства и предлагает на 20% более низкую цену по сравнению с существующими типами томов gp2.

В этом посте мы поговорим о новой функциональности, которая позволяет упаковывать и разворачивать Lambda-функции в виде образов контейнеров размером до 10 ГБ. Мы посмотрим, как это работает на практике на нескольких примерах. В первом мы будем использовать образ для Node.js, предоставляемый AWS, а во втором – соберём свой собственный образ для Python.

Сегодня мы представляем новый тип инстансов — Amazon EC2 Mac, работающий на Mac mini и AWS Nitro System, для копиляции, тестирования, сборки и подписывания Xcode-приложений для платформы Apple (macOS, iOS, iPadOS, tvOS, watchOS, и Safari). Инстансы основаны на 8 поколении 6-ядерных процессоров Intel Core i7 (Coffee Lake) с частотой 3.2 GHz, с Turbo Boost разгоном до 4.6 GHz.

AWS re:Invent главная конференция по облачным технологиям в мире. В этом году она впервые проходит online. Ведущие русскоязычные архитекторы AWS будут регулярно проводить бесплатные Twitch стримы для обсуждения новинок и анонсов конференции.

В этом посте, я приведу пример архитектуры на основе событий, и покажу как её построить на основе Amazon SNS FIFO топиков и Amazon SQS FIFO очередей. Бывает, что события должны передаваться всем приложениям-адресатам в строгом порядке. При помощи Amazon SNS FIFO топиков и Amazon SQS FIFO очередей, вы можете построить приложение, с требованиями по строгой очередности доставки сообщений, фильтрации, дедупликации и шифрованию.

В этом блоге мы расскажем как можно комбинировать сервисы сообщений для решения некоторых проблем в распределённых архитектурах. Используя специфичный функционал каждого сервиса, можно создавать довольно продвинутые архитектурные паттерны при минимальном объёме кода. Такие комбинации могут сделать ваши приложения более отказоустойчивыми, масштабируемыми и помогут снизить объём дополнительной логики и архитектурной сложности в ваших рабочих нагрузках.

В этой статье мы рассмотрим три наиболее полезные паттерна обмена сообщениями, используемые разработчиками бессерверных приложений, – это очереди, модель «издатель – подписчик» (Pub/Sub) и шина событий. В AWS, эти паттерны реализованы в соответствующих сервисах: Amazon SQS, Amazon SNS и Amazon EventBridge. Все эти сервисы являются полностью управляемыми и высоко-доступными, без необходимости управлять базовой инфраструктурой.

Представляем AWS Network Firewall, высокодоступный управляемый сервис для межсетевого экрана в вашем VPC. Сервис позволяет довольно просто разворачивать и управлять: проверками с сохранением состояния (stateful inspection); предотвращением и обнаружением вторжений; и фильтрацией веб-трафика для защиты ваших виртуальных сетей в AWS. Network Firewall автоматически масштабируется вместе с изменением объёма трафика, обеспечивая высокую доступность без дополнительных инвестиций клиентов в инфраструктуру безопасности.