Amazon MSK теперь поддерживает в пять раз больше разделов для экспресс-брокеров
Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK) теперь поддерживает в пять раз больше разделов на каждый экспресс-брокер, что обеспечивает на 50 % лучшее соотношение цены и производительности для рабочих нагрузок, связанных с разделами. Экспресс-брокеры являются одним из типов брокеров в Amazon MSK, который способен обеспечить в три раза большую пропускную способность, в 20 раз более быстрое масштабирование и на 90 % более быстрое восстановление по сравнению со стандартными брокерами Apache Kafka. С запуском новых возможностей хостинг рабочих нагрузок, связанных с разделами, становится возможным на меньшем числе брокеров. Например, инстансы m7g.16xlarge теперь поддерживают до 20 000 разделов на каждый брокер вместо 4000 разделов, как раньше. Чтобы дополнительно повысить устойчивость кластеров, Amazon MSK теперь также ограничивает максимальное количество разделов, которое можно создать для каждого экспресс-брокера. Эти квоты помогают поддерживать стабильность кластера, предотвращая ситуацию, когда число разделов превышает безопасное пороговое значение при повышенных лимитах.
Расширенная поддержка разделов особенно полезна для приложений потоковой передачи с многочисленными темами, микросервисных архитектур с большим количеством небольших тем, конвейеров получения данных, поддерживающих множество источников данных, и другого. Эти улучшения теперь доступны во всех регионах AWS, где предлагаются экспресс-брокеры Amazon MSK, без дополнительной платы. Дополнительные сведения о лимитах разделов для разных типов инстансов, а также рекомендации по масштабированию рабочих нагрузок Apache Kafka см. в нашей документации.