Amazon Data Firehose теперь доставляет потоковые данные в режиме реального времени в Таблицы Amazon S3
Сегодня мы с радостью объявляем о всеобщей доступности интеграции Amazon Data Firehose (Firehose) с Таблицами Amazon S3. Эта функция позволяет клиентам доставлять потоковые данные в реальном времени в Таблицы Amazon S3 без необходимости разработки кода или многоэтапных процессов.
Firehose может получать потоковые данные из Потоков данных Amazon Kinesis, Amazon MSK, API Direct PUT и сервисов AWS, таких как веб-журналы ACL AWS WAF и журналы потоков Amazon VPC. Затем он может доставлять эти данные в такие места назначения, как Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake и другие, для аналитики. Теперь благодаря интеграции Таблиц Amazon S3 клиенты могут передавать данные из любого из этих источников непосредственно в Таблицы Amazon S3. Будучи бессерверным сервисом, Firehose позволяет клиентам просто настроить поток, указав свойства источника и места назначения, и осуществлять оплату в зависимости от обработанного объема данных в байтах.
Новая функция также дает возможность клиентам маршрутизировать записи из потока данных в разные таблицы Amazon S3 в зависимости от содержимого входящей записи. Кроме того, клиенты могут автоматизировать обработку для исправления данных и сценариев с правом на забвение, применяя операции обновления или удаления на уровне строк в целевых таблицах S3.
Для начала работы ознакомьтесь с документацией и консолью Amazon Data Firehose.