Таблицы потоковой передачи: передача потоков данных Amazon Kinesis в таблицы Amazon S3 формата Apache Iceberg
Потоки данных Amazon Kinesis внедряют таблицы потоковой передачи – новую полностью бессерверную функцию для непрерывной доставки данных из потоков Kinesis в таблицы Amazon S3, использующие формат Apache Iceberg. Таблицы потоковой передачи устраняют необходимость создавать и самостоятельно контролировать конвейеры доставки данных Iceberg, позволяя снизить на нее затраты на 50 %. Автоматическое оперативное сжатие устраняет проблемы с файлами небольшого размера и сохраняет прогнозируемую производительность запросов, уменьшая затраты на запросы в последующих системах максимум на 30 %.
Потоки данных Amazon Kinesis – это бессерверный сервис потоковой передачи данных, который позволяет быстро получать, обрабатывать и сохранять эти потоки в любом масштабе. Клиенты все чаще хотят передавать потоковые данные в таблицы Apache Iceberg, чтобы использовать конвейеры с самыми свежими данными для аналитики в режиме, близком к реальному времени, и функций искусственного интеллекта и машинного обучения. Для реализации этих задач клиенты сейчас создают и поддерживают собственные конвейеры, самостоятельно преобразуют форматы и управляют вычислительной инфраструктурой, что увеличивает их затраты. При приеме большого объема потоковых данных также создается множество небольших файлов Parquet, которые снижают производительность запросов в последующих системах и увеличивают затраты на хранение. Теперь же клиенты могут просто создать таблицу потоковой передачи: эта полностью бессерверная функция позволяет непрерывно доставлять данные из потока Kinesis в таблицы Amazon S3. Автоматическое оперативное сжатие устраняет проблемы с производительностью из-за файлов небольшого размера и сохраняет прогнозируемую производительность запросов без ущерба для актуальности данных. Потоки данных Kinesis обеспечивают автоматические возможности для масштабирования, повторных попыток, сжатия и надежной доставки за считаные минуты без необходимости создавать собственные приложения, поддерживать собственные вычислительные ресурсы и без каких-либо эксплуатационных издержек. Клиенты могут настраивать таблицы потоковой передачи всего несколькими щелчками мыши, используя интегрированный интерфейс в консоли или API-интерфейсы.
Таблицы потоковой передачи поддерживают режимы предоставления ресурсов On Demand Advantage (ODA) и On Demand Standard (ODS). Цены зависят от использования, и при этом не взимается плата за настройку и не требуются минимальные обязательства. Плата взимается только за успешно доставленные данные. Таблицы потоковой передачи доступны во всех регионах AWS, где работают потоки данных Amazon Kinesis, включая регионы AWS GovCloud (США) и Китая. Для начала ознакомьтесь с Руководством пользователя по потокам данных Amazon Kinesis и страницей цен.