Документация
Руководство для разработчиков. В этом руководстве представлен обзор понятий и возможностей Amazon Kinesis Data Streams, а также подробные инструкции по использованию различных функций данного сервиса.
Справка по API. Данная справка содержит подробное описание всех операций API Amazon Kinesis Data Streams, а также примеры запросов, ответы и т. д.
Видео
Публикации в блоге
Инструменты и библиотеки
Агент Amazon Kinesis
Это встроенное приложение Java позволяет легко собирать и отправлять данные в поток данных Amazon Kinesis. Этот агент можно устанавливать в серверных средах Linux, включая веб‑серверы, серверы журналов или баз данных. Он отслеживает определенные файлы и непрерывно отправляет данные в поток. Загрузить агент Amazon Kinesis.
Клиентская библиотека Amazon Kinesis
Клиентская библиотека Amazon Kinesis – это встроенная библиотека, с помощью которой можно легко создавать приложения Amazon Kinesis для считывания и обработки данных из потока Amazon Kinesis. Она выполняет 4 сложные задачи: адаптация приложения к изменениям объема потока, балансирование нагрузки потока данных, координация распределенных сервисов и отказоустойчивая обработка данных. Все эти возможности позволяют вам сконцентрировать внимание на бизнес-логике при создании приложений. Загрузить клиентскую библиотеку для Java | Python | Ruby | Node.js | .NET
AWS Streaming Data Solution for Amazon Kinesis
Решение для потоковой передачи данных AWS для Amazon Kinesis поможет вам разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
Это решение сократит время разработки на несколько дней, устраняя или уменьшая необходимость в моделировании и инициализации ресурсов при помощи AWS CloudFormation, настройке панелей мониторинга, журналов и оповещений Amazon CloudWatch, а также самостоятельной реализации лучших методик потоковой передачи данных в AWS. Это решение не зависит от данных и логики, что позволяет начать с шаблонного кода и быстро приступить к персонализации. После развертывания вы можете использовать доступные в этом решении возможности мониторинга, чтобы легко перейти в рабочую среду.
Библиотека исходного кода Amazon Kinesis
Эта простая в использовании библиотека с гибко перестраиваемой конфигурацией помогает добавлять данные в поток Amazon Kinesis. Она обладает простым и надежным асинхронным интерфейсом, который позволяет быстро достичь высокой пропускной способности источника при минимальных клиентских ресурсах. Загрузить библиотеку источников Kinesis.
Связующая библиотека Amazon Kinesis
Связующая библиотека Amazon Kinesis – это встроенная библиотека, которая позволяет легко интегрировать Amazon Kinesis Data Streams с другими сервисами AWS и инструментами сторонних разработчиков. Для ее использования требуется клиентская библиотека Amazon Kinesis (KCL). Текущая версия этой библиотеки обеспечивает подключение к Amazon DynamoDB, Amazon RedShift, Amazon S3 и Elasticsearch. Кроме того, библиотека содержит примеры подключений для каждого типа, а также файлы компоновки Apache Ant для запуска примеров. Загрузить связующую библиотеку Kinesis.
Amazon Kinesis Storm Spout
Amazon Kinesis Storm Spout – это встроенная библиотека, позволяющая легко интегрировать Amazon Kinesis Data Streams с Apache Storm. Текущая версия этой библиотеки извлекает данные из потока Amazon Kinesis и выводит их в виде кортежей. Чтобы использовать по максимуму возможности сервиса Amazon Kinesis Data Streams, которые обеспечивают надежность, масштабируемость, захват потока, хранение и воспроизведение, необходимо добавить Spout в топологию Storm. Загрузить Kinesis Storm Spout.
Сопутствующие инструменты и библиотеки AWS
Связующая библиотека Amazon EMR для Kinesis
Связующая библиотека Amazon Elastic MapReduce (EMR) позволяет напрямую считывать данные из потоков данных Amazon Kinesis и выполнять запросы к ним. Подробнее | Часто задаваемые вопросы о связующей библиотеке EMR для Kinesis
Интеграция AWS Mobile SDK
Инструмент Amazon Kinesis Recorder обеспечивает стабильную передачу данных из мобильного приложения в поток данных Amazon Kinesis. Подробнее для iOS | Подробнее для Android
Log4J Appender для Amazon Kinesis Data Streams
Log4J Appender для Amazon Kinesis Data Streams – это реализация интерфейса Apache Log4J Appender для передачи выходных данных Log4J непосредственно в потоки данных Amazon Kinesis без создания специального кода. Подробнее
Инструменты и библиотеки сообщества
Плагин Fluentd для Amazon Kinesis Data Streams
Этот плагин позволяет Fluentd добавлять свои данные в потоки данных Amazon Kinesis. Подробнее
Источник и приемник данных Amazon Kinesis для Apache Flume
Источник и приемник данных Amazon Kinesis для сервиса Apache Flume. Подробнее
Интеграция Spark Streaming с Amazon Kinesis Data Streams
Приемник данных Amazon Kinesis Data Streams создает входной поток DStream с помощью клиентской библиотеки Amazon Kinesis. Подробнее
Клиентская библиотека Amazon Kinesis для разработчиков Go
Эта библиотека позволяет разработчикам создавать обработчики записей на языке Go с помощью демона клиентской библиотеки Amazon Kinesis с многоязычной поддержкой. Подробнее
Агрегаторы Amazon Kinesis Data Streams
Эти агрегаторы позволяют автоматически создавать и отображать агрегированные временные ряды для данных потоков Amazon Kinesis. Подробнее
Сервисная программа масштабирования Amazon Kinesis Data Streams
Эта программа предназначена для масштабирования количества сегментов потока данных Amazon Kinesis. С ее помощью можно увеличивать или уменьшать количество сегментов, задавая их в виде некоторого числа или в процентах от общего количества сегментов. Подробнее
Модуль Amazon Kinesis Data Streams для Vert.x
Этот модуль позволяет получать события, публикуемые другими «вертикалями» (исполняемыми файлами) Vert.x, и отправлять их в Amazon Kinesis Data Streams. Подробнее
Начало работы с Amazon Kinesis Data Streams