Начать работу с Amazon Kinesis очень просто. На этой странице приводится подборка лучших ресурсов, которые помогут быстро запустить приложение потоковой передачи.


Сервис Amazon Kinesis Video Streams обеспечивает простую и безопасную потоковую передачу видео с подключенных устройств в AWS для аналитики, машинного обучения (ML) и других видов обработки. В рамках этого семинара мы представляем сервис Kinesis Video Streams и его основные возможности, а также рассматриваем распространенные примеры использования, включая интеллектуальный дом, интеллектуальный город, автоматизацию производства и компьютерное зрение. Здесь же будет обсуждаться, как можно использовать библиотеку парсера Kinesis Video Streams для обработки выходных данных видеопотоков, чтобы поддерживать популярные инфраструктуры глубокого обучения. В заключение компания Abeja, ведущий японский поставщик решений на базе искусственного интеллекта, рассказывает о том, как они создали систему глубокого обучения в сфере розничной торговли и использовали Kinesis Video Streams для повышения качества обслуживания клиентов. 

Смотреть запись семинара | Загрузить презентацию

В Amazon Kinesis Analytics имеется встроенный алгоритм машинного обучения, который можно использовать для простого обнаружения аномалий в трафике сети VPC и повышения качества мониторинга безопасности. Присоединяйтесь к интерактивному обсуждению потоковой передачи журналов VPC Flow Logs в Amazon Kinesis Streams и выявления аномалий с использованием Kinesis Analytics.

Смотреть запись семинара | Загрузить презентацию

Тысячи сервисов работают в согласованном режиме, чтобы ежедневно доставлять клиентам Netflix миллионы часов потокового видео. Эти приложения различаются размером, функциями и технологиями, но все они используют для связи сеть Netflix. Анализ взаимодействия всех этих сервисов является непростой задачей как из-за огромного объема трафика, так и из-за динамического характера развертываний. В первой части семинара мы рассказываем, почему компания Netflix выбрала сервис Kinesis Streams для решения этой задачи в нужном масштабе. Затем мы подробно рассматриваем, как Netflix применяет Kinesis Streams для расширения журналов сетевого трафика и для определения шаблонов использования в режиме реального времени. В завершение мы рассказываем о том, как Netflix использует эту систему для построения подробных карт взаимозависимостей, а также повышения производительности и отказоустойчивости сети. Из этого семинара вы узнаете, как можно в режиме реального времени создать систему мониторинга приложения с использованием журналов сетевого трафика и получать полезную аналитическую информацию в режиме реального времени.

Смотреть запись семинара | Загрузить презентацию

Amazon Kinesis упрощает сбор, обработку и анализ потоковых данных в режиме реального времени, что позволяет своевременно получать аналитические данные и быстро реагировать на новую информацию. В этом семинаре мы рассказываем о комплексном решении для работы с потоковыми данными, в котором Kinesis Streams используется для сбора данных, Kinesis Analytics – для обработки в режиме реального времени, а Kinesis Firehose – для стабильной работы. Мы подробно рассказываем, как писать SQL-запросы для использования потоковых данных, и обсуждаем рекомендации по оптимизации и мониторингу приложений Kinesis Analytics. В заключение мы объясним, как оценить стоимость всей системы. 

Смотреть запись семинара | Загрузить презентацию

Хотите быстро расширить знания о веб-сервисах AWS для больших данных и запустить первое приложение для больших данных в облаке? Мы объясняем, как упростить процесс обработки больших данных и представить его в виде конвейера данных, включающего сбор, хранение, обработку и визуализацию. Вы создадите приложение для больших данных с использованием управляемых сервисов AWS, включая Amazon Athena, Amazon Kinesis, Amazon DynamoDB и Amazon S3. В ходе семинара мы рассматриваем шаблоны проектирования архитектуры приложений для больших данных и даем практическое задание на дом, в ходе которого вы сможете самостоятельно изменять и настраивать приложение. Для того чтобы семинар имел максимальный эффект, следует подготовить свой ноутбук и ознакомиться с сервисами AWS.

Загрузить презентацию »

В последние годы наблюдается бурный рост количества подключенных устройств и источников данных в режиме реального времени. Вследствие этого новые данные создаются непрерывно, а скорость их создания все время растет. Компании не могут себе позволить ждать несколько часов или дней, чтобы начать использовать эти данные. Организации должны немедленно использовать новые данные для получения наиболее ценной аналитической информации и возможности быстро на нее реагировать. Из этого семинара вы узнаете, как с выгодой использовать источники потоковых данных для анализа и реагирования в режиме, близком к реальному времени. Вам будут представлены некоторые требования для реального сценария использования потоковых данных. На их основе нужно будет создать решение, которое полностью удовлетворяет заданным требованиям, с использованием таких сервисов, как Amazon Kinesis, AWS Lambda и Amazon SNS.

Загрузить презентацию »

Узнайте, как спроектировать озеро данных, с помощью которого различные отделы организации смогут публиковать и использовать данные в режиме самообслуживания. Организации в своей работе все больше полагаются на использование данных. Поэтому технические специалисты по работе с данными должны создавать архитектуры, которые удовлетворяют потребностям различных пользователей, от разработчиков до бизнес-аналитиков и специалистов по обработке данных. Каждая из перечисленных групп пользователей использует различные инструменты, имеет разные цели и работает с данными по-разному.

В ходе семинара мы подробно рассмотрим процесс создания озера данных с использованием Amazon S3, Amazon Kinesis, Amazon Athena, Amazon EMR и AWS Glue. В семинаре примет участие Мохит Рао, ведущий специалист компании Atlassian по проектированию и интеграции, создатель таких продуктов, как JIRA Confluence и Stride. В первой части семинара мы рассмотрим несколько распространенных архитектур для создания озера данных. Затем мы покажем, как компания Atlassian создала озеро данных с возможностью самообслуживания, в котором любая команда организации может опубликовать набор данных, доступный для множества пользователей.

Смотреть запись семинара | Загрузить презентацию

В наши дни многие архитекторы и разработчики стремятся создавать решения, включающие пакетную обработку и обработку данных в режиме реального времени и объединяющие в себе лучшие возможности каждого подхода. Лямбда-архитектура (не путать с сервисом AWS Lambda) – это шаблон проекта, в котором одновременно используются как пакетная обработка, так и обработка в режиме реального времени, что позволяет обеспечить необходимую задержку и пропускную способность в различных вариантах использования больших данных. Присоединяйтесь к обсуждению реализации лямбда-архитектуры (скорости пакетной обработки и уровней обслуживания) и рекомендаций по нагрузке при обработке данных и настройке производительности.

Смотреть запись семинара | Загрузить презентацию

Всем организациям и клиентам, которые применяют инструменты пакетного анализа данных и изучают преимущества потоковой аналитики, крайне важно снизить время на получение полезной аналитической информации из данных. Ознакомьтесь с рекомендациями по расширению архитектуры от хранилищ и баз данных до решений, работающих в режиме реального времени. Узнайте, как использовать Amazon Kinesis для получения аналитической информации из данных в режиме реального времени и интегрировать ее с Amazon Aurora, Amazon RDS, Amazon Redshift и Amazon S3. Команда Amazon Flex объяснит, как они применяли потоковую аналитику в мобильном приложении Amazon Flex, которым пользуются экспедиторы компании Amazon для своевременной доставки миллионов посылок ежемесячно. Они расскажут об архитектуре, которая позволила перейти от системы пакетной обработки к системе, работающей в режиме реального времени, и решить проблемы миграции существующих пакетных данных в потоковые данные, а также о преимуществах аналитики в режиме реального времени.

Смотреть запись семинара | Загрузить презентацию

Компаниям необходимо использовать актуальные данные в режиме реального времени, чтобы принимать решения проще и быстрее. Это позволит получить преимущество на рынке и обеспечивать дифференцированные уровни обслуживания для клиентов. Из этого семинара вы узнаете о распространенных примерах использования и архитектурах решений для обработки потоковых данных. В первой части семинара мы проводим обзор потоковых данных и возможностей AWS по работе с ними. Затем мы рассказываем о некоторых примерах клиентов и их приложений для потоковой передачи в режиме реального времени. В заключение мы обсуждаем распространенные примеры архитектуры и шаблоны проектов для основных вариантов использования потоковых данных.

Смотреть запись семинара | Загрузить презентацию

Из этого семинара вы узнаете, как компания Cox Automotive использует Splunk Cloud для получения в режиме реального времени информации о состоянии среды AWS и гибридной среды для достижения почти мгновенного обнаружения неисправностей (MTTI), снижения инцидентов при проведении аукционов на 90 % и эффективного прогнозирования простоев. Кроме того, мы представляем долгожданную возможность, позволяющую собирать, преобразовывать и анализировать данные в режиме реального времени с использованием Splunk и Amazon Kinesis Firehose для получения ценной аналитической информации из облачных ресурсов. Теперь перейти к аналитическому мониторингу инфраструктуры с использованием Splunk Enterprise и Splunk Cloud стало быстрее и проще, чем когда-либо.

Смотреть запись семинара | Загрузить презентацию


Анализ журналов – типичный пример работы с большими данными. Анализ журналов веб-сайтов, мобильных устройств, серверов, датчиков и т. п. применяется в самых разных областях деятельности, от цифрового маркетинга, мониторинга приложений и систем выявления мошенничества до рекламных и игровых технологий, а также «Интернета вещей». Проведение анализа журналов в режиме реального времени может ускорить получение ценной информации до секунд или минут вместо часов или дней. Из этого семинара вы узнаете, как можно собирать и доставлять журналы с помощью Amazon Kinesis Data Firehose, не используя инфраструктуру. В семинаре объясняется, как можно использовать Kinesis Data Analytics для обработки данных журналов в режиме реального времени при создании аналитических систем с быстрым откликом. Мы также покажем, как использовать Amazon Elasticsearch Service для интерактивных запросов к данным журналов и визуализации этих данных.

Цели обучения.

  1. Узнать, как просто создать комплексное решение для анализа журналов в режиме реального времени.
  2. Получить представление о сборе и обработке данных в режиме реального времени с использованием Amazon Kinesis.
  3. Узнать о том, как интерактивно запрашивать и визуализировать данные журналов с использованием Amazon Elasticsearch Service.

Смотреть запись | Загрузить презентацию

Работа многих приложений основана на десятках сервисов и сотнях серверов. Эти приложения различаются по размеру, функциям и технологиям, но все они взаимодействуют в пределах облака Amazon Virtual Private Cloud (VPC). Анализ взаимодействия этих приложений может быть непростой задачей как из-за объема трафика, так и из-за динамического характера развертываний. На этом вебинаре мы обсудим, как Amazon Kinesis и Amazon CloudWatch помогут решить эти задачи в любом масштабе. Мы расскажем, как использовать CloudWatch Logs и Kinesis Data Streams для сбора и наполнения журналов сетевого трафика и для определения шаблонов использования в режиме реального времени.

Цели обучения.

  • Узнать, как создать систему мониторинга приложений в режиме реального времени с использованием журналов сетевого трафика.
  • Узнать, как расширять и объединять данные журналов сетевых потоков с использованием Amazon Kinesis.
  • Узнать, как визуализировать и анализировать сетевые данные для получения полезной аналитической информации.

Смотреть запись | Загрузить презентацию

Озера данных позволяют всем сотрудникам организации просматривать и анализировать огромные объемы неструктурированных и структурированных данных из разрозненных источников, многие из которых генерируют данные с большой скоростью и в непрерывном режиме. Чтобы своевременно предоставлять эти данные для анализа, требуется решение потоковой передачи данных, которое может надежно и экономично загружать их в озеро данных. Amazon Kinesis Data Firehose – это полностью управляемый сервис, который упрощает подготовку и загрузку потоковых данных в AWS. В этом вебинаре Tech Talk мы проведем обзор сервиса Kinesis Data Firehose и подробно рассмотрим, как можно использовать этот сервис для сбора, преобразования, пакетирования, сжатия и загрузки потоковых данных, поступающих в режиме реального времени, в озера данных Amazon S3.

Цели обучения.

  • Ознакомиться с ключевыми требованиями по сбору, подготовке и загрузке потоковых данных в озера данных.
  • Получить представление о передаче данных с использованием Kinesis Data Firehose.
  • Узнать, как преобразовывать данные с помощью Kinesis Data Firehose.

Смотреть запись | Загрузить презентацию

spacer

Editorial_GettingStarted

Приведенные ниже образцы кода и инструменты можно использовать для быстрой сборки, тестирования и развертывания аналитических приложений с использованием Amazon Kinesis.

  • Образец кода для аналитики IoT, который можно использовать в своих приложениях. Начинать с нуля не придется. Загрузить здесь »
  • Тестирование приложений Kinesis с помощью Kinesis Data Generator. Подробнее »
  • Практическое руководство по созданию решения для анализа журналов с помощью Kinesis. Посмотреть »