Избранные семинары re:Invent 2017
Analyzing streaming data in real-time with Amazon Kinesis (ABD301)
Amazon Kinesis упрощает сбор, обработку и анализ потоковых данных в режиме реального времени, что позволяет своевременно получать аналитические данные и быстро реагировать на новую информацию. В этом семинаре мы рассказываем о комплексном решении для работы с потоковыми данными, в котором Потоки данных Amazon Kinesis используются для сбора данных, Аналитика данных Amazon Kinesis – для обработки в режиме реального времени, а Данные Amazon Firehose – для стабильной работы. Мы подробно рассказываем, как писать SQL-запросы для использования потоковых данных, и обсуждаем рекомендации по оптимизации и мониторингу приложений Аналитики данных Amazon Kinesis. В заключение мы объясним, как оценить стоимость всей системы.
Семинар. Building Your First Big Data Application on AWS (ABD317)
Хотите быстро расширить знания о веб‑сервисах AWS для больших данных и запустить первое приложение для больших данных в облаке? Мы объясняем, как упростить процесс обработки больших данных и представить его в виде конвейера данных, включающего сбор, хранение, обработку и визуализацию. Вы создадите приложение для больших данных с использованием AWS Managed Services, включая Amazon Athena, Amazon Kinesis, Amazon DynamoDB и Amazon S3. В ходе семинара мы рассматриваем шаблоны проектирования архитектуры приложений для больших данных и даем практическое задание на дом, в ходе которого вы сможете самостоятельно изменять и настраивать приложение. Для того чтобы семинар имел максимальный эффект, следует подготовить свой ноутбук и ознакомиться с сервисами AWS.
Семинар. Don’t wait until tomorrow, how to use streaming data to gain real-time insights into your business (ABD321)
В последние годы наблюдается бурный рост количества подключенных устройств и источников, передающих данные в режиме реального времени. Вследствие этого новые данные создаются непрерывно, а скорость их создания все время растет. Компании не могут себе позволить ждать несколько часов или дней, чтобы начать использовать эти данные. Организации должны немедленно использовать новые данные для получения наиболее ценной аналитической информации и возможности быстро на нее реагировать. Из этого семинара вы узнаете, как с выгодой использовать источники потоковых данных для анализа и реагирования в режиме, близком к реальному времени. Вам будут представлены некоторые требования для реального сценария использования потоковых данных. На их основе нужно будет создать решение, которое бы полностью удовлетворяло заданным требованиям, с использованием сервисов Amazon Kinesis, AWS Lambda и Amazon SNS.
How Amazon Flex Uses Real‑time Analytics to Deliver Packages on Time (ABD217)
Всем организациям и клиентам, которые применяют инструменты пакетного анализа данных и изучают преимущества потоковой аналитики, крайне важно сократить время на получение полезной аналитической информации на основе данных. Ознакомьтесь с рекомендациями по расширению архитектуры от хранилищ и баз данных до решений, работающих в режиме реального времени. Узнайте, как использовать Amazon Kinesis для получения аналитической информации из данных в режиме реального времени и интегрировать ее с Amazon Aurora, Amazon RDS, Amazon Redshift и Amazon S3. Команда Amazon Flex объяснит, как они применяли потоковую аналитику в мобильном приложении Amazon Flex, которым пользуются экспедиторы компании Amazon для своевременной доставки миллионов посылок ежемесячно. Они расскажут об архитектуре, которая позволила перейти от системы пакетной обработки к системе, работающей в режиме реального времени, и решить проблемы миграции существующих пакетных данных в потоковые данные, а также о преимуществах аналитики в режиме реального времени.
Real‑Time Streaming Applications on AWS: Use Cases and Patterns (ABD203)
Компаниям необходимо использовать актуальные данные в режиме реального времени, чтобы принимать решения проще и быстрее. Это позволит получить преимущество на рынке и обеспечивать дифференцированные уровни обслуживания для клиентов. Из этого семинара вы узнаете о распространенных примерах использования и архитектурах решений для обработки потоковых данных. В первой части семинара мы проводим обзор потоковых данных и возможностей AWS по работе с ними. Затем мы рассказываем о некоторых примерах клиентов и их приложений для потоковой передачи в режиме реального времени. В заключение мы обсудим распространенные примеры архитектуры и шаблоны проектов для основных примеров использования потоковых данных.
Cox Automotive empowered to scale with Splunk Cloud & AWS (ABD208)
Из этого семинара вы узнаете, как компания Cox Automotive использует Splunk Cloud для получения в режиме реального времени информации о состоянии среды AWS и гибридной среды с целью почти мгновенного обнаружения неисправностей (MTTI), снижения инцидентов при проведении аукционов на 90 % и эффективного прогнозирования сбоев в работе. Кроме того, мы представляем долгожданную возможность, позволяющую собирать, преобразовывать и анализировать данные в режиме реального времени с использованием Splunk и сервиса Данные Amazon Firehose для получения ценной аналитической информации из облачных ресурсов. Теперь перейти к аналитическому мониторингу инфраструктуры с использованием Splunk Enterprise и Splunk Cloud можно быстрее и проще, чем когда‑либо.
Видеозаписи вебинаров
Real-time log analytics using Amazon Data Firehose (Аналитика журналов в реальном времени с помощью сервиса Данные Amazon Firehose) [июнь 2017 г.]
Аналитика журналов – типичный пример работы с большими данными. Анализ журналов веб‑сайтов, мобильных устройств, серверов, датчиков и т. п. применяется в самых разных областях деятельности, от цифрового маркетинга, мониторинга приложений и систем выявления мошенничества до рекламных, игровых технологий и систем Интернета вещей. Проведение анализа журналов в режиме реального времени может ускорить получение ценной информации до секунд или минут вместо часов или дней. Из этого семинара вы узнаете, как можно собирать и доставлять журналы с помощью сервиса Данные Amazon Firehose, не используя инфраструктуру. Мы покажем, как можно использовать Управляемый сервис Amazon для Apache Flink, чтобы обрабатывать данные журналов в режиме реального времени при создании аналитических систем с быстрым откликом. Мы также покажем, как использовать Amazon Elasticsearch Service для интерактивных запросов к данным журналов и визуализации этих данных.
Цели обучения.
- Узнать, как просто создать комплексное решение для анализа журналов в режиме реального времени.
- Получить представление о сборе и обработке данных в режиме реального времени с использованием Amazon Kinesis.
- Узнайте, как можно интерактивно запрашивать и визуализировать данные журналов с использованием Amazon Elasticsearch Service.
Streaming ETL for data lakes using Amazon Data Firehose (Потоковая передача ETL для озер данных с помощью сервиса Данные Amazon Firehose) [май 2017 г.]
Озера данных позволяют всем сотрудникам организации просматривать и анализировать огромные объемы неструктурированных и структурированных данных из разрозненных источников, многие из которых генерируют данные с большой скоростью и в непрерывном режиме. Чтобы своевременно предоставлять эти данные для анализа, требуется решение потоковой передачи данных, которое может надежно и экономично загружать их в озеро данных. Данные Amazon Firehose – это полностью управляемый сервис, который упрощает подготовку и загрузку потоковых данных в AWS. В этом вебинаре Tech Talk мы проведем обзор сервиса Данные Amazon Firehose и подробно рассмотрим, как можно использовать его для сбора, преобразования, пакетирования, сжатия и загрузки потоковых данных, поступающих в режиме реального времени, в озера данных Amazon S3.
Цели обучения.
- Ознакомиться с ключевыми требованиями по сбору, подготовке и загрузке потоковых данных в озера данных.
- Получить представление о передаче данных с использованием сервиса Данные Amazon Firehose.
- Узнайте, как преобразовывать данные с помощью Firehose.
How TrueCar gains actionable insights with Splunk Cloud
Перенести весь ЦОД в облако – задача не из простых. Именно ее было поручено решить разработчикам технологической платформы TrueCar. Параллельно требовалось найти решение для мониторинга и устранения неполадок с расширенными возможностями масштабирования, способное повысить производительность инфраструктуры и приложений, усилить безопасность и стимулировать улучшение продукта. Компания выбрала Splunk Cloud на AWS и выполнила развертывание всего за один день. В этом вебинаре рассказывается, как TrueCar использует возможности AWS и Splunk для анализа данных в режиме реального времени.
Посмотрите вебинар, чтобы узнать, какие преимущества принесло TrueCar использование Splunk Cloud на AWS в сочетании с сервисом Данные Amazon Firehose. Показанный опыт может быть полезен при решении следующих задач:
- получение аналитических выводов по историческим данным благодаря возможности долгосрочного хранения;
- понимание принципов начисления платы за сервисы AWS;
- обнаружение вторжений и получение аналитических выводов в области безопасности.
Публикации в блоге
Данные Amazon Firehose теперь поддерживают динамическое разделение для доставки в Amazon S3
Джереми Бэр и Майкл Гринштейн, 02.09.2021
Потоки метрик CloudWatch – отправка метрик AWS партнерам и приложениям в реальном времени
Джефф Барр, 31.03.2021
Потоковая передача, преобразование и анализ XML-данных в реальном времени с помощью Amazon Kinesis, AWS Lambda и Amazon Redshift
Сакти Мишра, 18.08.2020
Преобразование данных Amazon Firehose с помощью AWS Lambda
Брайан Листон, 13.02.2027
Потоковая передача отслеживаний измененных данных (CDC) в озеро данных Amazon S3 в формате Parquet с помощью AWS DMS
Вирал Ша, 08.09.2020
Пользовательские префиксы сервиса Данные Amazon Firehose для объектов Amazon S3
Раджив Чакрабарти, 22.04.2019
Потоковая передача данных в HTTP-адрес с помощью сервиса Данные Amazon Firehose
Имтиаз Сайед и Масудур Рахаман Сайем, 29.06.2020
Отслеживание измененных данных в Amazon Aurora с помощью AWS Lambda
Ре Альварес-Пармар, 05.09.2017
Как обеспечить потоковую передачу данных из Amazon DynamoDB в Amazon Aurora, используя AWS Lambda и сервис Данные Amazon Firehose
Аравинд Кодандарамайя, 04.05.2017
Анализ журналов VPC Flow с помощью Amazon Athena и Amazon QuickSight
Ян Робинсон, Чайтанья Ша и Бен Снайвли, 09.03.2017
Начать работу с сервисом Данные Amazon Firehose