Заложите основу для работы с сервисами AWS при создании решений для больших данных

Учебный курс Big Data Technology Fundamentals дает общее представление о технологиях, которые применяются при создании решений для больших данных. Он охватывает разработку решений для больших данных с помощью инструментов семейства Hadoop, включая MapReduce, HDFS, а также сред программирования Pig и Hive. Этот онлайн-курс закладывает основы для работы с сервисами AWS, которые используются в решениях для больших данных. Курс предоставляется бесплатно и может использоваться отдельно или в качестве подготовки к обучению на курсе Big Data on AWS под руководством преподавателя.

Уровень

Базовый уровень

Форма проведения

Digital, для самостоятельного изучения

Продолжительность

90 минут

Курс охватывает следующие вопросы.

  • Определение распространенных инструментов и технологий, которые могут быть использованы при создании решений для больших данных.
  • Понимание среды программирования MapReduce и ее компонентов: map, shuffle, sort и reduce.
  • Выделение доступных вариантов создания решений для больших данных с помощью среды программирования Hive.

Этот курс предназначен для:

  • Новичков в области больших данных, включая архитекторов корпоративных решений, архитекторов решений для больших данных, специалистов по обработке и анализу данных;

Для прохождения данного курса рекомендуется иметь следующую подготовку.

  • Практические знания основ программирования на языках Java или C#.

Курс проходит как

  • Web-based E-learning

Примечание. Содержание курса может незначительно меняться в зависимости от региона проведения и/или используемого языка.

Модуль 1. Знакомство с понятием больших данных

  • Важность больших данных для бизнеса.
  • Семейство инструментов Hadoop.
  • Характерные особенности больших данных.
  • Обработка больших данных.
  • Инструменты и методики анализа больших данных.
  • Реализация решений для больших данных.
  • Пример использования: аналитика социальных сетей.

Модуль 2. Знакомство с MapReduce и Hadoop

  • Архитектура Hadoop.
  • Среда MapReducе.
  • Программирование в MapReduce.
  • MapReduce и HDFS/S3.
  • Пример использования: сервис рекомендаций.

Модуль 3. Анализ данных с помощью программирования для Pig

  • Знакомство с пакетом аналитики Pig.
  • Типы данных Pig.
  • Представление данных в среде Pig.
  • Запуск Pig.
  • Функции, определяемые пользователем.
  • Сравнение Pig с традиционными СУРБД.
  • Современные методы работы с Pig

Модуль 4. Запросы к большим данным с помощью инфраструктуры Hive

  • Знакомство с инфраструктурой Hive.
  • Представление данных в Hive.
  • Типы данных, используемые в Hive.
  • Извлечение данных с помощью запросов Hive.
  • Hive и AWS.
  • Пример использования: спонтанный анализ и отзывы о продуктах.
Зарегистрироваться на aws.training