Создавайте надежные озера данных в течение нескольких дней, а не месяцев. Используя опыт взаимодействия с десятками тысяч клиентов по созданию продуктивных озер данных, мы смогли упростить каждый аспект анализа данных в облаке. Так, AWS Lake Formation позволяет автоматизировать шаги по построению озера данных, которые обычно выполняются вручную, и предоставляет единый механизм безопасности для всех ваших данных. В результате вы затрачиваете меньше времени на однообразную тяжелую работу по созданию озера и можете сосредоточится на изучении данных, чтобы получить ответы на важные вопросы.

На платформе AWS пользователи могут при минимальных затратах хранить свои данные и в кратчайшие сроки выполнять их анализ. Так, Amazon S3 предоставляет пять классов хранилища и автоматическое управление жизненным циклом данных, поэтому вы платите только за те операции с данными, которые необходимо выполнить согласно их назначению. Amazon Redshift в 3 раза быстрее любого другого облачного хранилища данных, и скорость его работы увеличивается с каждым годом. Amazon EMR обеспечивает самый быстрый инструмент для запуска рабочих нагрузок Apache Spark и Apache HIVE в облаке. Благодаря глубокой интеграции EMR с остальными сервисами AWS клиенты могут использовать экономные функции, такие как спотовые инстансы EC2, и сократить расходы до 90 %.

Хранение всех данных в одной изолированной службе аналитики больше не является эффективным решением. На сегодняшний день применяют комплекс инструментов и подходов, включая SQL, R, Scala, Jupyter и Python, чтобы, используя разные языки, получить точную информацию, которая поспособствует решению проблем или оптимизации решений. AWS предоставляет комплекс аналитических сервисов для работы с озером открытых данных, поэтому вы всегда можете выбрать подходящий инструмент без необходимости перемещать или преобразовывать данные для каждого отдельного аналитического подхода. Все наши сервисы поддерживают доступ к данным, хранящимся в едином хранилище объектов (S3), с открытыми API, в открытых форматах (например, Apache Paquet, Apache ORC, Apache Avro) и с использованием движков как с закрытым (Redshift для хранилищ данных), так и открытым исходным кодом (например, Spark, Hive). 

Данные должны храниться в безопасности и с соблюдением соответствующих правил. AWS предоставляет полный набор инструментов, который выходит за рамки стандартных функций безопасности, таких как шифрование и контроль доступа, для выполнения упреждающего мониторинга и унифицированного управления протоколами безопасности. Так, Amazon Macie помогает выполнять мониторинг озера данных, чтобы вы случайно не раскрыли учетные данные или информацию, позволяющую установить личность (PII). Amazon Inspector помогает применять лучшие практики и выявлять проблемы конфигурации, которыми могут воспользоваться, а AWS Lake Formation постоянно контролирует доступ к данным в вашем озере во всех аналитических сервисах. 

Amazon S3 – это надежное и защищенное объектное хранилище с широкими возможностями масштабирования, которое обеспечивает доступ к данным с задержкой на уровне миллисекунд. Сервис S3 предназначен для хранения любых типов данных, поступающих из любых источников: веб‑сайтов и мобильных приложений, корпоративных приложений, а также датчиков или устройств IoT. Он создан с целью хранения и извлечения любых объемов данных с гарантией беспрецедентной доступности. Сервис спроектирован и создан для обеспечения надежности на уровне 99,999999999 %. Возможность S3 Select уточняет операции считывания и извлечения данных, снижая время ответа (до 400 %). S3 открывает широчайшие возможности для обеспечения безопасности и соответствия самым строгим нормативным требованиям.  

Amazon Glacier – это надежное, безопасное и очень экономичное хранилище для долговременного хранения архивов и резервных копий, которое обеспечивает доступ к данным в течение считаных минут, а возможность Glacier Select позволяет считывать и извлекать только нужные данные. Amazon Glacier обеспечивает надежность на уровне 99,999999999 % и предоставляет полный набор инструментов для защиты данных и обеспечения соответствия самым строгим нормативным требованиям. Стоимость хранения данных составляет всего 0,004 USD за гигабайт в месяц. Это значительно экономичней, чем решения, основанные на локальном хранении.

AWS Glue – это полностью управляемый сервис, который позволяет создавать каталоги для поиска данных в озере. Он обеспечивает возможность выполнять операции по извлечению, преобразованию и загрузке (ETL) данных в целях их подготовки их к анализу. Каталог создается автоматически в форме постоянного хранилища метаданных для всех ресурсов. В результате вести поиск и формировать запросы к данным можно в едином интерфейсе.