Большинство альтернативных систем хранения данных стоило бы нам порядка 1 млн USD в год. А Amazon Redshift обходится всего лишь в 100 000 USD, что позволяет сократить затраты на 90 %. 
Джоэл Камминг Ответственный за обработку данных

В 2009 году группа талантливых студентов из университета г. Ватерлоо в Канаде создала компанию Kik Interactive. Сервисом по передаче сообщений Kik Messenger сегодня пользуются свыше 275 млн подписчиков, в основном в США. Помимо функций бесплатной передачи сообщений, содержащих текст, изображения и видео, Kik Messenger имеет встроенный браузер для работы с веб-контентом. Кроме этого компания Kik предлагает инструменты для разработчиков, которые позволяют другим организациям оптимизировать и распространять среди подписчиков свой веб-контент на данной платформе.

Для удержания существующих подписчиков и поддержания стабильного роста компании Kik необходим гарантированно быстрый, гибкий и всегда доступный сервис передачи сообщений. Крис Фэйрлз, руководитель команды Kik DevOps, рассказывает: «Нашим подписчикам требуется постоянный обмен сообщениями в режиме реального времени, поэтому на нас лежит очень большая ответственность. Чтобы сделать сервисы максимально качественными, мы инвестируем в надежные, безопасные и гибкие технологии, способные удовлетворить меняющиеся потребности подписчиков».

Еще одна проблема для Kik состоит в том, что компании необходимо прислушиваться к мнению подписчиков и обновлять продукт, чтобы он максимально соответствовал их нуждам. «У нас есть большое количество данных о клиентах и ​​о том, как они используют наши сервисы, но эти данные часто скрыты в файлах журналов или в других системах», – отмечает Фэйрлз. «Чтобы извлечь пользу из этой информации и удостовериться в том, что все наши технические решения подкреплены фактами, мы инвестируем значительные средства в современные методики и технологии работы с большими данными».

Чтобы обеспечить комфортную работу подписчикам, компания Kik использует сочетание собственных серверов и инфраструктуры, размещенной в облаке Amazon Web Services (AWS). Фэйрлз рассказывает: «Благодаря AWS мы можем предложить пользователям широкий спектр функциональных возможностей: от картинок в профиле и обмена изображениями до видеосообщений и управления аккаунтами».

Архитектура платформы AWS компании Kik включает Amazon Elastic Compute Cloud (Amazon EC2), Amazon Simple Storage Service (Amazon S3), Amazon Virtual Private Cloud (Amazon VPC), а также Amazon CloudFormation для выделения и развертывания облачной инфраструктуры по требованию. «Пользуясь AWS CloudFormation, мы ввели так называемую архитектуру "микросервисов", в которой вся наша инфраструктура платформы AWS определяется как код», – поясняет Фэйрлз. «В ближайшее время мы также хотим внедрить сервис Amazon CodeDeploy, который позволит нам быстро и просто разворачивать стандартные ИТ-стеки практически автоматически».

Благодаря платформе AWS компания Kik может предоставлять быстрые и гибкие сервисы своим подписчикам. «Amazon Direct Connect помогает нам ускорять обмен данными между внутренней серверной фермой и облаком AWS, что минимизирует задержки и искажения», – говорит Фэйрлз. «Мы также используем Amazon CloudFront и Amazon Route 53 для доставки контента в ближайшие к пользователям периферийные точки, поэтому наше приложение становится супербыстрым и гибким, где бы ни находились подписчики».

С помощью архитектуры микросервисов компания Kik также разработала продуманную систему анализа данных на платформе AWS, которая открывает новые возможности для бизнеса и позволяет оптимизировать работу пользователей. В ее основе лежат сервисы Amazon EC2, Amazon S3 и Amazon VPC, а сервис Amazon Redshift предоставляет системе базовые функциональные возможности хранения данных.

Исходные данные для аналитики изначально были получены из сотен терабайт данных файлов журналов, который ранее хранились в корзинах Amazon S3. С помощью Amazon Elastic Map Reduce (Amazon EMR) и скриптов Hadoop Pig компания объединила и обработала файлы журналов, перед тем как загрузить их в Amazon Redshift, где они были еще больше сжаты. «Мы начинали с 500 терабайт данных, а теперь управляем всего 50 терабайтами, что значительно упрощает нашу работу».

Инфраструктура компании Kik на базе платформы AWS, включающая Auto Scaling, позволяет компании более рентабельно предоставлять сервисы передачи сообщений и другого контента и при этом платить только за те вычислительные ресурсы и ресурсы хранилища, которые она использует. «В периоды максимальной нагрузки наша архитектура платформы AWS автоматически масштабируется в сторону увеличения, а по мере снижения нагрузки – в сторону уменьшения», – отмечает Фэйрлз. «Таким образом, мы платим только за те вычислительные ресурсы и ресурсы хранилища, которые фактически используем, что делает наш бизнес гораздо более выгодным».

Благодаря платформе AWS компании Kik также удалось оптимизировать доступность сервисов для подписчиков. «Каждый компонент нашей архитектуры платформы AWS полностью резервируется, а значит, мы можем предоставлять сервисы в режиме реального времени даже в случае значительных технологических сбоев», – говорит Фэйрлз. «Мы также используем несколько зон доступности на платформе AWS, поэтому подписчики всегда смогут пользоваться нашим приложением, даже если весь центр обработки данных AWS станет недоступным».  

Благодаря Amazon Redshift компания Kik Interactive может получать ценную информацию, обрабатывая данные о клиентах и рабочие данные. Джоэл Камминг, отвечающий за обработку данных в Kik, говорит: «Мы можем наблюдать, как различные типы пользователей взаимодействуют с нашими сервисами, и определять их потребности и предпочтения. Эти сведения помогают нам разрабатывать новые проекты, разрешать проблемы, определять новые рынки, применять индивидуальный подход и минимизировать отток клиентов».

С Amazon Redshift получить эти сведения стоит гораздо дешевле: компании не нужны собственные оборудование, программное обеспечение и поддержка. «Большинство альтернативных решений для хранения данных стоили бы нам до 1 млн USD в год, включая затраты на приобретение, текущее обслуживание и поддержку», – рассказывает Камминг. «А Amazon Redshift обходится нам в общей сложности в 100 000 USD, что сокращает затраты на 90 %».

Совсем недавно бесплатное обновление аппаратного обеспечения Redshift позволило компании Kik на 30 % повысить эффективность хранения данных. «AWS постоянно совершенствует свою платформу, поэтому мы можем извлекать и применять ценную информацию гораздо быстрее, чем раньше», – говорит Камминг. «В результате мы можем собирать больше данных из нескольких источников и получать новые сведения о потребностях клиентов, используя меньшие ресурсы».

Недавно Kik развернула сервис AWS Lambda, который Камминг описывает как «следующий рубеж» анализа данных в компании. «Мы очень рады», – рассказывает он. «AWS Lambda автоматически выделяет инфраструктуру, необходимую для работы наших аналитических приложений, поэтому нам ничего делать не нужно. Вместо того чтобы тратить время на обслуживание серверов, мы можем сосредоточиться на создании новых возможностей для бизнеса и повышении качества работы пользователей».

Наряду с AWS Lambda компания Kik применяет Amazon API Gateway и Amazon DynamoDB, которые открывают внутренним сервисам компании мгновенный доступ к необходимым данным. «Amazon API Gateway позволил нам очень быстро определить сложные статистические модели и возможности персонализации продукта», – говорит Камминг. «Мы чрезвычайно быстро построили первую итерацию нашего внутреннего API данных на DynamoDB, Lambda и API Gateway, и теперь сервисы Kik можно ориентировать на пользователей и масштабировать так, как никогда прежде».

Подробнее о том, как платформа AWS может помочь вам сократить расходы на управление данными, см. на странице Сведения о больших данных.