Клиенты Amazon FSx для Lustre

DatologyAI создает инструменты, которые автоматически отбирают лучшие данные для обучения моделей глубокого обучения.

«Мы рады использовать решение Amazon SageMaker HyperPod для наблюдения в один клик. Нашим старшим сотрудникам требовалась информация о том, как мы используем ресурсы графических процессоров. Готовые панели управления Grafana предоставят нам именно то, что нам нужно, и позволят мгновенно получить доступ к важнейшим показателям — от использования графического процессора в конкретных задачах до производительности файловой системы (FSx for Lustre) — без необходимости поддерживать инфраструктуру мониторинга. Как человеку, который ценит возможности языка запросов Prometheus, мне нравится, что я могу писать собственные запросы и анализировать собственные метрики, не беспокоясь о проблемах с инфраструктурой».

Джош Уиллс, технический персонал DatologyAI

Apoidea разрабатывает решения на базе искусственного интеллекта для транснациональных банков с использованием передовых технологий генеративного искусственного интеллекта и глубокого обучения. Их флагманский продукт, SuperACC, представляет собой сложный сервис обработки документов, в котором используются собственные модели обработки различных финансовых документов, включая банковские выписки и формы KYC. Эта технология значительно повысила эффективность банковского сектора, сократив время обработки финансовых спредов с 4-6 часов до 10 минут.

Для поддержки этой разработки Apoidea использует Amazon SageMaker HyperPod, который предоставляет масштабируемую и гибкую среду для обучения крупномасштабным моделям. SageMaker HyperPod обеспечивает распределенное управление обучением, беспрепятственную синхронизацию данных с FSx for Lustre и настраиваемые среды, повышающие эффективность рабочего процесса машинного обучения.

Компания Adobe была основана 40 лет назад с простой идеей создания инновационных продуктов, меняющих мир. Adobe предлагает революционные технологии, позволяющие каждому и везде воображать, создавать и воплощать в жизнь любой цифровой опыт. Вместо того чтобы полагаться на модели с открытым исходным кодом, Adobe решила разработать собственные базовые генеративные модели искусственного интеллекта, адаптированные к творческим сценариям использования. Компания Adobe создала супермагистраль искусственного интеллекта на AWS для создания обучающей платформы по искусственному интеллекту и конвейеров данных для быстрой итерации моделей. Adobe использовала Amazon FSx для высокопроизводительного файлового хранилища Lustre для быстрого доступа к данным и обеспечения того, чтобы ресурсы графического процессора никогда не пропадали без дела.

«Легко думать, что я создам собственное облако искусственного интеллекта, но партнерство с AWS позволяет нам сосредоточиться на наших преимуществах»

Александру Костин, вице-президент по генеративному искусственному интеллекту и платформе Sensei, Adobe

LG AI Research, исследовательский центр искусственного интеллекта (ИИ) южнокорейского конгломерата LG Group, был основан для продвижения искусственного интеллекта в рамках стратегии цифровой трансформации для обеспечения будущего роста. Исследовательский институт разработал базовую модель движка EXAONE за один год с использованием Amazon SageMaker и Amazon FSx for Lustre. Базовая модель имитирует мышление, обучение и самостоятельные действия людей с помощью крупномасштабного обучения работе с данными. Многоцелевая модель фундамента может использоваться в различных отраслях для выполнения ряда задач.

Компания Paige, ведущий поставщик услуг цифровой патологии, стремилась усовершенствовать свои модели искусственного интеллекта и машинного обучения для диагностики рака, но локальные решения столкнулись с ограничениями. Чтобы решить эту проблему, Пейдж внедрила инстансы Amazon EC2 P4d и Amazon FSx для Lustre, интегрировав последние с корзинами Amazon S3 для эффективной обработки петабайтов входных данных машинного обучения. Эта инфраструктура AWS позволила Пейджу обрабатывать данные без ручной предварительной обработки в высокопроизводительных файловых системах. В результате Пейдж в десять раз увеличила возможности обучения работе с данными и ускорила внутренние рабочие процессы на 72%.

«Подключив Amazon FSx for Lustre к Amazon S3, мы можем без проблем обработать в 10 раз больше данных, чем когда-либо в локальной инфраструктуре. »

Александр ван Эк, инженер по искусственному интеллекту, компания Paige

Toyota Research Institute (TRI) собирает и обрабатывает большие объемы данных датчиков, полученных во время тестирования автономных транспортных средств (AV). Каждый набор обучающих данных помещается на локальное устройство NAS и передается в Amazon Simple Storage Service (Amazon S3), а затем обрабатывается в мощном вычислительном кластере с графическим процессором. Компании TRI требовалась высокопроизводительная файловая система для сопряжения с их вычислительными ресурсами, ускорения обучения моделей машинного обучения и анализа данных для специалистов компании по обработке данных. Toyota Research Institute выбирает FSx для Lustre, чтобы сократить продолжительность машинного обучения распознаванию объектов.

«Нам нужна была параллельная файловая система для наборов обучающих данных машинного обучения, и мы выбрали Amazon FSx for Lustre из-за его более высокой доступности и надежности по сравнению с нашими устаревшими файловыми системами. Интеграция с сервисами AWS, включая S3, также сделала его предпочтительным вариантом для нашего высокопроизводительного файлового хранилища. »

Дэвид Флюк, инженер-программист, Toyota Research Institute

Shell предлагает динамичный портфель энергетических решений — от нефти, газа и нефтехимии до энергии ветра, солнца и водорода. Shell гордится тем, что поставляет своим клиентам энергию, необходимую для обеспечения их жизни. Shell использует HPC для создания, тестирования и проверки моделей. С 2020 по 2022 год использование графических процессоров в среднем составляло менее 90%, что привело к задержкам в реализации проектов и ограничениям на эксперименты с новыми алгоритмами. Shell наращивает свои локальные вычислительные мощности, перейдя в облако с помощью кластеров Amazon EC2 и Amazon FSx for Lustre. Это решение дает Shell возможность быстро масштабировать в большую и меньшую сторону и приобретать дополнительные вычислительные мощности только при их необходимости. Графические процессоры Shell теперь используются полностью, что снижает затраты на вычисления и ускоряет тестирование моделей машинного обучения.

Netflix использует широкомасштабное распределенное обучение для мультимедийных моделей машинного обучения, для постпродакшн-эскизов, визуальных эффектов и создания трейлеров для тысяч видеороликов и миллионов клипов. Межузловая репликация и 40-процентный простой графического процессора Netflix приводили к длительному ожиданию.

Netflix изменила архитектуру конвейера загрузки данных и повысила его эффективность, предварительно вычислив все видео/аудиоклипы. Производительность Amazon FSx для Lustre позволяет Netflix перегружать графические процессоры и практически исключать время их простоя. Теперь при использовании предварительных вычислений и FSx для Lustre производительность Netflix улучшилась в 3-4 раза, благодаря чему время обучения модели сократилось с недели до 1-2 дней.

Посмотрите видео Netflix

При создании четвертого сезона эпизодической драмы «Корона» Netflix столкнулся с неожиданными проблемами: незадолго до начала послесъемочного монтажа спецэффектов мир оказался в изоляции из-за пандемии COVID-19. Внедрив облачный рабочий процесс на AWS, включая файловый сервер Amazon FSx Lustre для повышения пропускной способности, штатная команда Netflix по визуальным эффектам из 10 художников смогла всего за 8 месяцев без проблем выполнить более 600 снимков визуальных эффектов для 10-серийного сезона, причем все это при удаленной работе.

Storengy, дочерняя компания группы ENGIE, – ведущий поставщик природного газа. Компания предлагает предприятиям по всему миру услуги по хранению газа, геотермальные решения, безуглеродное производство и технологии хранения энергии.

Чтобы обеспечить надлежащее хранение своих продуктов, Storengy использует высокотехнологичные симуляторы для оценки подземного хранения газа, что требует широкого использования рабочих нагрузок высокопроизводительных вычислений (HPC). Кроме того, компания использует технологию HPC для выполнения работ по разведке и изучению природного газа.

«Благодаря AWS мы обладаем масштабируемостью и высокой доступностью, позволяющими выполнять сотни симуляций одновременно. Кроме того, решение автоматически масштабируется в сторону увеличения или уменьшения нагрузки в периоды пиковой рабочей нагрузки, а значит, наша среда HPC не преподносит сюрпризов. »

Жан-Фредерик Тебо, инженер, Storengy

Smartronix использует FSx для Lustre, чтобы обеспечить надежную и высокую производительность развертывания SAS Grid.

Smartronix предоставляет облачные решения, средства кибербезопасности, системную интеграцию, всемирную аналитику C5ISR и аналитику данных, а также специализированное проектирование для многих ведущих мировых коммерческих и федеральных организаций. Smartronix использовала SAS Grid для анализа и предоставления ежедневной статистики COVID по всему штату и обнаружила, что администрировать их самоуправляемую параллельную файловую систему и защищать ее сложно.

«Сотрудничество с AWS и использование их управляемых решений, таких как FSx for Lustre, позволили нам лучше обслуживать наших клиентов, повысив доступность и снизив затраты на 29% по сравнению с самоуправляемыми файловыми системами. »

Роб Мунье, старший архитектор решений, Smartronix

Hyundai Motor Company, мировой производитель автомобилей, экспортирующий продукцию более чем в 200 стран, использует семантическую сегментацию для автономного вождения для классификации пикселей изображений по таким категориям, как дороги, люди и здания.

Для повышения точности моделей и соблюдения сроков компания Hyundai внедрила Amazon SageMaker для автоматического обучения и параллелизма данных на нескольких графических процессорах, а также Amazon FSx для Lustre и S3 для эффективного хранения и обработки данных. Эти решения помогли Hyundai достичь эффективности масштабирования на 93% при использовании 64 графических процессоров и при этом сократить время ожидания данных.

Amazon FSx для Lustre сыграл решающую роль в преобразовании облака Rivian, обеспечив быстрый доступ к общему хранилищу, необходимый для автоматизированного проектирования и проектирования. Используя FSx for Lustre в своем решении AWS, компания Rivian значительно улучшила свои показатели производительности, в том числе увеличила скорость взаимодействия по управлению жизненным циклом продукта на 66% и сократила время синхронизации резервного копирования с одного дня до менее часа.

Полностью управляемый сервис хранения был реализован вместе с другими сервисами AWS, такими как Amazon EC2 и Auto Scaling, что помогло Rivian преодолеть ограничения локальной инфраструктуры и достичь масштабируемых и высокопроизводительных вычислительных возможностей всего за три недели по сравнению с ожидаемым шестимесячным сроком.

Компания Denso разрабатывает датчики изображения для усовершенствованных систем помощи водителю (ADAS), которые помогают водителям выполнять такие функции, как парковка и смена полосы движения. Для разработки необходимых моделей машинного обучения для распознавания изображений ADAS компания DENSO создала кластеры графических процессоров в своей локальной среде. Однако несколько инженеров машинного обучения одновременно использовали ограниченные ресурсы графического процессора, что сказалось на производительности, особенно в напряженный период перед выпуском нового продукта.

Внедрив Amazon SageMaker и Amazon FSx for Lustre, компания Denso смогла ускорить создание моделей распознавания изображений ADAS за счет сокращения времени сбора данных, разработки моделей, обучения и оценки.

«Практика перехода в облако будет продолжать ускоряться в области искусственного интеллекта и машинного обучения. Уверен, что AWS продолжит оказывать нам поддержку по мере добавления функций».

Кенсуке Ёкой, генеральный директор DENSO

Компания T-Mobile трансформировала свою инфраструктуру SAS Grid, внедрив Amazon FSx for Lustre для решения проблем с производительностью и высоких затрат на управление с помощью своей самоуправляемой системы.

Развертывание FSx for Lustre, а также интеграция с Amazon S3 позволили T-Mobile удвоить скорость рабочих нагрузок SAS Grid, добившись ежегодной экономии 1,5 млн долларов и снижения совокупной стоимости владения на 83%.

Решение устранило эксплуатационную нагрузку и позволило T-Mobile сосредоточиться на своем основном бизнесе — разработке инновационных продуктов для клиентов, используя расширенные возможности хранения данных AWS.

Компания Maxar Technologies, надежный партнер и новатор в области разведки Земли и космической инфраструктуры, нуждалась в более быстром прогнозировании погоды по сравнению с локальным суперкомпьютером. Компания Maxar совместно с AWS создала решение для высокопроизводительных вычислений с использованием ключевых технологий, включая AMAZON EC2 для безопасных и высоконадежных вычислительных ресурсов, Amazon FSx для Lustre для повышения пропускной способности приложения при чтении и записи и AWS ParallelCluster для быстрого создания вычислительных сред HPC на AWS.

«Компания Maxar использовала Amazon FSx for Lustre в нашем решении AWS HPC для запуска численной модели прогнозирования погоды NOAA. Это позволило сократить время вычислений на 58 % и сгенерировать прогноз примерно за 45 минут по гораздо более выгодной цене. Максимальное использование вычислительных ресурсов AWS стало для нас невероятным приростом производительности. »

Стефан Чесельски, доктор наук, старший научный сотрудник и инженер по обработке данных в Maxar Technologies

Обработка данных магнитно-резонансной томографии (МРТ) с использованием стандартных облачных файловых систем DiY требовала значительных ресурсов и времени. BlackThorn нуждалась в эффективном вычислительном решении для совместного хранения файлов, с помощью которого можно было бы упростить рабочие процессы обработки данных и машинного обучения. Amazon FSx for Lustre интегрирован с Amazon S3 и Amazon SageMaker, обеспечивая быструю обработку наборов обучающих данных машинного обучения, а также беспрепятственный доступ к вычислениям с помощью инстансов Amazon EC2.

«Технология FSx for Lustre позволила нам создать высокопроизводительный конвейер обработки данных МРТ. Время обработки данных в наших рабочих процессах на основе машинного обучения было сокращено до нескольких минут по сравнению с днями и неделями. »

Оскар Родригес, старший директор по инновациям и технологиям, BlackThorn Therapeutics

Компания Qubole искала высокопроизводительное решение для хранения данных для обработки аналитических задач и рабочих нагрузок искусственного интеллекта и машинного обучения для своих клиентов. Им нужно было легко хранить и обрабатывать промежуточные данные, хранящиеся в их спотовом парке EC2. Компания Qubole использовала Amazon FSx for Lustre для хранения и обработки промежуточных данных в параллельной высокоскоростной файловой системе.

«Две самые большие проблемы наших пользователей — высокие затраты и промежуточная потеря данных — были связаны с использованием неиспользуемых инстансов EC2 и спотовых инстансов EC2 для обработки и хранения промежуточных данных, генерируемых платформами распределенной обработки, такими как Hive и Spark. Мы смогли решить эту проблему, используя высокопроизводительную файловую систему Amazon FSx для Lustre, чтобы разгрузить промежуточные данные. Теперь нашим пользователям не нужно платить за обслуживание простаивающих инстансов, и на них не влияют перебои в работе спотовых узлов EC2. Amazon FSx помог нашим пользователям сократить общие расходы на 30%. »

Джойдип Сен Сарма, технический директор, Qubole