Клиенты AWS Trainium

Узнайте, как клиенты используют AWS Trainium для создания, обучения и усовершенствования моделей глубокого обучения.

  • Anthropic

    В Anthropic миллионы людей ежедневно полагаются на Claude в своей работе. Мы объявляем о двух важных достижениях AWS. Во-первых, о новом «режиме с оптимизацией задержек» для Claude 3.5 Haiku, который работает на Trainium2 на 60 % быстрее с помощью Amazon Bedrock. А во-вторых, о Project Rainier – новом кластере с сотнями тысяч чипов Trainium2, обеспечивающем производительность в сотни экзафлопс, что более чем в пять раз превышает масштаб нашего предыдущего кластера. Project Rainier будет способствовать как нашим исследованиям, так и масштабированию технологий нового поколения. Для клиентов это означает более высокий уровень искусственного интеллекта, снижение затрат и увеличение скорости работы. Наша цель – не просто ускорить ИИ, а создать надежное и масштабируемое решение, готовое к будущим вызовам.

    Tom Brown, директор по вычислительным технологиям, Anthropic
  • Databricks

    Mosaic AI от Databricks предоставляет организациям мощный инструмент для создания и развертывания высококачественных систем агентов. Благодаря интеграции с корпоративными хранилищами данных, Mosaic AI позволяет легко и безопасно адаптировать модели к специфике бизнеса, обеспечивая более точные результаты. Высокая производительность и экономичность Trainium дают клиентам возможность масштабировать обучение моделей на платформе Mosaic AI с минимальными затратами. С выходом Trainium2 Databricks получит значительное преимущество, поскольку растущий спрос на Mosaic AI наблюдается среди клиентов по всему миру и во всех отраслях. Как одна из крупнейших компаний в области обработки данных и ИИ, Databricks планирует использовать TRN2 для повышения эффективности своих решений и снижения совокупной стоимости владения для клиентов до 30 %.

    Навин Рао, вице-президент по генеративному ИИ, Databricks
  • poolside

    Компания poolside намерена построить мир, в котором искусственный интеллект (ИИ) станет движущей силой большинства экономически ценных работ и научного прогресса. Мы уверены, что разработка программного обеспечения станет первой масштабной областью, в которой нейронные сети смогут достичь уровня человеческого интеллекта. Именно здесь мы можем наиболее эффективно объединить методы обучения и поиска. Для этого мы разрабатываем базовые модели, API и ассистента, которые позволят вашим разработчикам (или даже обычной клавиатуре) использовать потенциал генеративного ИИ. Основой для внедрения этой технологии является наша инфраструктура, обеспечивающая создание и запуск продуктов. Используя AWS Trainium2, наши клиенты смогут значительно масштабировать свои приложения с оптимальным соотношением цены и производительности, превосходя другие ускорители на основе ИИ. В дополнение к этому мы планируем обучать будущие модели на Trainium2 UltraServers, что позволит достичь экономии до 40 % по сравнению с инстансами EC2 P5.

    Eiso Kant, технический директор и соучредитель, poolside
  • Itaú Unibanco

    Цель Itaú Unibanco – улучшить отношение людей к деньгам, оказать положительное влияние на их жизни и расширить возможности для преобразований. В Itaú Unibanco мы уверены, что каждый клиент уникален, поэтому мы фокусируемся на удовлетворении их индивидуальных потребностей. Используя интуитивно понятные цифровые технологии, основанные на ИИ, мы обеспечиваем постоянную адаптацию наших решений к меняющимся потребительским привычкам.

    Мы протестировали AWS Trainium и Inferentia для решения различных задач, начиная от стандартных логических выводов и заканчивая тщательно настроенными приложениями. Производительность этих чипов ИИ позволила нам достичь значительных результатов в наших исследованиях и разработках. Как для пакетных задач, так и для задач интерактивного вывода мы наблюдали 7-кратное увеличение пропускной способности по сравнению с графическими процессорами. Такое повышение производительности приводит к увеличению числа сценариев использования в организации. Последнее поколение чипов Trainium2 дает новаторские возможности для генеративного ИИ и открывает двери для инноваций в Itau.

    Tom Brown, руководитель отдела анализа данных, Itaú Unibanco
  • NinjaTech AI

    Ninja – это универсальный агент ИИ, предлагающий неограниченную продуктивность: одна подписка дает доступ к передовым мировым моделям ИИ, а также лучшим навыкам, включая написание текстов, программирование, генерацию идей, создание изображений и проведение онлайн-исследований. Как агентская платформа, Ninja предлагает сервис «SuperAgent», который использует смесь агентов с точностью мирового уровня, сравнимой с моделями Frontier Foundation, а в некоторых областях даже превосходящей их. Для реализации технологий Ninja Agentic требуются ускорители высочайшей производительности, чтобы обеспечивать нашим клиентам уникальный опыт работы в реальном времени, соответствующий их высоким ожиданиям. 

    Мы рады запуску AWS TRN2, который, как мы уверены, обеспечит лучшую производительность на токен и максимальную скорость для нашей базовой модели Ninja LLM, построенной на основе Llama 3.1 405B. Особенно впечатляют низкая задержка Trn2, конкурентоспособные цены и удобная доступность по запросу. Это открывает новые возможности для Ninja.

    Babak Pahlavan, основатель и генеральный директор, NinjaTech AI
  • Ricoh

    Команда специалистов RICOH по машинному обучению разрабатывает решения для рабочих мест и услуги по цифровой трансформации, направленные на управление и оптимизацию потока информации в рамках наших корпоративных решений.

    Переход на инстансы Trn1 оказался простым и понятным. Мы смогли предварительно обучить нашу модель LLM с параметром 13B всего за 8 дней, используя кластер из 4096 чипов Trainium. После успеха, достигнутого при использовании нашей компактной модели, мы усовершенствовали новый, более крупный LLM на базе Llama-3-Swallow-70B и, используя Trainium, смогли сократить затраты на обучение на 50 % и повысить энергоэффективность на 25 % по сравнению с использованием новейших графических процессоров в AWS. Мы рады использовать чипы AWS Trainium2 последнего поколения на основе ИИ, чтобы и дальше обеспечивать нашим клиентам максимальную производительность при минимальных затратах.

    Yoshiaki Umetsu, директор Центра развития цифровых технологий, Ricoh
  • PyTorch

    Что мне больше всего понравилось в библиотеке AWS Neuron NxD Inference, так это то, как легко она интегрируется с моделями PyTorch. Подход NxD прост и удобен в использовании. Наша команда смогла внедрить модели HuggingFace PyTorch с минимальными изменениями кода за короткий промежуток времени. Включение таких продвинутых функций, как непрерывное пакетирование и спекулятивное декодирование, не составило труда. Такая простота использования повышает производительность разработчиков, позволяя командам уделять больше внимания инновациям, а не проблемам интеграции.

    Hamid Shojanazeri, ведущий инженер, PyTorch Partner, Meta
  • Refact.ai

    Refact.ai предоставляет широкий набор инструментов ИИ, включая автоматическое дополнение кода на основе Retrieval-Augmented Generation (RAG), точные рекомендации и контекстно-зависимый чат. Эти функции поддерживаются как собственными моделями, так и моделями с открытым исходным кодом, что обеспечивает максимальную гибкость и эффективность.

    По сравнению с инстансами EC2 G5, производительность инстансов EC2 Inf2 выросла на 20 %, а токенов за доллар – в 1,5 раза. Возможности точной настройки Refact.ai помогают клиентам глубже понимать уникальные особенности их кодовой базы и рабочей среды, а также адаптировать решения под индивидуальные потребности. Мы также рады предложить технологии Trainium2, обеспечивающие еще более быструю и эффективную обработку рабочих процессов. Этот инновационный подход ускоряет разработку программного обеспечения, повышая производительность разработчиков и соблюдая строгие стандарты безопасности кодовой базы.

    Oleg Klimov, генеральный директор и основатель Refact.ai
  • Karakuri Inc.

    KARAKURI разрабатывает инструменты ИИ, направленные на оптимизацию веб-поддержки и упрощение обслуживания клиентов. В их число входят чат-боты на основе генеративного ИИ, системы централизованного управления часто задаваемыми вопросами и инструменты автоматизации ответов на электронные письма. Эти решения позволяют повысить эффективность работы и улучшить качество поддержки клиентов. Используя AWS Trainium, нам удалось обучить чат KARAKURI LM 8x7B версии 0.1. Для стартапов, таких как наш, необходимо оптимизировать время разработки и затраты на обучение LLM. При поддержке AWS Trainium и команды AWS мы смогли за короткий промежуток времени разработать практический уровень LLM. Кроме того, внедрив AWS Inferentia, мы смогли создать быстрый и экономичный сервис логических выводов. Мы с энтузиазмом используем Trainium2, так как он революционизирует наш процесс обучения моделей, сокращая время тренировок вдвое и значительно повышая их эффективность.

    Hamid Shojanazeri , соучредитель, Karakuri Inc.
  • Stockmark Inc.

    Поставив перед собой цель «создать новый механизм повышения ценности и развития человечества», компания Stockmark помогает многим компаниям создавать и развивать инновационный бизнес, предоставляя передовые технологии обработки естественного языка. Новая услуга Stockmark, включающая Anews для анализа и сбора данных, а также SAT – инструмент для структурирования данных, значительно улучшает использование генеративного ИИ, упорядочивая разнообразную информацию, хранящуюся в организациях. Для поддержки этих продуктов нам пришлось полностью пересмотреть подход к созданию и развертыванию моделей. С использованием 256 ускорителей Trainium мы разработали и запустили Stockmark-13B – большую языковую модель с 13 миллиардами параметров, предварительно обученную с нуля на японском корпусе объемом 220 миллиардов токенов. Инстансы Trn1 помогли нам сократить расходы на обучение на 20 %. Благодаря Trainium мы смогли создать LLM, способную отвечать на критически важные для бизнеса вопросы профессионалов с непревзойденной точностью и скоростью. Это достижение особенно важно, учитывая сложности, с которыми сталкиваются компании при обеспечении достаточных вычислительных ресурсов для разработки таких моделей. Учитывая впечатляющую скорость и снижение стоимости инстансов Trn1, мы рады видеть дополнительные преимущества, которые Trainium2 принесет нашим рабочим процессам и клиентам.

    Kota Kakiuchi, технический директор и соучредитель, Stockmark Inc.
  • Brave

    Brave – это независимый браузер и поисковая система, которые уделяют приоритетное внимание конфиденциальности и безопасности пользователей. Более 70 миллионов пользователей применяют наши лучшие в отрасли средства защиты, которые делают работу в Интернете более безопасной и удобной. В отличие от других платформ, которые отказались от подходов, ориентированных на пользователя, Brave по-прежнему ставит конфиденциальность, безопасность и удобство на первое место. Ключевые функции включают блокировку вредоносных скриптов и трекеров, сводки страниц с помощью ИИ на основе LLM, встроенные VPN-сервисы и многое другое. Мы постоянно стремимся повысить скорость и экономичность наших поисковых сервисов и моделей ИИ. Для этого мы с радостью применяем новейшие возможности чипов ИИ AWS, включая Trainium2, чтобы улучшить пользовательский опыт и эффективно масштабировать систему для обработки миллиардов поисковых запросов ежемесячно.

    Subu Sathyanarayana, вице-президент по проектированию, Brave Software
  • Anyscale

    Anyscale – компания, создавшая Ray, вычислительный движок ИИ, лежащий в основе машинного обучения, и инициативы по генеративному ИИ для предприятий. Благодаря унифицированной платформе ИИ Anyscale на базе RayTurbo, наши клиенты получают следующие преимущества: в 4,5 раза более быструю обработку данных, в 10 раз меньшую стоимость пакетного вывода с использованием LLM, в 5 раз более быстрое масштабирование, в 12 раз более быструю итерацию, а также экономию затрат на интерактивный вывод моделей на 50 % благодаря оптимизации использования ресурсов.

    В Anyscale мы стремимся предоставить предприятиям лучшие инструменты для эффективного и экономичного масштабирования рабочих нагрузок ИИ. Благодаря встроенной поддержке чипов AWS Trainium и Inferentia в среде выполнения RayTurbo наши клиенты получают доступ к высокопроизводительным и экономичным решениям для обучения и обслуживания моделей. Мы с радостью объединяем усилия с AWS, чтобы использовать Trainium2, открывая новые возможности для наших клиентов в области быстрого внедрения инноваций и масштабного использования высокопроизводительных технологий ИИ.

    Robert Nishihara, сооснователь, Anyscale
  • Datadog

    Datadog, платформа наблюдения и безопасности для облачных приложений, предоставляет клиентам AWS Trainium и Inferentia Monitoring для оптимизации производительности моделей, повышения эффективности и снижения затрат. Интеграция Datadog обеспечивает полную визуализацию операций машинного обучения и базовой производительности микросхем благодаря упреждающему решению проблем и беспрепятственному масштабированию инфраструктуры. Мы с радостью расширяем сотрудничество с AWS в связи с запуском AWS Trainium2, который позволит пользователям сократить расходы на инфраструктуру ИИ до 50 % и значительно повысить эффективность обучения и развертывания моделей.

    Yrieix Garnier, вице-президент по продуктам компании, Datadog
  • Hugging Face

    Hugging Face – ведущая открытая платформа для разработчиков ИИ, на которой собрано более 2 миллионов моделей, наборов данных и приложений ИИ, созданных сообществом из более чем 5 миллионов исследователей, специалистов по обработке данных, инженеров машинного обучения и разработчиков программного обеспечения. Мы сотрудничаем с AWS последние несколько лет, чтобы помогать разработчикам легче оценивать преимущества AWS Inferentia и Trainium с точки зрения производительности и стоимости. Это стало возможным благодаря библиотеке Optimum Neuron с открытым исходным кодом, интегрированной в конечные точки Hugging Face Inference, а теперь и оптимизированной в нашем новом сервисе саморазвертывания HUGS, доступном на AWS Marketplace. С запуском Trainium2 наши пользователи получат еще более высокую производительность, что ускорит разработку и развертывание моделей.

    Jeff Boudier, руководитель отдела продуктов, Hugging Face
  • Lightning AI

    Компания Lightning AI, создатель PyTorch Lightning и Lightning Studios, предлагает интуитивно понятную универсальную платформу для разработки ИИ корпоративного уровня. Lightning предоставляет инструменты с полным кодом, а также решения с низким и нулевым кодом для быстрого создания агентов, приложений и решений на основе генеративного ИИ. Разработанный с учетом гибкости, он легко работает как в вашем облаке, так и в нашем, предоставляя доступ к опытным знаниям и поддержке сообщества разработчиков, насчитывающего более 3 миллионов человек.

    Теперь Lightning изначально предлагает поддержку чипов AWS AI, Trainium и Inferentia, которые интегрированы в Lightning Studios и наши инструменты с открытым исходным кодом, такие как PyTorch Lightning, Fabric и LitServe. Это предоставляет пользователям возможность без труда проводить предварительное обучение, тонкую настройку и развертывание на нужном масштабе, оптимизируя стоимость, доступность и производительность при нулевых затратах на переключение. Кроме того, оно повышает производительность и экономичность чипов AWS AI, включая новейшие чипы Trainium2, обеспечивая более высокую производительность при меньших затратах.

    Jeff Boudier, технический директор, Lightning AI
  • Domino Data Lab

    Domino координирует все артефакты анализа данных, включая инфраструктуру, данные и сервисы на AWS в разных средах, дополняя Amazon SageMaker возможностями управления и совместной работы для поддержки корпоративных групп обработки и анализа данных. Domino доступен в AWS Marketplace как SaaS или как самостоятельно управляемый сервис.

    Ведущие компании должны правильно сочетать техническую сложность, затраты и управление, осваивая обширные возможности ИИ для внедрения инноваций. Мы в Domino стремимся предоставить клиентам доступ к передовым технологиям. Вычислительные ресурсы являются узким местом для многих инноваций, и мы гордимся тем, что предоставляем клиентам доступ к Trainium2, чтобы они могли обучать и развертывать модели с более высокой производительностью, меньшими затратами и более высокой энергоэффективностью.

    Ник Элприн (Nick Elprin), генеральный директор и соучредитель Domino Data Lab
  • Helixon

    Компания HeliXon создает решения нового поколения на основе искусственного интеллекта для современной белковой медицины. Мы стремимся разрабатывать инструменты искусственного интеллекта, которые позволят ученым изучать функции и взаимодействие белков, по огромным наборам геномных данных идентифицировать мишени и разрабатывать новые терапевтические решения, такие как антитела и клеточная терапия. Сегодня мы используем распределенные библиотеки обучения, такие как FSDP, для параллельного обучения модели на многих серверах на базе графических процессоров, но даже при этом обучение одной модели требует нескольких недель. Мы рады возможности применить инстансы Amazon EC2 Trn1 с самой высокой пропускной способностью сети (800 Гбит/с), которую может предоставить AWS, чтобы увеличить производительность распределенных заданий обучения, сократить время и снизить затраты на обучение модели.

    Цзянь Пэн, генеральный директор, компания Helixon
  • Money Forward, Inc.

    Money Forward, Inc. обслуживает компании и частные лица на базе открытой и честной финансовой платформы.

    Мы запустили масштабный сервис чат-ботов на базе искусственного интеллекта на инстансах Amazon EC2 Inf1 и сократили задержку при логическом выводе на 97 % по сравнению с аналогичными инстансами на базе графических процессоров, а также снизили затраты. Поскольку мы периодически донастраиваем индивидуальные модели обработки естественного языка, нам важно сократить время и затраты на обучение моделей. Основываясь на опыте успешной миграции рабочей нагрузки на инстансы Inf1 и работы с инстансами EC2 Trn1 на базе AWS Trainium, мы ожидаем, что инстансы Trn1 принесут дополнительные преимущества в виде повышения производительности и снижения стоимости комплексного процесса машинного обучения.

    Такуя Накаде, технический директор, компания Money Forward Inc.
  • Magic

    Интегрированная производственно- исследовательская компания Magic разрабатывает технологии искусственного интеллекта, общение с которым будет максимально человечным, чтобы сделать мир более эффективным.

    Важным компонентом нашей работы является обучение больших авторегрессионных моделей на основе трансформеров. Инстансы Trn1 на базе AWS Trainium разработаны специально для таких рабочих нагрузок. Они обеспечивают практически неограниченную масштабируемость, быструю сеть для обмена данными между узлами и расширенную поддержку 16- и 8-битных типов данных. Инстансы Trn1 помогут нам быстрее и с меньшими затратами обучать большие модели. Нас особенно радует встроенная поддержка случайного округления для BF16 в Trainium, что повышает производительность с сохранением точности, неотличимой от полной.

    Эрик Стейнбергер, соучредитель и генеральный директор, компания Magic
  • CACTUS LABS

    Компания CACTUS предлагает для исследователей и организаций набор продуктов и решений, позволяющих улучшить процессы финансирования, публикации, распространения и обнаружения исследований.

    Компания Cactus Labs осваивает возможности искусственного интеллекта, проводя исследования в сферах обработки естественного языка, ранжирования и рекомендаций, разговорного искусственного интеллекта, больших языковых моделей, компьютерного зрения, дополненной и виртуальной реальности, а также XAI. Стремясь ускорить обучение моделей машинного обучения и предоставить исследователям возможность проводить больше экспериментов при одновременном сокращении затрат на инфраструктуру, мы остались очень довольны оценкой AWS Trainium. Стандартные функции AWS Trainium, такие как оптимизация XLA, параллельное обучение по данным на нескольких исполнителях и кэширование графов, очень полезны для нас, поскольку позволяют сократить время обучения и проводить больше экспериментов быстрее и дешевле.

    Нищай Шах, технический директор и руководитель отдела новых продуктов, компания Cactus Communications
  • Watashiha

    Компания Watashiha предлагает инновационный и интерактивный сервис чат-ботов OGIRI AI на основе искусственного интеллекта, который позволяет мгновенно и в шутливой манере получить ответ на любой вопрос.

    Мы используем большие языковые модели, чтобы добавить юмор и более релевантный контекст в разговоры с нашими клиентами в сервисах на основе искусственного интеллекта. Для этого требуется предварительная подготовка и частая настройка этих моделей. Мы предварительно обучили японскую модель на основе GPT на инстансе EC2 Trn1.32xlarge, который поддерживает тензорный параллелизм и параллелизм данных. Обучение выполнялось в течение 28 дней и позволило сократить расходы на 33 % по сравнению с использовавшейся ранее инфраструктурой на базе графических процессоров. Поскольку сложность наших моделей продолжает быстро расти, мы с нетерпением ожидаем появления инстансов Trn1n, пропускная способность сети у которых в два раза выше, чем у Trn1, что позволит нам ускорить обучение более крупных моделей.

    Йохей Кобаши, технический директор, компания Watashiha, K.K.
  • Amazon

    Поисковая система Amazon индексирует миллиарды продуктов, ежедневно обрабатывает миллиарды клиентских запросов и является одним из самых загруженных сервисов в мире.

    Мы обучаем большие языковые модели, в том числе мультимодальные (текст и изображение), многоязычные, с поддержкой региональных стандартов, предварительно обученные для выполнения нескольких задач и охватывающие несколько объектов (продукты, запросы, бренды, отзывы и так далее), чтобы покупателям было удобнее совершать покупки. Инстансы Trn1 обеспечивают более экологичный способ обучения больших языковых моделей, обеспечивая лучшую производительность на каждый ватт мощности по сравнению с другими решениями для ускоренного машинного обучения, а также обеспечивают высокую производительность при минимальных затратах. Мы планируем изучить новый настраиваемый тип данных FP8 и случайное округление с аппаратным ускорением для дальнейшего повышения эффективности обучения и скорости разработки.

    Тришул Чилимби, вице-президент Amazon Search
  • Meta

    Больше всего мне понравилось в библиотеке AWS Neuron NxD Inference то, как легко она интегрируется с моделями PyTorch. Подход NXD прост и удобен. Наша команда смогла внедрить модели HuggingFace PyTorch с минимальными изменениями кода за короткий промежуток времени. Включение таких продвинутых функций, как непрерывное пакетирование и спекулятивное декодирование, не составило труда. Такая простота использования повышает производительность разработчиков, позволяя командам уделять больше внимания инновациям, а не проблемам интеграции.

    Хамид Шоджаназери (Hamid Shojanazeri), ведущий партнер Meta по инженерной разработке PyTorch