Клиенты AWS Trainium

В Anthropic миллионы людей ежедневно полагаются на Claude в своей работе. Мы объявляем о двух важных достижениях AWS. Во-первых, о новом «режиме с оптимизацией задержек» для Claude 3.5 Haiku, который работает на Trainium2 на 60 % быстрее с помощью Amazon Bedrock. А во-вторых, о Project Rainier – новом кластере с сотнями тысяч чипов Trainium2, обеспечивающем производительность в сотни экзафлопс, что более чем в пять раз превышает масштаб нашего предыдущего кластера. Project Rainier будет способствовать как нашим исследованиям, так и масштабированию технологий нового поколения. Для клиентов это означает более высокий уровень искусственного интеллекта, снижение затрат и увеличение скорости работы. Наша цель – не просто ускорить ИИ, а создать надежное и масштабируемое решение, готовое к будущим вызовам.

Mosaic AI от Databricks предоставляет организациям мощный инструмент для создания и развертывания высококачественных систем агентов. Благодаря интеграции с корпоративными хранилищами данных, Mosaic AI позволяет легко и безопасно адаптировать модели к специфике бизнеса, обеспечивая более точные результаты. Высокая производительность и экономичность Trainium дают клиентам возможность масштабировать обучение моделей на платформе Mosaic AI с минимальными затратами. С выходом Trainium2 Databricks получит значительное преимущество, поскольку растущий спрос на Mosaic AI наблюдается среди клиентов по всему миру и во всех отраслях. Как одна из крупнейших компаний в области обработки данных и ИИ, Databricks планирует использовать TRN2 для повышения эффективности своих решений и снижения совокупной стоимости владения для клиентов до 30 %.

Компания poolside намерена построить мир, в котором искусственный интеллект (ИИ) станет движущей силой большинства экономически ценных работ и научного прогресса. Мы уверены, что разработка программного обеспечения станет первой масштабной областью, в которой нейронные сети смогут достичь уровня человеческого интеллекта. Именно здесь мы можем наиболее эффективно объединить методы обучения и поиска. Для этого мы разрабатываем базовые модели, API и ассистента, которые позволят вашим разработчикам (или даже обычной клавиатуре) использовать потенциал генеративного ИИ. Основой для внедрения этой технологии является наша инфраструктура, обеспечивающая создание и запуск продуктов. Используя AWS Trainium2, наши клиенты смогут значительно масштабировать свои приложения с оптимальным соотношением цены и производительности, превосходя другие ускорители на основе ИИ. В дополнение к этому мы планируем обучать будущие модели на Trainium2 UltraServers, что позволит достичь экономии до 40 % по сравнению с инстансами EC2 P5.

Мы протестировали AWS Trainium и Inferentia для решения различных задач, начиная от стандартных логических выводов и заканчивая тщательно настроенными приложениями. Производительность этих чипов ИИ позволила нам достичь значительных результатов в наших исследованиях и разработках. Как для пакетных задач, так и для задач интерактивного вывода мы наблюдали 7-кратное увеличение пропускной способности по сравнению с графическими процессорами. Такое повышение производительности приводит к увеличению числа сценариев использования в организации. Последнее поколение чипов Trainium2 дает новаторские возможности для генеративного ИИ и открывает двери для инноваций в Itau.

Мы рады запуску AWS TRN2, который, как мы уверены, обеспечит лучшую производительность на токен и максимальную скорость для нашей базовой модели Ninja LLM, построенной на основе Llama 3.1 405B. Особенно впечатляют низкая задержка Trn2, конкурентоспособные цены и удобная доступность по запросу. Это открывает новые возможности для Ninja.

Переход на инстансы Trn1 оказался простым и понятным. Мы смогли предварительно обучить нашу модель LLM с параметром 13B всего за 8 дней, используя кластер из 4096 чипов Trainium. После успеха, достигнутого при использовании нашей компактной модели, мы усовершенствовали новый, более крупный LLM на базе Llama-3-Swallow-70B и, используя Trainium, смогли сократить затраты на обучение на 50 % и повысить энергоэффективность на 25 % по сравнению с использованием новейших графических процессоров в AWS. Мы рады использовать чипы AWS Trainium2 последнего поколения на основе ИИ, чтобы и дальше обеспечивать нашим клиентам максимальную производительность при минимальных затратах.

Что мне больше всего понравилось в библиотеке AWS Neuron NxD Inference, так это то, как легко она интегрируется с моделями PyTorch. Подход NxD прост и удобен в использовании. Наша команда смогла внедрить модели HuggingFace PyTorch с минимальными изменениями кода за короткий промежуток времени. Включение таких продвинутых функций, как непрерывное пакетирование и спекулятивное декодирование, не составило труда. Такая простота использования повышает производительность разработчиков, позволяя командам уделять больше внимания инновациям, а не проблемам интеграции.

По сравнению с инстансами EC2 G5, производительность инстансов EC2 Inf2 выросла на 20 %, а токенов за доллар – в 1,5 раза. Возможности точной настройки Refact.ai помогают клиентам глубже понимать уникальные особенности их кодовой базы и рабочей среды, а также адаптировать решения под индивидуальные потребности. Мы также рады предложить технологии Trainium2, обеспечивающие еще более быструю и эффективную обработку рабочих процессов. Этот инновационный подход ускоряет разработку программного обеспечения, повышая производительность разработчиков и соблюдая строгие стандарты безопасности кодовой базы.

KARAKURI разрабатывает инструменты ИИ, направленные на оптимизацию веб-поддержки и упрощение обслуживания клиентов. В их число входят чат-боты на основе генеративного ИИ, системы централизованного управления часто задаваемыми вопросами и инструменты автоматизации ответов на электронные письма. Эти решения позволяют повысить эффективность работы и улучшить качество поддержки клиентов. Используя AWS Trainium, нам удалось обучить чат KARAKURI LM 8x7B версии 0.1. Для стартапов, таких как наш, необходимо оптимизировать время разработки и затраты на обучение LLM. При поддержке AWS Trainium и команды AWS мы смогли за короткий промежуток времени разработать практический уровень LLM. Кроме того, внедрив AWS Inferentia, мы смогли создать быстрый и экономичный сервис логических выводов. Мы с энтузиазмом используем Trainium2, так как он революционизирует наш процесс обучения моделей, сокращая время тренировок вдвое и значительно повышая их эффективность.

Поставив перед собой цель «создать новый механизм повышения ценности и развития человечества», компания Stockmark помогает многим компаниям создавать и развивать инновационный бизнес, предоставляя передовые технологии обработки естественного языка. Новая услуга Stockmark, включающая Anews для анализа и сбора данных, а также SAT – инструмент для структурирования данных, значительно улучшает использование генеративного ИИ, упорядочивая разнообразную информацию, хранящуюся в организациях. Для поддержки этих продуктов нам пришлось полностью пересмотреть подход к созданию и развертыванию моделей. С использованием 256 ускорителей Trainium мы разработали и запустили Stockmark-13B – большую языковую модель с 13 миллиардами параметров, предварительно обученную с нуля на японском корпусе объемом 220 миллиардов токенов. Инстансы Trn1 помогли нам сократить расходы на обучение на 20 %. Благодаря Trainium мы смогли создать LLM, способную отвечать на критически важные для бизнеса вопросы профессионалов с непревзойденной точностью и скоростью. Это достижение особенно важно, учитывая сложности, с которыми сталкиваются компании при обеспечении достаточных вычислительных ресурсов для разработки таких моделей. Учитывая впечатляющую скорость и снижение стоимости инстансов Trn1, мы рады видеть дополнительные преимущества, которые Trainium2 принесет нашим рабочим процессам и клиентам.