Инстансы ноутбуков Amazon SageMaker теперь поддерживают инстансы на базе Trainium1 и Inferentia2
Мы рады объявить об общей доступности инстансов EC2 на базе Trainium1 и Inferentia2 на инстансах ноутбуков SageMaker.
Инстансы Trn1 Amazon EC2 на базе чипов AWS Trainium и инстансы Inf2 на базе чипов AWS Inferentia специально созданы для высокопроизводительного глубокого обучения и логических выводов соответственно. Инстансы Trn1 позволяют сократить расходы по сравнению с другими сопоставимыми инстансами Amazon EC2 при обучении моделей генеративного искусственного интеллекта с более чем 100 миллиардами параметров, таких как большая языковая модель (LLM) и скрытая диффузия. Инстансы Inf2 предоставляют недорогие и высокопроизводительные логические выводы для генеративного искусственного интеллекта, включая LLM и трансформеры машинного зрения. Инстансы Trn1 и Inf2 можно использовать в широком наборе приложений, таких как суммирование текста, генерация кода, ответы на вопросы, генерация изображений и видео, рекомендации и обнаружение мошенничества.
Инстансы Amazon EC2 Trn1 доступны для ноутбуков SageMaker в следующих регионах AWS: Восток США (Северная Вирджиния, Огайо) и Запад США (Орегон). Инстансы Amazon EC2 Trn1n доступны для SageMaker NBI в регионе AWS Восток США (Северная Вирджиния, Огайо). Инстансы Amazon EC2 Inf2 доступны для SageMaker NBI в следующих регионах AWS: Запад США (Орегон), Восток США (Северная Вирджиния, Огайо), ЕС (Ирландия, Франкфурт, Лондон, Стокгольм, Париж), Азиатско-Тихоокеанский регион (Токио, Сидней, Мумбаи, Сингапур) и Южная Америка (Сан-Паулу).
Инструкции по настройке и использованию инстансов ноутбуков SageMaker даны в руководстве для разработчиков.