Вопросы и ответы по Amazon SageMaker
Общие вопросы
Открыть всеВ чем особенности следующего поколения Amazon SageMaker?
Следующее поколение Amazon SageMaker – это унифицированная платформа для данных, аналитики и искусственного интеллекта. SageMaker нового поколения объединяет широко используемые возможности AWS в сфере машинного обучения и аналитики, а также предоставляет интегрированный интерфейс для аналитики и искусственного интеллекта с унифицированным доступом ко всем вашим данным. Она позволяет вам организовать совместную работу и разрабатывать решения быстрее в единой студии (ознакомительная версия), используя привычные сервисы AWS для разработки моделей, генеративного искусственного интеллекта, обработки данных и SQL-аналитики. В тоже время весь процесс ускоряется за счет Amazon Q для разработчиков (самого мощного ассистента на базе генеративного искусственного интеллекта для разработки программного обеспечения). Кроме того, вы можете получить доступ ко всем данным, независимо от места их хранения (например, в озерах данных, хранилищах данных, сторонних приложениях или федеративных источниках данных), а встроенные средства управления удовлетворяют требованиям корпоративной безопасности.
Чем новая версия SageMaker отличается от той, которую я использую сегодня для рабочих процессов машинного обучения?
Мы дополнили широко распространенный сервис SageMaker обширным набором возможностей AWS для работы с данными, аналитикой и искусственным интеллектом, чтобы создать единую систему для работы в этих сферах. В дальнейшем существующий в SageMaker набор возможностей для работы с искусственным интеллектом и машинным обучением, предназначенный для обработки данных, создания, обучения и развертывания моделей искусственного интеллекта, будет называться Amazon SageMaker AI. SageMaker AI встроен в следующее поколение SageMaker, а также доступен в качестве отдельного сервиса для тех, кто хочет сфокусироваться на создании, обучении и развертывании моделей искусственного интеллекта и машинного обучения в требуемом масштабе.
В новое поколение SageMaker входят указанные ниже элементы.
- Amazon SageMaker Unified Studio (ознакомительная версия): создавайте приложения в единой среде разработки для обеспечения доступа и использования привычных инструментов и функций из специализированных сервисов AWS для аналитики, искусственного интеллекта и машинного обучения. К ним можно отнести Amazon EMR, AWS Glue, Amazon Athena, Amazon Redshift, Amazon Bedrock и SageMaker AI.
- Amazon SageMaker Lakehouse: объединяйте данные в озерах данных Amazon Simple Storage Service (Amazon S3), хранилищах данных Amazon Redshift и сторонних и федеративных источниках данных.
- Управление данными и искусственным интеллектом в Amazon SageMaker: решение для безопасного обнаружения, управления и совместной работы с данными и искусственным интеллектом с помощью Amazon SageMaker Catalog, созданного на базе Amazon DataZone.
Какие возможности предусмотрены в следующем поколении Amazon SageMaker?
Следующее поколение Amazon SageMaker предлагает приведенные ниже возможности.
- Amazon SageMaker Unified Studio (ознакомительная версия) – это решение для создания приложений с использованием всех ваших данных и инструментов для аналитики и искусственного интеллекта в единой среде.
- Amazon SageMaker Lakehouse – это решение для объединения данных в озерах данных Amazon Simple Storage Service (Amazon S3), хранилищах данных Amazon Redshift, сторонних и федеративных источниках данных с помощью Amazon SageMaker Lakehouse.
- Управление данными и искусственным интеллектом – это решение для безопасного обнаружения, управления и совместной работы с данными и искусственным интеллектом с помощью Amazon SageMaker Catalog, созданного на базе Amazon DataZone.
- Разработка моделей – это решение для разработки, обучения и развертывания машинного обучения и базовых моделей с полностью управляемой инфраструктурой, инструментами и рабочими процессами при помощи Amazon SageMaker AI (ранее – Amazon SageMaker).
- Разработка генеративных приложений искусственного интеллекта – это возможность создавать и масштабировать приложения с генеративным искусственным интеллектом при помощи Amazon Bedrock.
- SQL-аналитика – это набор функций для сбора информации с помощью сервиса Amazon Redshift, который является самым эффективным движком SQL.
- Обработка данных – это анализ, подготовка и интеграция данных для аналитики и искусственного интеллекта с помощью фреймворков с открытым исходным кодом на Amazon Athena, Amazon EMR и AWS Glue.
Зачем мне использовать следующее поколение SageMaker?
SageMaker нового поколения объединяет широко используемые возможности машинного обучения и аналитики AWS, а также предоставляет интегрированный интерфейс для работы с аналитикой и искусственным интеллектом и предусматривает унифицированный доступ ко всем вашим данным. Этот унифицированный подход помогает эффективнее работать с данными, расширять сотрудничество между командами и повышать общую производительность.
SageMaker позволяет:
- Работайте совместно и ускоряйте процесс разработки с помощью единой среды разработки для данных и искусственного интеллекта, используя привычные сервисы AWS для создания моделей, генеративного искусственного интеллекта, обработки данных и SQL-аналитики.
- Разрабатывайте и масштабируйте сценарии использования искусственного интеллекта за счет обширного набора инструментов для обучения, настройки и развертывания средств машинного обучения и базовых моделей, а также быстрого создания приложений на основе генеративного искусственного интеллекта, адаптированных для вашего бизнеса.
- Уменьшите количество хранилищ данных с помощью открытого озера, которое объединяет все ваши данные в озерах данных Amazon S3, хранилищах данных Amazon Redshift, а также в сторонних или федеративных источниках данных.
- Удовлетворяйте потребности предприятия в сфере безопасности за счет встроенных средств управления данными и искусственным интеллектом, которые позволяют контролировать доступ к определенным данным, моделям машинного обучения, артефактам разработки генеративного искусственного интеллекта и вычислительным ресурсам, предоставляя их конкретным пользователям для заданных целей.
Можно ли использовать отдельные сервисы AWS без SageMaker?
Да. Можно продолжать использовать отдельные сервисы AWS, в том числе Amazon SageMaker AI (ранее – Amazon SageMaker), Amazon EMR для обработки больших данных, AWS Glue и Amazon Redshift для хранения данных, самостоятельно, основываясь на специфических потребностях своего бизнеса. Это не повлияет на то, как вы используете свои отдельные сервисы сейчас.
Еще одним преимуществом Amazon SageMaker является унифицированный, удобный интерфейс, который позволяет получить доступ к этим сервисам. Такой подход поможет эффективнее внедрять инновации с помощью данных, расширить взаимодействие между командами и повысить общую производительность.
Какие существующие сервисы AWS можно использовать в Amazon SageMaker?
SageMaker объединяет широкий набор сервисов AWS для искусственного интеллекта и аналитики: SageMaker Unified Studio (ознакомительная версия), Управление данными и искусственным интеллектом в SageMaker, а также SageMaker Lakehouse.
Из SageMaker Unified Studio можно перейти к возможностям обработки данных, SQL-аналитике, машинному обучению и разработке приложений с генеративным искусственным интеллектом, используя для этого существующие сервисы AWS. Для обработки данных можно применять такие сервисы, как Athena, AWS Glue, Amazon EMR и Управляемые рабочие процессы Amazon для Apache Airflow (Amazon MWAA), которые позволяют анализировать, подготавливать, интегрировать и организовывать данные для аналитики и искусственного интеллекта в любом масштабе. Для SQL-аналитики Amazon Redshift легко интегрируется с SageMaker Lakehouse, что позволяет получить мощные возможности для SQL-аналитики на объединенных данных в хранилищах данных Amazon Redshift и озерах данных Amazon S3. SageMaker AI (прежнее название — SageMaker) обеспечивает возможности машинного обучения, благодаря которым вы можете создавать, обучать и развертывать средства машинного обучения и базовые модели. Кроме того, можно разрабатывать приложения с генеративным искусственным интеллектом с помощью Amazon Bedrock IDE (ознакомительная версия).
Управление данными и искусственным интеллектом в SageMaker позволяет организовать комплексное встроенное администрирование с помощью унифицированной системы регулирования данных в SageMaker Catalog, разработанной на базе Amazon DataZone, для безопасного обнаружения и контроля данных и ИИ, а также совместной работы над ними.
Решение SageMaker Lakehouse построено на базе нескольких сервисов Каталога данных AWS Glue, AWS Lake Formation и Amazon Redshift с целью обеспечить унифицированный доступ к данным в озерах данных Amazon S3, хранилищах данных Amazon Redshift, а также в сторонних и федеративных источниках данных.
Кроме того, эти сервисы все еще доступны как отдельные компоненты через Консоль управления AWS, что дает свободу действий для каждого конкретного случая. В 2025 году мы планируем расширить SageMaker за счет внедрения новых сервисов, чтобы унифицировать возможности аналитики и искусственного интеллекта. В числе этих сервисов — решения для поисковой аналитики (Сервис Amazon OpenSearch), бизнес-аналитики (Amazon QuickSight) и потоковой передачи (целый портфель сервисов AWS).
Как начать работу с SageMaker?
Начать использовать Amazon SageMaker не трудно. Первым шагом станет переход к консоли управления Amazon SageMaker Unified Studio (ознакомительная версия), где нужно создать домен. Домен – это организационная структура, объединяющая активы, пользователей и их проекты для вашего отдела в организации. В консоли управления выберите пункт Create domain (Создать домен), и вам будет предложено два варианта: Quick setup (Быстрая настройка) и Manual setup (Ручная настройка). Выберите быструю настройку, чтобы начать работу с набором стандартных конфигураций, которые можно настроить позже. Альтернативный вариант – ручная настройка, которая дает полный контроль над параметрами при создании домена. После создания домена можно перейти в Amazon SageMaker Unified Studio (веб-приложение в браузере), где доступны все данные и инструменты для аналитики и искусственного интеллекта. Чтобы узнать больше о начале работы с решением, обратитесь к документации SageMaker.
Сейчас я использую существующие сервисы AWS, которые теперь включены в SageMaker. Как перейти на унифицированный интерфейс SageMaker?
Ваши имеющиеся наработки, добытые при работе с данными в таких сервисах AWS, как Amazon EMR, AWS Glue и Amazon Athena, остаются доступными. Это означает, что весь существующий код и созданные вами ресурсы можно по-прежнему без проблем использовать. В первом квартале 2025 года мы подготовим удобные сценарии обновления и подробные инструкции по переводу существующей базы кода на единый интерфейс SageMaker.
Следующее поколение SageMaker уже общедоступно?
Мы развиваем SageMaker, который широко используется для машинного обучения, и превращаем его в платформу для работы с данными и искусственным интеллектом. Для этого мы интегрируем полный набор инструментов AWS для работы с данными, аналитикой и искусственным интеллектом, которые клиенты уже применяют в настоящее время. Кроме того, мы добавили ряд возможностей в новую версию SageMaker, в том числе единую студию SageMaker (в предварительной версии), хранилище в озере данных SageMaker (GA) и каталог SageMaker (GA).
В новом поколении Amazon SageMaker есть практически все компоненты, необходимые для SQL-аналитики с Amazon Redshift, обработки данных с Amazon EMR, разработки моделей искусственного интеллекта с SageMaker AI и приложений на основе генеративного искусственного интеллекта с новой IDE Amazon Bedrock (в предварительной версии). Все эти элементы поставляются через интегрированный интерфейс разработки в унифицированной студии (в ознакомительной версии).
Описание работы с продуктом
Открыть всеЗачем нужны проекты в SageMaker?
Структура проекта в SageMaker помогает пользователям организовать работу и предоставляет рабочий контекст для выполняемых ими заданий. Ассистент предоставляет пространство для совместной работы, где пользователи могут взаимодействовать с данными и артефактами, в том числе с моделями машинного обучения, блокнотами, запросами, информационными панелями и приложениями генеративного искусственного интеллекта. Проекты защищены таким образом, чтобы доступ к данным и инструментам в рамках проекта имели только его непосредственные участники. Проект создает роли Управления идентификацией и доступом AWS (IAM) на основе выбранных возможностей (например, озера данных), которые предоставляют пользователям необходимый доступ для выполнения поставленных задач. Проекты также обеспечивают возможность изоляции работы в одном аккаунте, а также границу безопасности (группу безопасности и роли IAM).
Как Amazon Q для разработчиков повышает производительность в SageMaker?
Amazon Q для разработчиков – это голосовой ассистент на базе генеративного искусственного интеллекта, который интегрирован в SageMaker. Он повышает вашу продуктивность на протяжении всего жизненного цикла разработки. Через интерфейс чата можно на естественном языке задавать вопросы о SageMaker, получать помощь в работе с кодом и исследовать ресурсы (например, наборы данных). При общении с Amazon Q для разработчиков используется контекст текущего разговора, чтобы ассистент давал индивидуальные рекомендации и автоматически помогал в процессе разработки в SageMaker. Amazon Q для разработчиков может помочь с вопросами по коду, предоставить встроенные дополнения к коду, сгенерировать SQL-запросы, найти и интегрировать наборы данных, а также предложить интеллектуальную помощь, отвечающую вашим конкретным потребностям в разработке.
Вникая в нюансы вашей работы, Amazon Q для разработчиков предоставляет адресную помощь, адаптированную под контекст, которая упрощает процесс разработки и повышает общую производительность в среде SageMaker.
Какие инструменты доступны в SageMaker для аналитики и работы с искусственным интеллектом?
SageMaker – это унифицированная веб-среда, объединяющая мощные инструменты для полноценной работы с данными и искусственным интеллектом. Встроенные IDE облегчают работу над искусственным интеллектом и машинным обучением, позволяя обрабатывать большие объемы данных из различных источников с помощью таких фреймворков и сервисов, как PySpark, AWS Glue и Amazon EMR.
Для контроля версий и управления рабочими процессами можно выполнять фиксацию в Git и определять рабочие процессы с помощью Amazon MWAA. Интегрированный редактор SQL-запросов позволяет изучать, анализировать и визуализировать данные, легче сохранять и передавать запросы, а также создавать новые наборы данных.
Разработка моделей упрощается с помощью привычных инструментов искусственного интеллекта SageMaker (например, блокнотов Amazon SageMaker, JumpStart, HyperPod, MLFlow, Pipelines и Model Registry). В ходе этих процессов Amazon Q для разработчиков легко интегрируется с инструментами SageMaker, обеспечивая интеллектуальную поддержку при поиске и подготовке данных, создании конвейеров, построении и обучении моделей, а также развертывании кода.
Как разрабатывать приложения генеративного искусственного интеллекта в SageMaker?
IDE Amazon Bedrock (ознакомительная версия), интегрированная в SageMaker Unified Studio (ознакомительная версия), является комплексной средой для разработки приложений на основе генеративного искусственного интеллекта. Этот удобный интерфейс поможет ускорить разработку приложений в надежной и безопасной среде, открывая доступ к высокопроизводительным базовым моделям и расширенным возможностям настройки Amazon Bedrock.
Вы можете использовать такие полезные функции, как Amazon Bedrock Knowledge Bases, Guardrails, Agents и Prompt Flows, что позволит вашей команде быстро адаптировать приложения генеративного искусственного интеллекта под конкретные потребности бизнеса, соблюдая при этом правила ответственного использования ИИ. В SageMaker поддерживается управляемый доступ, благодаря чему можно безопасно осуществлять межфункциональное взаимодействие за счет обмена данными с контролем доступа и возможности аудита с помощью git.
Какие типы источников данных поддерживает Amazon SageMaker?
Amazon SageMaker Lakehouse позволяет объединять данные в озерах данных AWS, хранилищах данных, сторонних приложениях и операционных базах данных. Это решение обеспечивает быстрый и оптимизированный доступ к данным в одной точке за счет интеграции с нулевым использованием ETL, федеративных источников запросов и более чем 240 коннекторов.
Как гарантировать, что данные в SageMaker будут надежно защищены и управляемы?
SageMaker обеспечивает комплексное встроенное управление за счет унифицированной системы управления данными в SageMaker Catalog, построенной на базе Amazon DataZone. Такой подход позволяет осуществлять каталогизацию, обнаружение, управление структурированными и неструктурированными данными, моделями машинного обучения и приложениями в масштабах всей организации. Кроме того, решение подходит для организации доступа к этим компонентам. С помощью SageMaker соответствующие сотрудники могут получить необходимый уровень доступа к нужным активам, что позволяет соблюдать жесткие стандарты безопасности и соответствия нормативным требованиям.
Как создавать конвейеры данных и управлять ими в Amazon SageMaker?
В Amazon SageMaker можно создавать конвейеры данных и управлять ими разными способами. Обработка данных Amazon SageMaker объединяет Amazon EMR, Amazon Athena, AWS Glue и Amazon MWAA, чтобы вы могли интегрировать, подготавливать и изучать данные в едином пространстве. С помощью SageMaker AI можно создавать конвейеры для оркестрации моделей, ориентированных на машинное обучение, а с помощью Amazon MWAA – конвейеры данных и рабочие процессы. Также можно использовать интеграции с нулевым использованием ETL, которые упрощают движение данных, удаляя сложные операции извлечения, преобразования и загрузки (ETL), обеспечивая при этом прямую репликацию данных между сервисами. Посетите раздел о нулевом использовании ETL, чтобы узнать больше.
Цены
Открыть всеКак рассчитываются цены за использование SageMaker?
При использовании Amazon SageMaker с вас будет взиматься плата в соответствии с моделью ценообразования для различных сервисов AWS, доступных через Amazon SageMaker. За использование Amazon SageMaker Unified Studio (ознакомительная версия), среды разработки данных и искусственного интеллекта, которая позволяет получить интегрированный интерфейс в Amazon SageMaker, отдельная плата не взимается. Чтобы получить дополнительную информацию, посетите страницу Amazon SageMaker с ценами на решение.
Можно протестировать SageMaker бесплатно?
Уровень бесплатного пользования SageMaker позволяет быстро начать внедрять инновации с помощью данных и искусственного интеллекта без каких-либо затрат. Подробности см. в разделе цен на SageMaker.
Доступность
Открыть всеВ каких регионах AWS доступен SageMaker?
Следующее поколение сервиса Amazon SageMaker доступно в таких регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Азиатско-Тихоокеанский регион (Токио) и Европа (Ирландия). Amazon SageMaker Unified Studio и Amazon Bedrock IDE доступны в ознакомительной версии в этих регионах AWS. Чтобы узнать о будущих обновлениях, ознакомьтесь со списком региональных сервисов AWS.
Предлагает ли SageMaker Соглашение об уровне обслуживания (SLA)?
Да. Решение SageMaker создано для стабильной производительности и времени непрерывной работы, что необходимо для критически важных рабочих нагрузок, связанных с аналитикой и искусственным интеллектом. Поскольку унифицированная платформа состоит из множества сервисных компонентов, доступность сервиса привязана к используемому сервисному компоненту.
Чтобы ознакомится с подробной информацией о соглашениях об уровне обслуживания (SLA) для каждого отдельного сервиса, обратитесь к соответствующей документации по SLA. В SLA содержатся конкретные гарантии времени непрерывной работы и надежности различных сервисов, входящих в интерфейс SageMaker.
Доступная документация по SLA: