Вопросы и ответы по Amazon Bedrock

Агенты для Amazon Bedrock – это полностью управляемые возможности, позволяющие разработчикам создавать приложения на основе генеративного искусственного интеллекта, которые могут выполнять сложные задачи в самых разных сценариях использования и предоставлять актуальные ответы на основе собственных источников знаний. В несколько простых действий агенты для Amazon Bedrock автоматически разбивают задачи и создают план оркестрации без написания какого-либо кода вручную. Агент безопасно подключается к данным компании через API, автоматически преобразует их в машиночитаемый формат и дополняет запрос необходимой информацией для получения наиболее точного ответа. Затем агенты могут автоматически вызывать API для выполнения запроса пользователя. Например, производственная компания может захотеть разработать приложение с использованием искусственного интеллекта, которое автоматизирует отслеживание уровней запасов, данных о продажах и информации о цепочке поставок, а также может рекомендовать оптимальные точки и объемы повторных заказов для максимальной эффективности. Благодаря полностью управляемым возможностям агенты для Amazon Bedrock избавляют от необходимости управлять системной интеграцией и выделением инфраструктуры, позволяя разработчикам в полной мере использовать генеративный искусственный интеллект в своей организации.

С помощью агентов Amazon Bedrock можно безопасно подключать базовые модели к источникам данных вашей компании. С помощью базы знаний можно использовать агентов для предоставления FM в Amazon Bedrock доступа к дополнительным данным, которые помогают модели генерировать более релевантные, контекстные и точные ответы без постоянного переобучения FM. На основе вводимых пользователем данных агенты определяют соответствующую базу знаний, извлекают определенную информацию и добавляют ее в строку ввода, предоставляя модели больше контекстной информации для завершения задания.

Агенты для Amazon Bedrock помогут повысить производительность, улучшить качество обслуживания клиентов или автоматизировать задачи DevOps.

Благодаря агентам разработчики получают полную поддержку для мониторинга, шифрования, разрешений пользователей и управления вызовами API, и при этом у них нет необходимости писать код. Агенты для Amazon Bedrock автоматизируют инженерию подсказок и оркестрацию задач, запрошенных пользователями. Разработчики могут использовать созданный агентом шаблон подсказки в качестве основы для дальнейшей его доработки для повышения удобства пользователей. Они могут обновлять данные, вводимые пользователем, план оркестрации и ответ базовой модели. Благодаря доступу к шаблону подсказки разработчики могут лучше контролировать оркестрацию агентов.

Благодаря полностью управляемым агентам не нужно беспокоиться о выделении инфраструктуры или управлении ею, а также можно быстрее запускать приложения в производство.

Весь контент клиентов, который обрабатывается сервисом Amazon Bedrock, шифруется и сохраняется в той области AWS, в которой вы используете Amazon Bedrock.

Нет. Пользовательские входные и выходные модели не передаются любым поставщикам моделей.

Amazon Bedrock включает ряд возможностей для соблюдения требований безопасности и конфиденциальности. На Bedrock распространяются общие стандарты соответствия, такие как стандарты Средства управления сервисной организацией (SOC), Международной организации по стандартизации (ISO), Закон о передаче и защите данных учреждений здравоохранения (HIPAA), и клиенты могут использовать Bedrock в соответствии с Общим регламентом по защите данных (GDPR). Amazon Bedrock входит в состав отчетов SOC 1, 2, 3, что позволяет клиентам получить представление о наших средствах управления безопасностью. Мы подтверждаем соответствие требованиям путем тщательного стороннего аудита наших средств управления AWS. Amazon Bedrock входит в число сервисов AWS, соответствующих требованиям стандартов ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 и ISO 20000. Amazon Bedrock имеет сертификат CSA Security Trust Assurance and Risk (STAR) уровня 2, который подтверждает использование передовых методик и уровень безопасности предложений в облаке AWS. В Amazon Bedrock ваш контент не используется для улучшения базовых моделей и не передается сторонним поставщикам моделей. С помощью AWS PrivateLink можно установить частное соединение между виртуальным частным облаком (VPC) Amazon и Amazon Bedrock без необходимости передавать свои данные через Интернет.

Нет. AWS и сторонние поставщики моделей не будут использовать входные или выходные данные Bedrock для обучения Amazon Titan либо сторонних моделей.

Amazon Bedrock поддерживает пакеты SDK для служб выполнения. Пакеты SDK для iOS и Android, а также Java, JS, Python, CLI, .Net, Ruby, PHP, Go и CPP поддерживают как текстовый, так и речевой ввод.

Потоковая передача поддерживается во всех пакетах SDK.

Ознакомьтесь с действующими тарифами можно на странице с ценами на Amazon Bedrock.

Поддержка сервиса Amazon Bedrock зависит от договора на поддержку AWS и осуществляется для планов поддержки «Для разработчиков», «Для бизнеса» и «Корпоративный».

Метрики CloudWatch можно использовать для отслеживания входных и выходных токенов.

Amazon Bedrock позволяет индивидуально настраивать FM, сохраняя контроль над использованием и шифрованием данных. Amazon Bedrock создает отдельную частную копию базовой модели и обучает ее. Ваши данные, включая подсказки, информацию, используемую для дополнения запроса, ответы FM и настраиваемые FM, остаются в регионе, где обрабатывается вызов API.

Когда вы настраиваете модель, ваши данные никогда не попадают в общедоступный Интернет, никогда не покидают сеть AWS, безопасно передаются через VPC и шифруются при передаче и хранении. При этом Bedrock применяет те же средства контроля доступа к AWS, что и любые другие наши сервисы.

Мы запустили Непрерывное предварительное обучение для моделей Titan Text Express и Titan на Amazon Bedrock. Это позволит вам продолжить предварительное обучение на базовой модели Titan, используя большие объемы немаркированных данных. Этот тип обучения помогает адаптировать модель, переходя от общих предметных областей к более конкретным, таким как медицина, юриспруденция, финансы и т. д., с сохранением большинства возможностей базовой модели Titan. 

Как правило, предприятиям может требоваться создавать модели для задач в определенной предметной области. Базовые модели невозможно обучить техническому жаргону, используемому в такой предметной области. Поэтому для точной настройки базовой модели напрямую потребуется большое количество маркированных обучающих записей и большая продолжительность обучения. Чтобы облегчить эту задачу, клиент может предоставить большие объемы немаркированных данных для задания непрерывного предварительного обучения. Это задание поможет адаптировать базовую модель Titan к новой предметной области. Затем клиент может доработать новую предварительно обученную пользовательскую модель для выполнения последующих задач, используя значительно меньшее количество маркированных обучающих записей и меньшую продолжительность обучения. 

Требования Bedrock к непрерывному предварительному обучению (CPT) и точной настройке (FT) очень похожи. По этой причине мы решили создать универсальные API, поддерживающие как CPT, так и FT. Создание универсальных API сокращает время обучения и помогает клиентам использовать стандартные функции, такие как CloudWatch Event Bridge для отслеживания длительных заданий, интеграция с S3 для получения данных обучения, теги ресурсов и шифрование моделей. 

Непрерывное предварительное обучение поможет вам легко адаптировать модели Titan к данным, специфичным для вашей предметной области, сохраняя при этом базовые функции моделей Titan. Чтобы создать задание непрерывного предварительного обучения, перейдите на консоль Bedrock и нажмите «Пользовательские модели». Вы перейдете на страницу пользовательской модели с двумя вкладками: «Модели» и «Задания обучения». На обеих вкладках справа есть раскрывающееся меню «Настроить модель». Выберите «Непрерывное предварительное обучение» в раскрывающемся меню «Настроить модель», чтобы перейти к экрану «Создать задание непрерывного предварительного обучения». Вы указываете исходную модель, имя, шифрование модели, входные данные, гиперпараметры и выходные данные. Кроме того, вы можете указать теги, а также сведения о ролях IAM и политиках ресурсов для задания.

Семейство моделей Amazon Titan, эксклюзивно представленное в Amazon Bedrock, вобрало в себя 25-летний опыт Amazon по внедрению инноваций в области искусственного интеллекта и машинного обучения во всех аспектах своей деятельности. Базовые модели Amazon Titan предоставляют в распоряжение клиентов широкий выбор высокопроизводительных графических, мультимодальных и текстовых моделей посредством полностью управляемого API. Модели Amazon Titan создаются AWS и предварительно обучены на больших наборах данных: это мощные универсальные модели, предназначенные для поддержки различных сценариев использования, а также для ответственного использования искусственного интеллекта. Используйте их в исходном виде или самостоятельно настраивайте их, используя собственные данные.

Более подробные сведения о данных, обрабатываемых для разработки и обучения базовых моделей Amazon Titan, можно найти на странице обучения моделей и конфиденциальности Amazon Titan.

Поддерживаемые форматы данных включают файлы форматов PDF, TXT, MD, HTML, DOC и DOCX, CSV, XLS и XLSX. Файлы необходимо загрузить в Amazon S3. Просто укажите местоположение ваших данных в Amazon S3, и базы знаний для Amazon Bedrock осуществят весь рабочий процесс ввода данных в вашу векторную базу данных.

Базы знаний для Amazon Bedrock предусматривают три варианта разбивки текста перед преобразованием его в эмбеддинги. 

1.  Вариант по умолчанию: базы знаний для Amazon Bedrock автоматически разбивают документ на части, каждая из которых содержит 200 токенов, при этом предложения никогда не разбиваются в середине. Если документ содержит менее 200 токенов, он не делится дальше. Конец предшествующего и начало следующего фрагмента совпадают на 20 %.

2.  Разбивка на части фиксированного размера: в этом варианте вы можете указать максимальное количество токенов во фрагменте и процент совпадения между соседними фрагментами: базы знаний для Amazon Bedrock будут автоматически разбивать документ на части так, чтобы предложение не разбивалось в середине. 

3.  Создание одного эмбеддинга для каждого документа: Amazon Bedrock создает один эмбеддинг для каждого документа. Этот вариант подходит, если вы предварительно обработали документы, разделив их на отдельные файлы, и не хотите, чтобы ваши документы дополнительно разбивались на фрагменты в Bedrock.
 

В настоящее время в базах знаний для Amazon Bedrock используется последняя версия модели Titan Text Embeddings, доступная в Amazon Bedrock. Модель Titan Text Embeddings поддерживает 8000 токенов и более 25 языков и создает эмбеддинги с размерностью 1536. 

Базы знаний для Amazon Bedrock осуществляют весь рабочий процесс получения данных, включая преобразование документов в эмбеддинги (векторы) и хранение эмбеддингов в специализированной векторной базе данных. Базы знаний для Amazon Bedrock поддерживают популярные базы данных для векторных хранилищ, включая векторный движок для бессерверного Amazon OpenSearch, Pinecone, Redis Enterprise Cloud, Amazon Aurora (готовится к выпуску) и MongoDB (готовится к выпуску). Если у вас нет векторной базы данных, Amazon Bedrock создаст для вас векторное хранилище в бессерверном Amazon OpenSearch.

В зависимости от варианта использования Amazon EventBridge можно использовать для создания периодической или управляемой событиями синхронизации между Amazon S3 и базами знаний для Amazon Bedrock.

Оценка модели в Amazon Bedrock позволяет оценить, сравнить и выбрать наилучшую базовую модель для вашего варианта использования без лишних усилий. В Amazon Bedrock можно выбрать автоматическую оценку и оценку с участием человека. Можно использовать автоматическую оценку с заранее заданными показателями, такими как точность, надежность и токсичность. Вы можете использовать рабочие процессы оценки людьми для получения субъективных или индивидуальных показателей, таких как дружелюбие, стиль и соответствие голосу бренда. Для оценки с участием человека вы можете привлечь своих штатных сотрудников или команду специалистов AWS. При оценке модели используются встроенные тщательно подобранные наборы данных. Вы также можете использовать собственные наборы данных.

С помощью автоматических оценок можно оценить множество заранее заданных метрик, таких как точность, надежность и токсичность. Также можно использовать рабочие процессы оценки человеком для субъективных или пользовательских метрик, таких как дружественность, релевантность, стиль и соответствие голосу бренда.

Автоматическая оценка позволяет быстро сузить круг доступных базовых моделей по стандартным критериям (таким как точность, токсичность и надежность). Оценки, выполняемые человеком, часто используются, чтобы оценить более специфические или субъективные критерии, требующие вынесения суждения человеком, а также когда автоматическая оценка невозможна (например, при оценке голоса бренда, творческого замысла, дружественности).

Можно быстро оценить модели Bedrock на соответствие таким метрикам, как точность, надежность и токсичность, используя тщательно подобранные встроенные наборы данных или собственные наборы данных подсказок. После загрузки наборов данных в модели Amazon Bedrock итоговые ответы моделей проходят количественную оценку с помощью алгоритмов оценки по каждому параметру. Внутренний механизм объединяет отдельные количественные оценки ответов по подсказкам в сводные баллы и представляет их в виде простых для понимания визуальных отчетов.

Amazon Bedrock позволяет без лишних усилий настроить рабочие процессы проверки человеком и привлечь собственных сотрудников либо воспользоваться помощью группы экспертов под управлением AWS. Благодаря удобному интерфейсу Amazon Bedrock можно просматривать ответы моделей и оставлять отзывы, нажимая кнопку «палец вверх» или «палец вниз», выставляя оценки по шкале от 1 до 5, выбирая наилучший из нескольких ответов или располагая подсказки в порядке возрастания или убывания. Например, участнику рабочей группы можно показать, как две модели отвечают на одну и ту же подсказку, а затем попросить выбрать модель, которая выдает более точные, релевантные или стилистически правильные результаты. Можно указать важные для вас критерии оценки, просто настроив инструкции и кнопки, которые будут отображаться для рабочей группы в пользовательском интерфейсе оценки. Также можно предоставить подробные инструкции с примерами и описанием общей цели оценки модели, чтобы они могли выполнять свою работу соответствующим образом. Этот метод полезен для оценки субъективных критериев, которые требуют вынесения суждения человеком или наличия более специфических знаний в предметных областях, и которые нелегко оценить с помощью автоматизированных средств.

Ограничения в Amazon Bedrock позволяют реализовать меры безопасности для приложений на основе генеративного искусственного интеллекта, исходя из ваших сценариев использования и политик ответственного использования искусственного интеллекта. Ограничения помогают контролировать взаимодействие между пользователями и базовыми моделями, отфильтровывая нежелательный и вредоносный контент, а также вскоре смогут редактировать информацию, позволяющую установить личность (PII), тем самым повышая безопасность и конфиденциальность контента в приложениях на основе генеративного искусственного интеллекта. Можно создать несколько ограничений с различными настройками, адаптированными к конкретным сценариям использования. Кроме того, можно непрерывно отслеживать и анализировать вводимые пользователями исходные данные и ответы базовых моделей, которые могут нарушать правила, установленные в рамках ограничений.

Ограничения позволяют клиентам определить набор политик, которые помогут защитить приложения, основанные на генеративном искусственном интеллекте. В ограничении можно настроить следующие политики.

• Запрещенные темы — можно определить набор тем, которые нежелательны в контексте вашего приложения. Например, помощник в системе онлайн-банкинга можно разработать таким образом, чтобы он не проводил консультации по инвестициям.
• Фильтры контента — можно настроить пороговые значения для фильтрации вредоносного контента по категориям «ненависть», «оскорбление», «секс» и «насилие».
• Фильтры слов (готовится к выпуску) — вы можете определить набор слов, которые будут заблокированы при вводе данных пользователем и в ответах, генерируемых базовой моделью.
• Редактирование персональных данных (готовится к выпуску) — вы можете выбрать набор персональных данных, которые можно редактировать в ответах, генерируемых базовой моделью. В зависимости от варианта использования вы также можете заблокировать ввод данных пользователем, если они содержат персональные данные.

Ограничения можно использовать со всеми большими языковыми моделями, доступными в Amazon Bedrock, включая базовые модели Titan, Anthropic Claude, Meta Llama 2, AI21 Jurassic и Cohere Command. Кроме того, их можно использовать с точно настроенными базовыми моделями, а также с агентами Amazon Bedrock.

AWS предлагает неограниченную компенсацию за результаты интеллектуальной деятельности по претензиям на авторские права в отношении генеративных выходных данных, полученных в следующих общедоступных сервисах Amazon с генеративным искусственным интеллектом: модели Amazon Titan, Amazon CodeWhisperer для профессионального использования и другие сервисы, перечисленные в разделе 50.10 Условий обслуживания («Сервисы генеративного искусственного интеллекта, для которых предусмотрена компенсация»). Это означает, что клиенты защищены от претензий третьих лиц, предполагающих нарушение авторских прав в отношении выходных данных Сервисов генеративного искусственного интеллекта, для которых предусмотрена компенсация, полученных из исходных данных или других данных, предоставленных клиентом. Клиенты также должны ответственно использовать Сервисы, например не вводить данные, нарушающие чьи-либо права, и не отключать функции фильтрации в Сервисе.

Кроме того, наша стандартная компенсация в отношении прав интеллектуальной собственности при использовании Сервисов защищает клиентов от претензий третьих лиц, предполагающих нарушение прав интеллектуальной собственности (включая иски об авторских правах) в отношении Сервисов и данных, используемых для их обучения.