Вопросы и ответы по Amazon Bedrock

Агенты Amazon Bedrock – это полностью управляемые возможности, позволяющие разработчикам создавать приложения на базе генеративного искусственного интеллекта, которые могут выполнять сложные задачи в самых разных сценариях использования и предоставлять актуальные ответы на основе собственных источников знаний. Несколькими простыми действиями агенты Amazon Bedrock автоматически разбивают задачи и создают план оркестрации, избавляя от написания кода вручную. Агент безопасно подключается к данным компании через API, автоматически преобразует их в машиночитаемый формат и дополняет запрос необходимой информацией для получения наиболее точного ответа. Затем агенты могут автоматически вызывать API для выполнения запроса пользователя. Например, производственная компания может решить разработать приложение с использованием генеративного искусственного интеллекта, которое автоматизирует отслеживание уровней запасов, данных о продажах и информации о цепочке поставок, а также может рекомендовать оптимальные точки и объемы повторных заказов для максимальной эффективности. Благодаря полностью управляемым возможностям агенты Amazon Bedrock избавляют от необходимости управлять системной интеграцией и выделением инфраструктуры, позволяя разработчикам в полной мере использовать генеративный искусственный интеллект в своей организации.

С помощью агентов Amazon Bedrock можно безопасно подключать базовые модели к источникам данных вашей компании. С помощью базы знаний можно использовать агентов для предоставления FM в Amazon Bedrock доступа к дополнительным данным, которые помогают модели генерировать более релевантные, контекстные и точные ответы без постоянного переобучения FM. На основе вводимых пользователем данных агенты определяют соответствующую базу знаний, извлекают определенную информацию и добавляют ее в строку ввода, предоставляя модели больше контекстной информации для завершения задания.

Агенты Amazon Bedrock помогут повысить производительность, улучшить качество обслуживания и автоматизировать рабочие процессы (например, обработку страховых требований).

Благодаря агентам разработчики получают полную поддержку для мониторинга, шифрования, а также управления разрешениями пользователей, версиями и вызовами API, и при этом у них нет необходимости писать код. Агенты Amazon Bedrock автоматизируют подсказки по цепочке рассуждений и оркестрацию задач, запрошенных пользователями. Разработчики могут использовать созданный агентом шаблон подсказки в качестве основы и дорабатывать его для повышения удобства пользователей. Они могут обновлять данные, вводимые пользователем, план оркестрации и ответ базовой модели. Благодаря доступу к шаблону подсказки разработчики могут лучше контролировать оркестрацию агентов.

Благодаря полностью управляемым агентам не нужно беспокоиться о выделении инфраструктуры или управлении ею, а также можно быстрее запускать приложения в производство.

Весь контент клиентов, который обрабатывается сервисом Amazon Bedrock, шифруется и сохраняется в той области AWS, в которой вы используете Amazon Bedrock.

Нет. Пользовательские входные и выходные модели не передаются любым поставщикам моделей.

Amazon Bedrock включает ряд возможностей для соблюдения требований безопасности и конфиденциальности. На Amazon Bedrock распространяются общие стандарты соответствия, такие как стандарты Fedramp среднего уровня, Средства управления сервисной организацией (SOC), политики Международной организации по стандартизации (ISO), стандарты соответствия Закону о передаче и защите данных учреждений здравоохранения (HIPAA). Кроме того, клиенты могут использовать Bedrock в соответствии с Общим регламентом по защите данных (GDPR). Amazon Bedrock входит в состав отчетов SOC 1, 2, 3, что позволяет клиентам получить представление о наших средствах управления безопасностью. Мы подтверждаем соответствие требованиям путем тщательного стороннего аудита наших средств управления AWS. Amazon Bedrock входит в число сервисов AWS, соответствующих требованиям стандартов ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 и ISO 20000. Amazon Bedrock имеет сертификат CSA Security Trust Assurance and Risk (STAR) уровня 2, который подтверждает использование передовых методик и уровень безопасности предложений в облаке AWS. В Amazon Bedrock ваш контент не используется для улучшения базовых моделей и не передается сторонним поставщикам моделей. С помощью AWS PrivateLink можно установить частное соединение между Amazon VPC и Amazon Bedrock без необходимости передавать свои данные через Интернет.

Нет. AWS и сторонние поставщики моделей не будут использовать входные или выходные данные Amazon Bedrock для обучения Amazon Titan либо сторонних моделей.

Amazon Bedrock поддерживает пакеты SDK для служб выполнения. Пакеты SDK для iOS и Android, а также Java, JS, Python, CLI, .Net, Ruby, PHP, Go и C++ поддерживают как текстовый, так и речевой ввод.

Потоковая передача поддерживается во всех пакетах SDK.

Ознакомиться с действующими тарифами можно на странице с ценами на Amazon Bedrock.

Поддержка сервиса Amazon Bedrock зависит от договора на поддержку AWS и осуществляется для планов поддержки «Для разработчиков», «Для бизнеса» и «Корпоративный».

Метрики CloudWatch можно использовать для отслеживания входных и выходных токенов.

Amazon Bedrock позволяет индивидуально настраивать FM, сохраняя контроль над использованием и шифрованием данных. Amazon Bedrock создает отдельную частную копию базовой модели (FM) и обучает ее. Ваши данные, включая подсказки, информацию, используемую для дополнения подсказок, и ответы от FM. Пользовательские FM остаются в регионе, где обрабатывается вызов API.

Во время настройки модели ваши данные никогда не попадают в общедоступный Интернет, никогда не покидают сеть AWS, безопасно передаются через VPC и шифруются при передаче и хранении. При этом Amazon Bedrock применяет те же средства контроля доступа к AWS, что и любые другие наши сервисы.

Мы запустили непрерывное предварительное обучение моделей Amazon Titan Text Express и Amazon Titan на Amazon Bedrock. Непрерывное предварительное обучение позволяет продолжить процесс обучения на базовой модели Amazon Titan с использованием большого количества немаркированных данных. Этот тип обучения помогает адаптировать модель, переходя от общих предметных областей к более конкретным, таким как медицина, юриспруденция, финансы и т. д., с сохранением большинства возможностей базовой модели Amazon Titan. 

Предприятиям может требоваться создавать модели для задач в определенной предметной области. Базовые модели невозможно обучить техническому жаргону, используемому в такой предметной области. Поэтому точная настройка базовой модели напрямую требует большого количества маркированных обучающих записей и большей продолжительности обучения. Чтобы облегчить эту задачу, клиент может предоставить большие объемы немаркированных данных для задания непрерывного предварительного обучения. Это задание поможет адаптировать базовую модель Amazon Titan к новой предметной области. Затем клиент может доработать новую предварительно обученную пользовательскую модель для выполнения последующих задач, используя меньшее количество маркированных обучающих записей и меньшую продолжительность обучения. 

Требования Amazon Bedrock к непрерывному предварительному обучению (CPT) и точной настройке (FT) очень похожи. По этой причине мы решили создать универсальные API, поддерживающие как предварительное обучение, так и точную настройку. Создание универсальных API сокращает время обучения и помогает клиентам использовать стандартные функции, такие как Amazon Event Bridge для отслеживания длительных заданий, интеграция с Amazon S3 для получения данных обучения, теги ресурсов и шифрование моделей. 

Непрерывное предварительное обучение поможет вам адаптировать модели Amazon Titan к данным, специфичным для вашей предметной области, сохраняя при этом базовые функции моделей Amazon Titan. Чтобы создать задание непрерывного предварительного обучения, перейдите на консоль Amazon Bedrock и нажмите «Пользовательские модели». Вы перейдете на страницу пользовательской модели с двумя вкладками: «Модели» и «Задания обучения». На обеих вкладках справа имеется раскрывающееся меню «Настроить модель». Выберите «Непрерывное предварительное обучение» в выпадающем меню, чтобы перейти к разделу «Создать задание на непрерывное предварительное обучение». Вы указываете исходную модель, имя, шифрование модели, входные данные, гиперпараметры и выходные данные. Кроме того, вы можете указать теги, а также сведения о ролях AWS Identity and Access Management (IAM) и политиках ресурсов для задания.

Семейство моделей Amazon Titan, эксклюзивно представленное в Amazon Bedrock, вобрало в себя 25-летний опыт компании Amazon по внедрению инноваций в области искусственного интеллекта и машинного обучения во всех аспектах своей деятельности. Базовые модели (FM) Amazon Titan предоставляют в распоряжение клиентов широкий выбор высокопроизводительных графических, мультимодальных и текстовых моделей посредством полностью управляемого API. Модели Amazon Titan создаются AWS и предварительно обучены на больших наборах данных: это мощные универсальные модели, предназначенные для поддержки различных сценариев использования, а также для ответственного использования искусственного интеллекта. Используйте их в исходном виде или самостоятельно настраивайте их, используя собственные данные. Подробнее об Amazon Titan.

Более подробные сведения о данных, обрабатываемых для разработки и обучения базовых моделей Amazon Titan, можно найти на странице конфиденциальности и обучения моделей Amazon Titan.

Поддерживаемые форматы данных включают файлы форматов PDF, TXT, MD, HTML, DOC и DOCX, CSV, XLS и XLSX. Файлы необходимо загрузить в Amazon S3. Укажите местоположение ваших данных в Amazon S3, и базы знаний Amazon Bedrock осуществят весь рабочий процесс ввода данных в вашу векторную базу данных.

Базы знаний Amazon Bedrock предусматривают три варианта разбивки текста перед преобразованием его во встраивания. 

1.  Вариант по умолчанию: базы знаний Amazon Bedrock автоматически разбивают документ на части, каждая из которых содержит 200 токенов, при этом предложения никогда не разбиваются в середине. Если документ содержит менее 200 токенов, он не делится дальше. Конец предшествующего и начало следующего фрагмента совпадают на 20 %.

2.  Разбивка на части фиксированного размера: в этом варианте вы можете указать максимальное количество токенов во фрагменте и процент совпадения между соседними фрагментами: базы знаний Amazon Bedrock будут выполнять автоматическую разбивку документа на части таким образом, чтобы предложение не разбивалось в середине. 

3.  Создание одного эмбеддинга для каждого документа: Amazon Bedrock создает один эмбеддинг для каждого документа. Этот вариант подходит, если вы предварительно обработали документы, разделив их на отдельные файлы, и не хотите, чтобы ваши документы дополнительно разбивались на фрагменты в Amazon Bedrock.

В настоящее время в базах знаний Amazon Bedrock используется последняя версия Встраивания текста Amazon Titan, доступная в Amazon Bedrock. Модель Titan Text Embeddings версии 2 поддерживает 8000 токенов и более 100 языков, а также создает эмбеддинги с гибкой размерностью: 256, 512 и 1024. 

Базы знаний Amazon Bedrock осуществляют весь рабочий процесс получения данных, включая преобразование документов во встраивания (векторы) и хранение встраиваний в специализированной векторной базе данных.  Базы знаний Amazon Bedrock поддерживают популярные базы данных для векторных хранилищ, включая векторный движок для бессерверного Amazon OpenSearch, Pinecone, Redis Enterprise Cloud, Amazon Aurora (готовится к выпуску) и MongoDB (готовится к выпуску). Если у вас нет векторной базы данных, Amazon Bedrock создаст для вас векторное хранилище в бессерверном OpenSearch.

В зависимости от варианта использования, Amazon EventBridge можно использовать для создания периодической или управляемой событиями синхронизации между Amazon S3 и базами знаний Amazon Bedrock.

Оценка модели в Amazon Bedrock позволяет оценить, сравнить и выбрать наилучшую базовую модель (FM) для вашего варианта использования без лишних усилий. В Amazon Bedrock можно выбрать автоматическую оценку и оценку с участием человека. Можно использовать автоматическую оценку с заранее заданными показателями, такими как точность, надежность и токсичность. Вы можете использовать рабочие процессы оценки людьми для получения субъективных или индивидуальных показателей, таких как дружелюбие, стиль и соответствие голосу бренда. Для оценки с участием человека можно привлечь своих штатных сотрудников или команду специалистов AWS. При оценке модели Amazon Bedrock используются встроенные тщательно подобранные наборы данных. Вы также можете использовать собственные наборы данных.

С помощью автоматических оценок можно оценить множество заранее заданных метрик, таких как точность, надежность и токсичность. Также можно использовать рабочие процессы оценки человеком для субъективных или пользовательских метрик, таких как дружественность, релевантность, стиль и соответствие голосу бренда.

Автоматическая оценка позволяет быстро сузить круг доступных базовых моделей по стандартным критериям (таким как точность, токсичность и надежность). Оценки, выполняемые человеком, часто используются, чтобы оценить более специфические или субъективные критерии, требующие вынесения суждения человеком, а также когда автоматическая оценка невозможна (например, при оценке голоса бренда, творческого замысла, дружественности).

Можно быстро оценить модели Amazon Bedrock на соответствие таким метрикам, как точность, надежность и токсичность, используя тщательно подобранные встроенные наборы данных или собственные наборы данных подсказок. После загрузки наборов данных в модели Amazon Bedrock итоговые ответы моделей проходят количественную оценку с помощью алгоритмов оценки по каждому параметру. Внутренний механизм объединяет отдельные количественные оценки ответов по подсказкам в сводные баллы и представляет их в виде простых для понимания визуальных отчетов.

Amazon Bedrock позволяет в несколько шагов настроить рабочие процессы проверки человеком и привлечь собственных сотрудников либо воспользоваться помощью группы экспертов под управлением AWS. Благодаря удобному интерфейсу Amazon Bedrock можно просматривать ответы моделей и оставлять отзывы, нажимая кнопку «палец вверх» или «палец вниз», выставляя оценки по шкале от 1 до 5, выбирая наилучший из нескольких ответов или располагая подсказки в порядке возрастания или убывания. Например, участнику рабочей группы можно показать, как две модели отвечают на одну и ту же подсказку, а затем попросить выбрать модель, которая выдает более точные, релевантные или стилистически правильные результаты. Можно указать важные для вас критерии оценки, настроив инструкции и кнопки, которые будут отображаться для рабочей группы в пользовательском интерфейсе оценки. Кроме того, пользователям можно предоставить подробные инструкции с примерами и описанием общей цели оценки модели, чтобы они могли выполнять свою работу соответствующим образом. Этот метод полезен для оценки субъективных критериев, которые требуют вынесения суждения человеком или наличия более специфических знаний в предметных областях, при этом которые нелегко оценить с помощью автоматизированных средств.

Ограничения Amazon Bedrock помогают реализовать средства защиты для приложений на базе генеративного искусственного интеллекта, исходя из ваших сценариев использования и политик ответственного использования ИИ. Ограничения помогают контролировать взаимодействие между пользователями и базовыми моделями (FM), отфильтровывая нежелательный и вредоносный контент, а также вскоре смогут редактировать информацию, позволяющую установить личность (PII), тем самым повышая безопасность и конфиденциальность контента в приложениях на основе генеративного искусственного интеллекта. Можно создать несколько ограничений с различными настройками, адаптированными к конкретным сценариям использования. Кроме того, в рамках ограничений можно непрерывно отслеживать и анализировать вводимые пользователями исходные данные и ответы базовых моделей, которые могут нарушать правила, установленные.

Ограничения помогают определить набор политик, которые помогут защитить приложения, основанные на генеративном искусственном интеллекте. В ограничении можно настроить следующие политики.

• Запрещенные темы. Помогают определить набор тем, нежелательных в контексте вашего приложения. Например, помощник в системе онлайн-банкинга можно разработать таким образом, чтобы он не проводил консультации по инвестициям.
• Фильтры контента. Помогают настроить пороговые значения для фильтрации нежелательного контента по категориям «ненависть», «оскорбление», «секс» и «насилие».
• Фильтры слов. Помогают определить набор слов, которые будут заблокированы при вводе данных пользователем и в ответах, генерируемых базовой моделью.
• Редактирование информации, позволяющей установить личность. Помогает выбрать информацию, позволяющую установить личность, которую можно редактировать в ответах, генерируемых базовой моделью. В зависимости от варианта использования ограничения также могут помочь заблокировать ввод данных пользователем, если они содержат информацию, позволяющую установить личность.
• Контекстные проверки обоснования. Помогают выявлять и фильтровать галлюцинации, то есть необоснованные ответы (которые содержат, например, фактические неточности или информацию неизвестного происхождения), а также ответы, которые не соответствуют запросу или инструкции пользователя.

Ограничения можно использовать со всеми большими языковыми моделями (LLM), доступными в Amazon Bedrock. Кроме того, их можно использовать с точно настроенными базовыми моделями, а также с агентами Amazon Bedrock.

AWS предлагает неограниченную компенсацию за результаты интеллектуальной деятельности по претензиям на авторские права в отношении генеративных выходных данных, полученных в следующих общедоступных сервисах Amazon с генеративным искусственным интеллектом: модели Amazon Titan, Amazon CodeWhisperer для профессионального использования и другие сервисы, перечисленные в разделе 50.10 Условий обслуживания («Сервисы генеративного искусственного интеллекта, для которых предусмотрена компенсация»). Это означает, что клиенты защищены от претензий третьих лиц, предполагающих нарушение авторских прав в отношении выходных данных Сервисов генеративного искусственного интеллекта, для которых предусмотрена компенсация, полученных из исходных данных или других данных, предоставленных клиентом. Клиенты также должны ответственно использовать сервисы, например не вводить данные, нарушающие чьи-либо права, и не отключать функции фильтрации в сервисе.

Кроме того, наша стандартная компенсация в отношении прав интеллектуальной собственности при использовании сервисов защищает клиентов от претензий третьих лиц, предполагающих нарушение прав интеллектуальной собственности (включая иски об авторских правах) в отношении сервисов и данных, используемых для их обучения.

Есть пять политик ограничений, каждая из которых имеет разные готовые к использованию средства защиты.

• Фильтры контента. Эта политика имеет 6 готовых категорий: «ненависть», «оскорбление», «сексуальный подтекст», «насилие», «неправомерное поведение» (включая преступную деятельность) и «атаки через запросы» (взлом и внедрение запросов). Для каждой категории можно дополнительно настраивать уровни агрессивности контента для фильтрации: низкий/средний/высокий.
• Запрещенная тема. Клиент может указывать любые темы, используя простое описание на естественном языке.
• Фильтр конфиденциальной информации. В этой политике есть более 30 готовых к использованию ограничений для информации, позволяющей установить личность. Ее можно дополнительно настроить, добавив конфиденциальную информацию клиента.
• Фильтры слов. По умолчанию они фильтруют ненормативную лексику, и их можно дополнительно настроить, добавив слова на свой выбор.
• Контекстные проверки обоснования. Их можно использовать для выявления галлюцинаций в приложениях RAG, для резюмирования и поддержания разговора в приложении, если есть возможность использовать исходную информацию в качестве справочной для проверки ответа модели.

Базовые модели имеют встроенные средства защиты. Они являются средствами защиты по умолчанию, связанными с каждой моделью. Эти встроенные средства защиты НЕ являются ограничениями Amazon Bedrock. Ограничения Amazon Bedrock – это дополнительный уровень индивидуальных средств защиты, которые могут применять клиенты в зависимости от своих требований к приложению и политик ответственного использования ИИ.

Ограничения Amazon Bedrock включают определение номеров социального страхования и телефонов, а также другой информации, позволяющей установить личность (PII): существует более 30 ограничений для таких типов данных, готовых к использованию. Полный список см. здесь.

За использование ограничений Amazon Bedrock взимается отдельная плата. Их можно применять для операций как ввода, так и вывода. Цены указаны внизу этой страницы.

Да, API ограничений Amazon Bedrock помогают клиентам проводить автоматическое тестирование. А такой инструмент, как проектировщик контрольных примеров, возможно, лучше использовать перед развертыванием ограничений в рабочей среде. Такого встроенного инструмента пока нет. Для постоянного мониторинга трафика в рабочей среде с помощью инструмента ограничений можно получать подробные журналы всех нарушений по каждой операции ввода и вывода, чтобы клиенты могли тщательно следить за всеми действиями своего приложения с генеративным искусственным интеллектом. Эти журналы можно хранить в CloudWatch или S3 и использовать для создания настраиваемых информационных панелей в соответствии с требованиями клиентов.