Генеративный искусственный интеллект и машинное обучение
В чем преимущества графов?
Дополненная извлеченными данными генерация на основе графов (GraphRAG) выводит RAG на новый уровень, используя возможности аналитики графов и векторного поиска для повышения точности, полноты и объясняемости ответов ИИ. GraphRAG достигает этого за счет использования взаимосвязей между объектами или структурными элементами данных, такими как разделы или заголовки с фрагментами документов, для предоставления наиболее релевантных данных в качестве входных данных для приложений RAG. Решение может устанавливать многоступенчатые связи между смежными объектами или темами, а также использовать эти факты для усиления генеративного ответа.
Возможности Amazon Neptune
1. GraphRAG
Amazon предоставляет полностью управляемые и самоуправляемые варианты создания и запуска приложений GraphRAG.
- Полное управление. Базы знаний Amazon Bedrock предоставляют одну из первых в мире полностью управляемых возможностей GraphRAG. Он в автоматическом режиме управляет созданием и поддержкой графиков и встраиваний. Это позволяет клиентам предоставлять конечным пользователям более релевантные ответы. Благодаря этой возможности вам не понадобятся глубокие знания в области графов, включая разработку стратегий разбиения на части или сложную интеграцию RAG с большими языковыми моделями (LLM) и векторными хранилищами.
- Самостоятельное управление. Если вы хотите самостоятельно разместить собственные источники данных или подключиться к ним либо к сторонним продуктам (базовым моделям, векторным хранилищам, хранилищам данных), у вас есть два варианта.
- Набор инструментов GraphRAG Python. Новый набор инструментов GraphRAG с открытым исходным кодом поддерживает современные базовые и графовые модели. Он предоставляет платформу для автоматизации построения графиков на основе неструктурированных данных и для отправки запросов к этому графику при ответах на вопросы пользователей.
- Платформы с открытым исходным кодом. Neptune упрощает создание приложений GraphRAG с помощью интеграции с LangChain и LlamaIndex. Это упрощает создание приложений с использованием LLM, таких как доступные в Amazon Bedrock. AWS поддерживает оба этих популярных проекта с открытым исходным кодом и вносит в них свой вклад.
2. Машинное обучение
- Машинное обучение Neptune автоматически создает, обучает и применяет модели машинного обучения к вашим графическим данным. Оно использует библиотеку Deep Graph Library (DGL), автоматически выбирая и обучая наилучшую для вашей рабочей нагрузки модель машинного обучения, чтобы на ее основе вы могли делать прогнозы для графовых данных за несколько часов, а не недель.
- Генерация запросов на естественном языке для графов. Если вы не знакомы с такими языками запросов, как Gremlin или Crypher, интеграция Neptune с NeptuneOpenCypherQAChain позволит вам задавать вопросы в базе данных графов Neptune на естественном языке. Например, вы можете переводить вопросы на английском языке в графовые запросы openCypher и получать удобные для чтения человеком ответы. Эту цепочку можно использовать для ответа на такие вопросы, как «В каком аэропорту США самые длинные и самые короткие исходящие маршруты?»
Примеры использования
GraphRAG можно использовать для совершенствования работы службы технической поддержки и контактного центра по вопросам ИТ. Например, GraphRAG позволяет группам Центра управления безопасностью (SOC) более точно обрабатывать оповещения. Это помогает обеспечивать безопасность критически важных систем. Чат-бот поддержки медицинских работников способен быстро найти требуемую информацию в большом объеме медицинской литературы и ответить на сложные вопросы о симптомах, а также методах и результатах лечения пациентов.
Благодаря применению GraphRAG можно получить углубленные аналитические данные для специалистов таких подразделений компании, как отдел финансового планирования и бухгалтерского учета (FP&A), управления персоналом, маркетинга, юридический отдел и т. д. Например, группы корпоративных юристов могут более эффективно находить информацию о налоговом законодательстве, нормативно-правовых актах и аналогичных делах для разработки стратегий ведения дел. Группы по маркетингу могут создавать всеобъемлющее представление о потенциальном клиенте на основе социальных связей и истории покупок.
Компании из разных отраслей извлекают выгоду из GraphRAG. Например, в фармацевтической отрасли научно-исследовательские группы могут использовать GraphRAG для ускорения исследований и испытаний лекарственных препаратов. В сфере инвестиционно-банковской деятельности инструментарий GraphRAG способен выявлять сложные взаимоотношения и обеспечивать целостное представление форм корпоративной отчетности. Это помогает группам по комплексной юридической экспертизе получать с помощью RAG такую аналитическую информацию, – например, о нормативно-правовой базе и механизмах конкуренции, – которую может быть непросто получить иным образом.
Начало работы
Для начала работы существуют различные способы:
- Инструментарий AWS GraphRAG
- Примеры решений GraphRAG
- Шаблоны быстрого запуска Neptune ML с использованием AWS CloudFormation
- Использование естественного языка для упрощения запросов к графам с помощью Amazon Neptune и LangChain (демонстрационная версия)
- Документация: Amazon Neptune ML для машинного обучения на графах