Анализ закономерностей в тексте

с помощью Amazon Comprehend

Из этого учебного пособия с пошаговыми инструкциями вы узнаете, как использовать сервис Amazon Comprehend для анализа и получения закономерностей из текста.

Amazon Comprehend – это сервис обработки естественного языка (NLP), в котором для поиска закономерностей и взаимосвязей в тексте применяются технологии машинного обучения. Amazon Comprehend использует машинное обучение для извлечения аналитических сведений и взаимосвязей из ваших неструктурированных данных. Сервис определяет язык текста, извлекает ключевые фразы, распознает людей, места, бренды или события, определяет степень позитивности или негативности текста, анализирует текст с помощью токенизации и частей речи и в результате автоматически группирует набор текстовых файлов по темам.  

Давайте представим, что вы планируете поездку и хотите найти информативную туристическую литературу. Выбрав книгу, вы решили обработать отзывы с помощью Amazon Comprehend, чтобы понять, считают ли ее полезной другие покупатели.

Из этого учебного пособия вы узнаете, как:

  1. войти в консоль Amazon Comprehend;
  2. выполнить встроенный анализ трех отзывов покупателей;
  3. изучить полученные закономерности, включая эмоциональную окраску, сущности, ключевые фразы, язык и синтаксис;
  4. использовать результаты анализа эмоциональной окраски для принятия решений.

Ресурсы, которые вы создаете в этом аккаунте, доступны для уровня бесплатного пользования AWS.  

Об этом учебном пособии  
Время 10 минут
Стоимость Доступно для уровня бесплатного пользования AWS
Пример использования Machine Learning
Продукты Amazon Comprehend
Аудитория Разработчик
Уровень Начинающий
Последнее обновление 4 сентября 2020 г.

Шаг 1. Создание аккаунта AWS

Для работы с этим учебным пособием вам понадобится аккаунт AWS. Ресурсы, которые вы создаете в этом аккаунте, доступны для уровня бесплатного пользования AWS.  

Уже есть аккаунт? Вход

Шаг 2. Начало работы с Amazon Comprehend

На этом этапе вы входите в Amazon Comprehend и начинаете анализ отзывов о книгах в режиме реального времени.  


а. Войдите в Amazon Comprehend в Консоли управления AWS.

(Или в Консоли управления AWS введите в строке поиска Comprehend и выберите Amazon Comprehend.)


b. В левой навигационной панели выберите Real-time analysis (Анализ в режиме реального времени) и прокрутите страницу вниз до Input text (Ввод текста). В поле Analysis type (Тип анализа) выберите Built-in (Встроенный).

Консоль Amazon Comprehend позволяет анализировать содержимое документов длиной до 5000 символов. Результаты отображаются в консоли, чтобы вы могли просмотреть анализ. При работе с этим учебным пособием вы будете использовать встроенный анализ. Чтобы узнать больше о специальном анализе в реальном времени с использованием конечных точек Comprehend, ознакомьтесь с этим разделом.


На следующих этапах вы проанализируете эмоциональную окраску, синтаксис и другие характеристики отзывов о книге, используя Amazon Comprehend Insights. Результаты анализа эмоциональной окраски помогут вам определить, считают ли эти покупатели книгу полезной.

Отзыв 1
«Я просто хотел найти действительно классные новые места, такие как Сиэтл в ноябре. Я никогда раньше не бывал в предлагаемых тут местах, но не нашел ничего интересного. Некоторые из рекомендаций просто ужасны… Было трудно сдержать смех! Предлагается посещать типичные большие города, рестораны и бары. Ничего оригинального. Мне бы не хотелось отдыхать в этих местах. Покупать книгу точно не стоит».

Обзор 2
«Книга просто замечательная. Отправляться в путешествие у меня даже в планах не было, когда в руки попала эта книга. Понадобилось всего лишь пролистать ее. Мне очень нравится обложка и большие глянцевые фотографии в ней. Джон Смит сделал замечательные фотоиллюстрации. Для книги нашлось идеальное место на журнальном столике. Скоро я отправлюсь в Париж и Барселону, и она пригодится при планировании путешествия. А пока это прекрасный вариант для изучения мира, не выходя из дома!»

Обзор 3
«Я путешествую, и мне очень понравилось читать об этих замечательных местах. Автор рассказывает о самых разных уголках мира. Несмотря на то, что сейчас можно найти огромное количество бесплатной информации онлайн, я буду всегда брать с собой эту книгу и открывать с ее помощью скрытые достопримечательности».

Шаг 3. Анализ текста с помощью сервиса Amazon Comprehend Insights

На этом этапе вы проанализируете первый отзыв для выявления положительной, отрицательной или смешанной эмоциональной окраски, сущностей, ключевых фраз, языка и синтаксиса, используя Amazon Comprehend Insights.


а. Из окна Review 1 (Отзыв 1) скопируйте текст, вставьте в окно Input text (Ввод текста) и выберите Analyze (Анализировать).

«Я просто хотел найти действительно классные новые места, такие как Сиэтл в ноябре. Я никогда раньше не бывал в предлагаемых тут местах, но не нашел ничего интересного. Некоторые из рекомендаций просто ужасны… Было трудно сдержать смех! Предлагается посещать типичные большие города, рестораны и бары. Ничего оригинального. Мне бы не хотелось отдыхать в этих местах. Покупать книгу точно не стоит». 


b. В окне Insights (Закономерности) выберите Sentiment (Эмоциональная окраска).

На вкладке Sentiment (Эмоциональная окраска) показывается общее настроение текста. Amazon Comprehend может оценить эмоциональную окраску как нейтральную, позитивную, негативную или смешанную. В таком случае у каждой эмоциональной окраски будет оценка достоверности, по которой можно судить о степени ее преобладания. Дополнительные сведения см. в разделе Определение окраски.

Эмоциональная окраска может быть нейтральной, позитивной, негативной или смешанной. Результаты анализа этого отзыва показывают, что он негативный и в нем мало элементов с позитивной или смешанной окраской.  


c. В окне Insights (Закономерности) выберите Entities (Сущности).

На вкладке Entities (Сущности) отображается текст с цветовой кодировкой для обозначения различных типов сущностей, таких как организации, местоположения, даты и лица. На панели результатов отображается дополнительная информация о тексте. Каждая запись показывает сущность, ее категорию и уровень достоверности этого анализа по мнению Amazon Comprehend. Если вы хотите извлечь пользовательские сущности, воспользуйтесь распознаванием пользовательских сущностей Amazon Comprehend.

Вы увидите обнаруженные объекты вместе с оценкой достоверности. Для этого отзыва Сиэтл был определен как местоположение с оценкой достоверности, а ноябрь, соответственно, – как дата.


d. В окне Insights (Закономерности) выберите Key phrases (Ключевые фразы).

На вкладке Key phrases (Ключевые фразы) отображаются ключевые именные конструкции, обнаруженные Amazon Comprehend во входном тексте, и соответствующие оценки достоверности. В окне анализируемого текста ключевые фразы подчеркнуты. В разделе результатов отображаются ключевые фразы с соответствующей оценкой достоверности.

Для данного отзыва вы можете увидеть множество ключевых фраз.


e. В окне Insights (Закономерности) выберите Language (Язык).

На вкладке Language (Язык) показан основной язык текста и оценка достоверности. Amazon Comprehend распознает 100 языков. Дополнительные сведения см. в разделе Определение основного языка.

Для этого обзора вы видите, что Amazon Comprehend определил английский язык с оценкой достоверности 0,99.


f. В окне Insights (Закономерности) выберите Syntax (Синтаксис).

На вкладке Syntax (Синтаксис) отображается разбивка каждого элемента в тексте, а также части речи и соответствующая оценка достоверности. Дополнительную информацию см. в разделе Анализ синтаксиса.

Шаг 4. Сравнение результатов анализа эмоциональной окраски текста

На этом этапе вы проанализируете второй и третий отзывы для выявления позитивных, негативных или смешанных эмоциональных окрасок. Результаты могут помочь вам в решении, покупать книгу или нет. Изучите дополнительные закономерности, такие как сущности, ключевые фразы, язык и разбивку по синтаксису.


а. В окне Review 2 (Отзыв 2) скопируйте текст, вставьте в окно Input text (Ввод текста) и выберите Analyze (Анализировать).

«Книга просто замечательная. Отправляться в путешествие у меня даже в планах не было, когда в руки попала эта книга. Понадобилось всего лишь пролистать ее. Мне очень нравится обложка и большие глянцевые фотографии в ней. Джон Смит сделал замечательные фотоиллюстрации. Для книги нашлось идеальное место на журнальном столике. Скоро я отправлюсь в Париж и Барселону, и она пригодится при планировании путешествия. А пока это прекрасный вариант для изучения мира, не выходя из дома!»


b. В окне Insights (Закономерности) выберите Sentiment (Эмоциональная окраска).

Как видите, этот второй отзыв сильно отличается от первого. Здесь результаты анализа позитивные, негативных или смешанных нет.

Изучите дополнительные закономерности из этого отзыва, а затем переходите к анализу третьего отзыва.


c. В окне Review 3 (Отзыв 3) скопируйте текст, вставьте в окно Input text (Ввод текста) и выберите Analyze (Анализировать).

«Я путешествую, и мне очень понравилось читать об этих замечательных местах. Автор рассказывает о самых разных уголках мира. Несмотря на то, что сейчас можно найти огромное количество бесплатной информации онлайн, я буду всегда брать с собой эту книгу и открывать с ее помощью скрытые достопримечательности».


d. В окне Insights (Закономерности) выберите Sentiment (Эмоциональная окраска).

Как видите, этот третий отзыв очень похож на второй. Результаты анализа позитивные, негативных или смешанных нет.

Из трех отзывов два имеют положительные результаты. Возможно, изучив результаты анализа эмоциональной окраски в ходе обучения, вы захотите приобрести этот путеводитель!

Поздравляем!

Вы использовали Amazon Comprehend для анализа и получения закономерностей из текста!

Была ли полезной информация, представленная в этом учебном пособии?

Спасибо!
Укажите, что вам понравилось.
Приносим извинения за причиненные неудобства
Вы обнаружили устаревшую, неточную или неподходящую информацию? Оставьте свой отзыв, чтобы мы могли улучшить качество предоставляемых услуг.

Узнайте больше

Узнайте больше, изучив документацию Amazon Comprehend.

Обзор других применений Amazon Comprehend

Узнайте, как использовать закономерности текста для интеллектуального поиска документов или запуска информативного чат-бота.

Обзор возможностей AutoML

Узнайте, как использовать Amazon Comprehend AutoML для создания собственных классификаторов документов и распознавателей сущностей.