Phân loại văn bản là gì?

Các tổ chức sử dụng mô hình phân loại văn bản vì những lý do sau.

Cải thiện độ chính xác

Các mô hình phân loại văn bản phân loại văn bản một cách chính xác mà không cần đào tạo thêm hoặc cần đào tạo ít. Các mô hình này giúp các tổ chức khắc phục lỗi mà con người có thể mắc phải khi phân loại dữ liệu văn bản theo cách thủ công. Hơn nữa, một hệ thống phân loại văn bản thì sẽ nhất quán hơn so với con người khi gán thẻ cho dữ liệu văn bản trên các chủ đề đa dạng. 

Cung cấp phân tích theo thời gian thực

Các tổ chức phải đối mặt với áp lực về thời gian khi xử lý dữ liệu văn bản trong thời gian thực. Với các thuật toán phân loại văn bản, bạn có thể truy xuất thông tin chuyên sâu hữu ích từ dữ liệu thô và hình thành các phản hồi ngay lập tức. Ví dụ: các tổ chức có thể sử dụng hệ thống phân loại văn bản để phân tích phản hồi của khách hàng và trả lời các yêu cầu cấp bách ngay lập tức.

Điều chỉnh quy mô tác vụ phân loại văn bản

Các tổ chức trước đây dựa vào các hệ thống thủ công hoặc hệ thống dựa trên quy tắc để phân loại tài liệu. Những phương pháp này rất chậm và tiêu thụ tài nguyên quá mức. Với phân loại văn bản bằng máy học, bạn có thể mở rộng công sức phân loại tài liệu giữa các phòng ban một cách hiệu quả hơn để hỗ trợ sự phát triển của tổ chức.

Dịch các ngôn ngữ

Các tổ chức có thể sử dụng bộ phân loại văn bản để phát hiện ngôn ngữ. Mô hình phân loại văn bản có thể phát hiện ngôn ngữ gốc trong các cuộc trò chuyện hoặc yêu cầu dịch vụ và chuyển chúng đến đội ngũ tương ứng.

Phân loại văn bản đã phát triển cực lớn như một tập hợp con của quá trình xử lý ngôn ngữ tự nhiên. Chúng tôi chia sẻ một số phương pháp mà các kỹ sư máy học sử dụng để phân loại dữ liệu văn bản. 

Suy luận ngôn ngữ tự nhiên

Suy luận ngôn ngữ tự nhiên xác định mối quan hệ giữa một giả thuyết và tiền đề bằng cách ghi nhãn chúng là kéo theo, đối lập hoặc trung lập. Kéo theo mô tả mối quan hệ logic giữa tiền đề và giả thuyết, trong khi đối lập cho thấy sự mất liên kết giữa các thực thể văn bản. Trung lập được áp dụng khi không tìm thấy quan hệ kéo theo cũng như đối lập. 

Ví dụ như hãy xem xét tiền đề sau:

Đội của chúng tôi là người chiến thắng giải vô địch bóng đá.

Đây là cách các giả thuyết khác nhau sẽ được gắn thẻ bởi bộ phân loại suy luận ngôn ngữ tự nhiên.

• Kéo theo: Đội của chúng tôi thích chơi thể thao.
• Đối lập: Chúng tôi là những người không tập luyện thể thao.
• Trung lập: Chúng tôi vươn lên trở thành nhà vô địch bóng đá.

Lập mô hình ngôn ngữ xác suất

Lập mô hình ngôn ngữ xác suất là một phương pháp thống kê mà các mô hình ngôn ngữ sử dụng để dự đoán từ tiếp theo khi được cho một chuỗi từ. Sử dụng phương pháp này, mô hình gán một giá trị xác suất cho mỗi từ và tính toán khả năng của các từ sau. Khi áp dụng cho phân loại văn bản, lập mô hình ngôn ngữ xác suất phân loại tài liệu dựa trên các cụm từ cụ thể được tìm thấy trong văn bản. 

Nhúng từ

Nhúng từ là một kỹ thuật áp dụng biểu diễn số cho từ, nắm bắt các mối quan hệ ngữ nghĩa của chúng. Nhúng từ là dạng số tương đương của một từ. Các thuật toán máy học không thể phân tích văn bản một cách hiệu quả ở dạng ban đầu của chúng. Với việc nhúng từ, các thuật toán lập mô hình ngôn ngữ có thể so sánh các văn bản khác nhau bằng dạng nhúng của chúng.

Để sử dụng nhúng từ, bạn phải đào tạo một mô hình xử lý ngôn ngữ tự nhiên (NLP). Trong quá trình đào tạo, mô hình gán các từ liên quan với các biểu diễn số được sắp xếp vị trí một cách chặt chẽ trong một không gian đa chiều được gọi là ngữ nghĩa véc-tơ. 

Ví dụ: khi véc-tơ hóa văn bản bằng dạng nhúng, bạn sẽ thấy chó và mèo gần nhau hơn trong không gian véc-tơ hai chiều so với cà chua, người và đá. Bạn có thể sử dụng ngữ nghĩa vectơ để xác định văn bản tương tự trong dữ liệu không quen thuộc và dự đoán các cụm từ tiếp theo. Phương pháp này hữu ích trong phân loại cảm xúc, tổ chức tài liệu và các tác vụ phân loại văn bản khác. 

Mô hình ngôn ngữ lớn

Mô hình ngôn ngữ lớn (LLM) là các thuật toán học sâu được đào tạo trên khối lượng lớn dữ liệu văn bản. Chúng dựa trên kiến trúc biến đổi, một mạng nơ-ron với nhiều lớp ẩn có khả năng xử lý song song dữ liệu văn bản. Các mô hình ngôn ngữ lớn mạnh hơn các mô hình đơn giản hơn và vượt trội trong các tác vụ xử lý ngôn ngữ tự nhiên khác nhau, bao gồm phân loại văn bản.

Không giống như những mô hình tiền nhiệm, các mô hình ngôn ngữ lớn có thể phân loại văn bản mà không cần đào tạo trước. Chúng sử dụng phân loại bằng dữ liệu mới, một phương pháp cho phép mô hình phân loại dữ liệu văn bản chưa từng gặp thành các danh mục được xác định trước. Ví dụ: bạn có thể triển khai mô hình phân loại văn bản bằng dữ liệu mới trên Amazon Sagemaker Jumpstart để sắp xếp các bài đăng về kế hoạch cho năm mới thành các lớp nghề nghiệp, sức khỏe, tài chính và các lớp khác. 

Bạn có thể xây dựng, đào tạo và triển khai mô hình phân loại văn bản bằng cách làm theo các bước sau.

Tuyển chọn tập dữ liệu đào tạo

Chuẩn bị một tập dữ liệu chất lượng cao rất quan trọng khi đào tạo hoặc tinh chỉnh mô hình ngôn ngữ để phân loại văn bản. Một tập dữ liệu đa dạng và được gắn nhãn cho phép mô hình học cách xác định các từ, cụm từ hoặc kiểu mẫu cụ thể và các danh mục tương ứng của chúng một cách hiệu quả.

Chuẩn bị tập dữ liệu

Các mô hình máy học không thể học từ các tập dữ liệu thô. Do đó, bạn phải làm sạch và chuẩn bị tập dữ liệu bằng các phương pháp tiền xử lý như token hóa. Token hóa chia mỗi từ hoặc câu thành các phần nhỏ hơn được gọi là token.

Sau khi token hóa, bạn nên xóa dữ liệu dư thừa, trùng lặp và bất thường khỏi tập dữ liệu đào tạo vì những dữ liệu như vậy có thể ảnh hưởng đến hiệu suất của mô hình. Sau đó, bạn chia tập dữ liệu thành dữ liệu đào tạo và xác thực.

Đào tạo mô hình phân loại văn bản

Chọn và đào tạo một mô hình ngôn ngữ với tập dữ liệu đã chuẩn bị. Trong quá trình đào tạo, mô hình học từ tập dữ liệu được chú thích và cố gắng phân loại văn bản thành các danh mục tương ứng. Việc đào tạo hoàn tất khi mô hình hội tụ một cách nhất quán đến cùng một kết quả.

Đánh giá và tối ưu hóa

Đánh giá mô hình với tập dữ liệu kiểm thử. So sánh độ chuẩn xác, độ chính xác, độ phủ và điểm F1 của mô hình với các điểm quy chuẩn đã được thiết lập. Mô hình được đào tạo có thể yêu cầu tinh chỉnh thêm để giải quyết vấn đề quá khớp và các vấn đề khác về hiệu suất. Tối ưu hóa mô hình cho đến khi bạn đạt được kết quả hài lòng. 

Amazon Comprehend là dịch vụ NLP sử dụng công nghệ máy học để phát hiện những thông tin chuyên sâu có giá trị và các mối liên kết trong văn bản. API Phân loại tùy chỉnh cho phép bạn dễ dàng xây dựng các mô hình phân loại văn bản tùy chỉnh bằng cách sử dụng các nhãn dành riêng cho doanh nghiệp mà không cần học về ML.

Ví dụ: tổ chức hỗ trợ khách hàng của bạn có thể sử dụng Phân loại tùy chỉnh để tự động phân loại các yêu cầu đến theo loại vấn đề dựa trên cách khách hàng mô tả vấn đề. Với mô hình tùy chỉnh của bạn, thật dễ dàng để kiểm duyệt các bình luận trên trang web, phân loại ưu tiên đối với phản hồi của khách hàng và sắp xếp các tài liệu nhóm làm việc.

Amazon SageMaker là một dịch vụ được quản lý toàn phần để chuẩn bị dữ liệu và xây dựng, đào tạo và triển khai các mô hình ML cho bất kỳ trường hợp sử dụng nào. Dịch vụ này có cơ sở hạ tầng, công cụ và quy trình làm việc được quản lý toàn phần.

Với Amazon SageMaker JumpStart, bạn có thể truy cập các mô hình nền tảng (FM) và được đào tạo sẵn cũng như tùy chỉnh các mô hình này tùy trường hợp sử dụng của bạn bằng dữ liệu của bạn. SageMaker JumpStart cung cấp các giải pháp toàn diện bằng một cú nhấp chuột cho nhiều trường hợp sử dụng ML phổ biến. Bạn có thể sử dụng dịch vụ này để phân loại văn bản, tóm tắt tài liệu, nhận dạng chữ viết tay, trích xuất mối quan hệ, hỏi và trả lời, cũng như điền các giá trị còn thiếu trong bản ghi dạng bảng.

Bắt đầu sử dụng phân loại văn bản trên Amazon Web Services (AWS) bằng cách tạo tài khoản ngay hôm nay.