Phép nhúng trong máy học là gì?

Các mô hình ML không thể diễn giải thông tin sao cho dễ hiểu ở định dạng thô và yêu cầu đầu vào là dữ liệu dạng số. Các mô hình này sử dụng phép nhúng mạng nơ-ron để chuyển đổi thông tin thực tế sang biểu diễn dạng số được gọi là véc-tơ. Véc-tơ là các giá trị số biểu diễn thông tin trong một không gian đa chiều. Véc-tơ giúp các mô hình ML tìm điểm tương đồng giữa các mục phân tán thưa thớt. 

Mỗi đối tượng mà mô hình ML học được đều có nhiều đặc điểm hoặc đặc trưng khác nhau. Một ví dụ đơn giản là hãy xem xét các bộ phim và chương trình truyền hình sau đây. Mỗi bộ phim/chương trình được nêu đặc trưng qua thể loại, loại và năm phát hành. 

The Conference (Kinh dị, 2023, Phim)

Upload (Hài, 2023, Chương trình truyền hình, Mùa 3)

Tales from the Crypt (Kinh dị, 1989, Chương trình truyền hình, Mùa 7)

Dream Scenario (Kinh dị-Hài, 2023, Phim)

Mô hình ML có thể diễn giải các biến dạng số như năm nhưng không thể so sánh các biến không phải dạng số như thể loại, loại, tập và tổng số mùa. Các véc-tơ nhúng mã hóa dữ liệu không phải dạng số thành một loạt các giá trị mà mô hình ML có thể hiểu và liên hệ. Ví dụ: sau đây là một phép biểu diễn giả định của các chương trình truyền hình được liệt kê trên đây. 

The Conference (1,2, 2023, 20,0)

Upload (2,3, 2023, 35,5)

Tales from the Crypt (1,2, 1989, 36,7)

Dream Scenario (1,8, 2023, 20,0)

Số đầu tiên trong véc-tơ tương ứng với một thể loại cụ thể. Mô hình ML sẽ thấy rằng The Conference và Tales from the Crypt có cùng thể loại. Tương tự như vậy, mô hình sẽ tìm thấy nhiều mối quan hệ hơn giữa Upload và Tales from the Crypt dựa trên số thứ ba, đại diện cho kịch bản, mùa và tập. Khi sử dụng nhiều biến hơn, bạn có thể tinh chỉnh mô hình để cô đọng nhiều thông tin hơn trong một không gian véc-tơ nhỏ hơn. 

Mô hình nhúng là các thuật toán được đào tạo để gói gọn thông tin thành các phép biểu diễn mật độ cao trong không gian đa chiều. Các nhà khoa học dữ liệu sử dụng mô hình nhúng để cho phép mô hình ML hiểu và suy luận với dữ liệu đa chiều. Đây là những mô hình nhúng phổ biến được sử dụng trong các ứng dụng ML.

Phân tích thành phần chính

Phân tích thành phần chính (PCA) là một kỹ thuật giảm kích thước nhằm rút gọn các loại dữ liệu phức tạp thành các véc-tơ ít chiều. Kỹ thuật này tìm các điểm dữ liệu có điểm tương đồng và nén thành các véc-tơ nhúng phản ánh dữ liệu gốc. Mặc dù PCA cho phép các mô hình xử lý dữ liệu thô hiệu quả hơn nhưng có thể xảy ra mất thông tin trong quá trình xử lý.

Phân tích giá trị suy biến

Phân tích giá trị suy biến (SVD) là một mô hình nhúng chuyển đổi một ma trận thành các ma trận suy biến. Các ma trận thu được giữ lại thông tin ban đầu, đồng thời cho phép các mô hình hiểu rõ hơn các mối quan hệ ngữ nghĩa của dữ liệu được biểu diễn qua các ma trận đó. Các nhà khoa học dữ liệu sử dụng SVD để kích hoạt nhiều tác vụ ML khác nhau, bao gồm nén hình ảnh, phân loại văn bản và đề xuất. 

Word2Vec

Word2Vec là một thuật toán ML được đào tạo để liên kết và biểu diễn các từ trong không gian nhúng. Các nhà khoa học dữ liệu cung cấp các tập dữ liệu văn bản khổng lồ cho mô hình Word2Vec để cho phép hiểu ngôn ngữ tự nhiên. Mô hình này tìm điểm tương đồng trong các từ bằng cách xem xét bối cảnh và các mối quan hệ ngữ nghĩa.

Có hai biến thể của Word2Vec là Túi từ liên tục (CBOW) và Skip-gram. CBOW cho phép mô hình dự đoán một từ từ ngữ cảnh nhất định, trong khi Skip-gram suy ra ngữ cảnh từ một từ cụ thể. Mặc dù là kỹ thuật nhúng từ hiệu quả nhưng Word2Vec không thể phân biệt chính xác những điểm khác biệt về ngữ cảnh của cùng một từ được sử dụng để ám chỉ các ý nghĩa khác nhau. 

BERT

BERT là một mô hình ngôn ngữ dựa trên bộ chuyển đổi, được đào tạo với các tập dữ liệu khổng lồ để hiểu ngôn ngữ như con người. Giống như Word2Vec, BERT có thể tạo các phép nhúng từ từ dữ liệu đầu vào đã dùng để đào tạo mô hình. Ngoài ra, BERT có thể phân biệt ý nghĩa ngữ cảnh của các từ khi áp dụng cho các cụm từ khác nhau. Ví dụ: BERT tạo các phép nhúng khác nhau cho từ “play” (chơi) như trong “I go to a play” (Tôi đi xem kịch) và “I like to play” (Tôi thích đi chơi). 

Amazon Bedrock là dịch vụ được quản lý toàn phần, cho phép lựa chọn các mô hình nền tảng (FM) hiệu suất cao từ các công ty AI hàng đầu, cùng một loạt các tính năng đa dạng để xây dựng các ứng dụng trí tuệ nhân tạo tạo sinh (AI tạo sinh). Các mô hình nền tảng Amazon Bedrock Titan là một nhóm các FM được AWS đào tạo trước trên các tập dữ liệu lớn. Đây là những mô hình mạnh mẽ, đa năng được xây dựng để hỗ trợ nhiều trường hợp sử dụng khác nhau. Bạn có thể sử dụng các mô hình này theo nguyên trạng hoặc tùy chỉnh bằng dữ liệu của riêng bạn. 

Titan Embeddings là LLM dịch văn bản thành phép biểu diễn bằng số. Mô hình Titan Embeddings hỗ trợ truy xuất văn bản, tương đồng về ngữ nghĩa và phân cụm. Văn bản đầu vào tối đa là mã thông báo 8K và độ dài véc-tơ đầu ra tối đa là 1536.

Các nhóm máy học cũng có thể sử dụng Amazon SageMaker để tạo phép nhúng. Amazon SageMaker là trung tâm nơi bạn có thể xây dựng, đào tạo và triển khai các mô hình ML trong một môi trường an toàn và có thể điều chỉnh quy mô. Trung tâm này cung cấp một kỹ thuật nhúng được gọi là Object2Vec mà các kỹ sư có thể sử dụng để véc-tơ hóa dữ liệu đa chiều trong một không gian ít chiều. Bạn có thể sử dụng các phép nhúng đã học để tính mối quan hệ giữa các đối tượng cho các tác vụ hạ nguồn như phân loại và hồi quy. 

Bắt đầu sử dụng phép nhúng trên AWS bằng cách tạo tài khoản ngay hôm nay.