Học chuyển giao là gì?

Chiến lược bạn sử dụng để tạo điều kiện thuận lợi cho TL sẽ phụ thuộc vào miền của mô hình bạn đang xây dựng, nhiệm vụ mà nó cần hoàn thành và sự sẵn có của dữ liệu đào tạo.

Học chuyển giao tải nạp

Học chuyển giao tải nạp liên quan đến việc chuyển kiến thức từ một miền nguồn cụ thể sang một miền mục tiêu khác nhưng có liên quan, với trọng tâm chính là miền mục tiêu. Nó đặc biệt hữu ích khi có ít hoặc không có dữ liệu được gắn nhãn từ miền đích.

Học chuyển giao tải nạp yêu cầu mô hình đưa ra dự đoán về dữ liệu mục tiêu bằng cách sử dụng kiến thức thu được trước đó. Vì dữ liệu mục tiêu tương tự về mặt toán học với dữ liệu nguồn, mô hình tìm thấy các mẫu và thực hiện nhanh hơn. 

Ví dụ: xem xét điều chỉnh mô hình phân tích tâm lý được đào tạo về đánh giá sản phẩm để phân tích các đánh giá phim. Miền nguồn (đánh giá sản phẩm) và miền mục tiêu (đánh giá phim) khác nhau về ngữ cảnh và chi tiết cụ thể nhưng có những điểm tương đồng về cấu trúc và cách sử dụng ngôn ngữ. Mô hình nhanh chóng học cách áp dụng sự hiểu biết của mình về cảm xúc từ miền sản phẩm sang miền phim.

Học chuyển tiếp quy nạp

Học chuyển tiếp quy nạp là nơi miền nguồn và miền đích giống nhau, nhưng các nhiệm vụ mà mô hình phải hoàn thành là khác nhau. Mô hình được đào tạo trước đã quen thuộc với dữ liệu nguồn và đào tạo nhanh hơn cho các chức năng mới.

Một ví dụ về học chuyển tiếp quy nạp là trong xử lý ngôn ngữ tự nhiên (NLP). Các mô hình được đào tạo trước trên một tập hợp lớn các văn bản và sau đó được tinh chỉnh bằng cách sử dụng học chuyển tiếp quy nạp sang các chức năng cụ thể như phân tích cảm xúc. Tương tự, các mô hình thị giác máy tính như VGG được đào tạo trước trên các tập dữ liệu hình ảnh lớn và sau đó được tinh chỉnh để phát triển khả năng phát hiện đối tượng.

Học chuyển tiếp không giám sát

Học chuyển tiếp không giám sát sử dụng một chiến lược tương tự như học chuyển tiếp quy nạp để phát triển các khả năng mới. Tuy nhiên, bạn sử dụng hình thức học chuyển tiếp này khi chỉ có dữ liệu không được gắn nhãn trong cả miền nguồn và miền đích. 

Mô hình học các tính năng chung của dữ liệu không được dán nhãn để khái quát hóa chính xác hơn khi được yêu cầu thực hiện một nhiệm vụ mục tiêu. Phương pháp này rất hữu ích nếu việc có được dữ liệu nguồn được dán nhãn khó khăn hoặc tốn kém.

Ví dụ: hãy xem xét nhiệm vụ xác định các loại xe máy khác nhau trong hình ảnh giao thông. Ban đầu, mô hình được đào tạo trên một tập hợp lớn các hình ảnh xe chưa được dán nhãn. Trong trường hợp này, mô hình tự xác định sự tương đồng và đặc điểm phân biệt giữa các loại phương tiện khác nhau như ô tô, xe buýt và xe máy. Tiếp theo, mô hình được giới thiệu với một bộ hình ảnh xe máy nhỏ, cụ thể. Hiệu suất mô hình cải thiện đáng kể so với trước đây.

Các chiến lược học chuyển giao rất quan trọng đối với việc áp dụng AI tạo sinh trong các ngành khác nhau. Các tổ chức có thể tùy chỉnh các mô hình nền tảng hiện có mà không cần phải đào tạo các mô hình mới trên hàng tỷ tham số dữ liệu trên quy mô lớn. Sau đây là một số chiến lược học chuyển giao được sử dụng trong AI tạo sinh.

Đào tạo đối nghịch miền

Đào tạo đối nghịch miền liên quan đến việc đào tạo một mô hình nền tảng để tạo ra dữ liệu không thể phân biệt được với dữ liệu thực trong miền mục tiêu. Kỹ thuật này thường sử dụng một mạng phân biệt, như được thấy trong các mạng đối nghịch tạo sinh cố gắng phân biệt giữa dữ liệu thực và dữ liệu được tạo ra. Trình tạo học cách tạo ra dữ liệu ngày càng thực tế.

Ví dụ: trong quá trình tạo hình ảnh, một mô hình được đào tạo về ảnh có thể được điều chỉnh để tạo ra tác phẩm nghệ thuật. Mạng phân biệt giúp đảm bảo tác phẩm nghệ thuật được tạo phù hợp về mặt phong cách với miền mục tiêu.

Học tập giữa giáo viên và học sinh

Học tập giữa giáo viên và học sinh liên quan đến một mô hình “giáo viên” lớn hơn và phức tạp hơn dạy một mô hình “học sinh” nhỏ hơn và đơn giản hơn. Mô hình học sinh học cách bắt chước hành vi của mô hình giáo viên, truyền đạt kiến thức hiệu quả. Điều này rất hữu ích để triển khai các mô hình tạo lớn trong môi trường hạn chế tài nguyên.

Ví dụ: một mô hình ngôn ngữ lớn (LLM) có thể phục vụ như một giáo viên sang một mô hình nhỏ hơn, chuyển khả năng tạo ngôn ngữ của nó. Điều này sẽ cho phép mô hình nhỏ hơn tạo ra văn bản chất lượng cao với chi phí điện toán ít hơn.

Tách rời tính năng

Sự tách rời tính năng trong các mô hình tạo sinh liên quan đến việc tách các khía cạnh khác nhau của dữ liệu, chẳng hạn như nội dung và phong cách, thành các dạng trình bày riêng biệt. Điều này cho phép mô hình thao tác các khía cạnh này một cách độc lập trong quá trình học chuyển giao.

Ví dụ: trong một nhiệm vụ tạo khuôn mặt, một người mẫu có thể học cách tách các đặc điểm trên mặt khỏi phong cách nghệ thuật. Điều này sẽ cho phép nó tạo ra các bức chân dung theo nhiều phong cách nghệ thuật khác nhau trong khi vẫn duy trì sự giống nhau của đối tượng.

Học chuyển giao đa phương thức

Học chuyển giao đa phương thức liên quan đến việc chuyển giao kiến thức giữa các phương thức khác nhau, như văn bản và hình ảnh. Các mô hình tạo sinh có thể tìm hiểu các dạng trình bày áp dụng trên các phương thức này. Một mô hình được đào tạo về mô tả văn bản và hình ảnh tương ứng có thể học cách tạo ra hình ảnh có liên quan từ các mô tả văn bản mới, chuyển hiệu quả sự hiểu biết của nó từ văn bản sang hình ảnh.

Học bằng dữ liệu mới và với ít dữ liệu đào tạo

Trong học bằng dữ liệu mới và với ít dữ liệu đào tạo, các mô hình tạo sinh được đào tạo để thực hiện các nhiệm vụ hoặc tạo dữ liệu mà họ đã thấy ít hoặc không có ví dụ nào trong quá trình đào tạo. Điều này đạt được bằng cách học các hình ảnh phong phú khái quát hóa tốt. Ví dụ: một mô hình tạo sinh có thể được đào tạo để tạo ra hình ảnh của động vật. Sử dụng phương pháp học ít ảnh, nó có thể tạo ra hình ảnh của một loài động vật hiếm khi nhìn thấy bằng cách hiểu và kết hợp các đặc điểm từ các động vật khác.