GAN là gì?

Kiến trúc GAN có một số ứng dụng trong nhiều ngành công nghiệp khác nhau. Sau đây, chúng tôi sẽ đưa ra một vài ví dụ.

Tạo hình ảnh

Các mạng đối nghịch tạo sinh tạo hình ảnh thực tế thông qua lời nhắc dựa trên văn bản hoặc bằng cách sửa đổi hình ảnh hiện có. Các mạng này có thể giúp đem lại trải nghiệm hình ảnh tự nhiên và chân thực trong trò chơi điện tử và giải trí kỹ thuật số.

GAN cũng có thể chỉnh sửa hình ảnh, như chuyển đổi hình ảnh độ phân giải thấp sang độ phân giải cao hoặc chuyển hình ảnh đen trắng thành hình ảnh màu. GAN cũng có thể tạo khuôn mặt, nhân vật và động vật tự nhiên cho hoạt hình và video.

Tạo dữ liệu đào tạo cho các mô hình khác

Trong máy học (ML), tăng cường dữ liệu làm tăng tập đào tạo một cách phi tự nhiên bằng cách tạo các bản sao đã sửa đổi của tập dữ liệu dựa vào dữ liệu hiện có.

Bạn có thể sử dụng các mô hình tạo sinh cho mục đích tăng cường dữ liệu để tạo dữ liệu tổng hợp với tất cả các thuộc tính của dữ liệu trong thế giới thực. Ví dụ: thao tác này có thể tạo ra dữ liệu giao dịch gian lận mà sau đó bạn sử dụng để đào tạo một hệ thống ML phát hiện gian lận khác. Dữ liệu này có thể dạy hệ thống phân biệt chính xác giữa các giao dịch đáng ngờ và các giao dịch đích thực.

Hoàn thiện thông tin còn thiếu

Đôi khi, bạn có thể muốn mô hình tạo sinh đoán chính xác và hoàn thiện một số thông tin còn thiếu trong tập dữ liệu.

Ví dụ: bạn có thể đào tạo GAN để tạo hình ảnh của bề mặt bên dưới mặt đất (lớp dưới bề mặt) bằng cách hiểu được mối tương quan giữa dữ liệu bề mặt và cấu trúc ngầm. Khi nghiên cứu hình ảnh của lớp dưới bề mặt đã xác định, GAN có thể tạo ra những hình ảnh mới dựa vào bản đồ địa hình cho các ứng dụng năng lượng như lập bản đồ địa nhiệt hoặc thu hồi và lưu trữ carbon.

Tạo mô hình 3D từ dữ liệu 2D

GAN có thể tạo mô hình 3D từ ảnh 2D hoặc hình ảnh được quét. Ví dụ: trong lĩnh vực chăm sóc sức khỏe, GAN kết hợp tia X và các phương pháp quét cơ thể khác để tạo ra hình ảnh thực tế của các cơ quan để lập kế hoạch phẫu thuật và mô phỏng.

 

Có nhiều loại mô hình GAN khác nhau, tùy thuộc vào công thức toán học được sử dụng và các cách khác nhau để máy tạo và máy phân biệt tương tác với nhau.

Tiếp theo, chúng tôi sẽ cung cấp một số mô hình thường được sử dụng nhưng đó không phải là danh sách đầy đủ. Có rất nhiều loại GAN khác như StyleGAN, CycleGAN và Discogan để giải quyết các loại vấn đề khác nhau.

GAN đơn thuần

Đây là mô hình GAN cơ bản tạo ra biến thể dữ liệu với ít phản hồi hoặc không có phản hồi từ mạng phân biệt. GAN đơn thuần thường yêu cầu tăng cường cho hầu hết các trường hợp sử dụng trong thế giới thực.

GAN có điều kiện

GAN có điều kiện (cGAN) sử dụng khái niệm điều kiện, cho phép tạo dữ liệu nhắm mục tiêu. Mạng tạo và mạng phân biệt nhận thông tin bổ sung, thường dưới dạng nhãn lớp hoặc một số dạng dữ liệu biến đổi khác.

Ví dụ: nếu tạo hình ảnh, điều kiện có thể là một nhãn mô tả nội dung hình ảnh. Quá trình biến đổi cho phép mạng tạo tạo ra dữ liệu đáp ứng các điều kiện cụ thể.

GAN tích chập sâu

Nhận thức được sức mạnh của mạng nơ-ron tích chập (CNN) trong xử lý hình ảnh, GAN tích chập sâu (DCGAN) tích hợp kiến trúc CNN vào GAN.

Với DCGAN, mạng tạo sử dụng các tích chập chuyển vị để nâng cấp phân phối dữ liệu và mạng phân biệt cũng sử dụng các lớp tích chập để phân loại dữ liệu. DCGAN cũng sử dụng các hướng dẫn kiến trúc để giúp quá trình đào tạo ổn định hơn.

GAN siêu phân giải

GANS siêu phân giải (SRGAN) tập trung vào việc nâng cấp hình ảnh có độ phân giải thấp lên độ phân giải cao. Mục tiêu là nâng cao hình ảnh đến độ phân giải cao hơn trong khi vẫn duy trì chất lượng hình ảnh và chi tiết.

GAN kim tự tháp Laplacian (LAPGAN) giải quyết khó khăn trong việc tạo ra hình ảnh có độ phân giải cao bằng cách chia nhỏ vấn đề thành nhiều giai đoạn. Các GAN này sử dụng cách tiếp cận phân cấp, trong đó nhiều mạng tạo và mạng phân biệt hoạt động ở các quy mô hoặc độ phân giải khác nhau của hình ảnh. Quá trình bắt đầu bằng việc tạo ra một hình ảnh có độ phân giải thấp sẽ cải thiện chất lượng qua các giai đoạn GAN lũy tiến.