AI tạo ảnh, âm thanh và video mới bằng cách nào?

Hãy hình dung một yêu cầu giả định: “Tạo cảnh chiếc thuyền giấy trôi trên một con suối, rồi mắc vào cành cây”. AI có thể tạo ra một đoạn video chưa từng được quay. Nhưng chiếc thuyền có giữ nguyên hình dạng không? Nó có thật sự dừng lại sau khi mắc vào cành, hay vẫn trôi xuyên qua vật cản?

Những câu hỏi ấy chạm đến hai mặt của AI tạo sinh: khả năng tạo nội dung từ những mẫu hình đã học và khả năng giữ cho nội dung ấy phù hợp với yêu cầu, nhất quán và hợp lý. Muốn hiểu bản chất, cần xem mô hình tạo dữ liệu ra sao, thay vì chỉ nhìn mức độ đẹp mắt của kết quả.

1. Từ những mẫu hình đã học đến một nội dung cụ thể

Với các mô hình tạo sinh học từ dữ liệu, tạo nội dung là tính toán để sinh ra dữ liệu đầu ra như ảnh, âm thanh hoặc video. Trong quá trình huấn luyện, tham số của mô hình được điều chỉnh để học những quan hệ trong dữ liệu: hình dạng và màu sắc thường đi cùng nhau thế nào, âm thanh biến đổi theo thời gian ra sao, một hành động thường dẫn đến trạng thái nào.

Một hệ thống tạo ảnh từ chữ còn cần học mối liên hệ giữa cách mô tả và đặc điểm hình ảnh. “Một chiếc cốc đỏ trên bàn gỗ” chứa đối tượng, thuộc tính và quan hệ vị trí. Chỉ học rằng cốc, màu đỏ và bàn thường xuất hiện là chưa đủ; kết quả cần gắn màu đỏ với chiếc cốc và đặt cốc đúng trên bàn.

Sinh có điều kiện nghĩa là quá trình tạo được định hướng bởi thông tin đầu vào. Điều kiện có thể là câu mô tả, một ảnh tham chiếu, đoạn âm thanh mở đầu hoặc phần video đã có, tùy khả năng của hệ thống. Mô hình dùng thông tin ấy cùng những gì đã học để tạo phần đầu ra phù hợp. “Có điều kiện” không có nghĩa mọi chi tiết trong yêu cầu đều được bảo đảm thực hiện đúng.

Yêu cầu thường không xác định trọn vẹn một kết quả duy nhất. “Một chiếc thuyền giấy trên suối” chưa nêu góc nhìn, loại giấy hay hình dạng các viên đá. Nhiều kết quả có thể cùng phù hợp. Mô hình phải tạo thêm chi tiết, và những chi tiết đó không tự trở thành dữ kiện có thật về một con suối ngoài đời.

Cũng cần phân biệt sinh dữ liệu với truy xuất tệp. Công cụ tìm ảnh chọn một tệp đã có. Phần sinh của mô hình tính toán để tạo đầu ra; nó không bắt buộc phải tìm một bức ảnh rồi cắt các mảnh từ nhiều ảnh để ghép lại. Một ứng dụng có thể kết hợp cả tìm kiếm, tạo mới và chỉnh sửa, nên cần xem từng phần đang làm việc gì.

Dữ liệu học vẫn ảnh hưởng đến khả năng tạo. Học được nhiều ví dụ quen thuộc không bảo đảm xử lý tốt mọi cách kết hợp hiếm gặp. Nếu yêu cầu chứa nhiều vật, nhiều thuộc tính và nhiều quan hệ, khó khăn có thể nằm ở việc gắn đúng chúng với nhau. Thêm nhiều từ mô tả cũng chưa tự giải quyết việc mô hình bỏ sót hoặc kết nối sai một chi tiết.

2. Khử nhiễu: học cách biến trạng thái nhiễu thành dữ liệu có cấu trúc

Mô hình khuếch tán, thường gọi là diffusion, là một họ mô hình tạo sinh. Trong cách tiếp cận tiêu biểu, quá trình học sử dụng dữ liệu bị thêm nhiễu ở những mức khác nhau. Với ảnh, có thể hình dung nhiễu là những biến đổi ngẫu nhiên làm thông tin hình ảnh khó nhận ra. Mô hình được rèn luyện để dự đoán phần nhiễu hoặc thông tin cần dùng để đi về một trạng thái ít nhiễu hơn.

Khi tạo ảnh mới từ mô tả, hệ thống có thể bắt đầu bằng nhiễu ngẫu nhiên và liên tục cập nhật trạng thái theo mô hình đã học, dưới sự định hướng của mô tả. Cấu trúc hình ảnh dần xuất hiện qua các lần cập nhật. Nhiễu ban đầu không chứa sẵn một bức ảnh hoàn chỉnh đang chờ được bóc ra.

Minh họa giản lược về tạo ảnh bằng khử nhiễu:

Bảng mô tả vai trò các giai đoạn, không quy định rằng mọi hệ thống có cùng số bước. “Giảm nhiễu” cũng là cách giải thích giản lược về quá trình cập nhật số, không phải dùng tẩy để xóa các đốm trên một ảnh có sẵn.

Ở khuếch tán trong không gian tiềm ẩn, hay latent diffusion, quá trình tạo làm việc trên một biểu diễn số gọn hơn ảnh đầy đủ. Bộ giải mã chuyển biểu diễn được tạo thành ảnh. Cách này giúp giảm lượng tính toán so với xử lý trực tiếp toàn bộ điểm ảnh trong thiết kế tương ứng. Biểu diễn gọn là một cách tổ chức thông tin; nó không phải danh sách những ảnh gốc để mô hình lựa chọn.

Khi đang sinh một ảnh bằng mô hình đã huấn luyện, phần thay đổi qua các bước chủ yếu là trạng thái dữ liệu đang được tạo. Điều đó khác với huấn luyện, nơi tham số mô hình được điều chỉnh. Tạo lâu hơn hoặc có nhiều bước cập nhật hơn không có nghĩa mô hình đang học lại sau mỗi bước, cũng không bảo đảm ảnh cuối thực hiện đúng mọi quan hệ.

Một số hệ thống dùng seed, tức giá trị khởi tạo bộ sinh số ngẫu nhiên. Giữ seed cùng mô hình, đầu vào và các thiết lập liên quan có thể giúp tái tạo kết quả trong điều kiện tương thích. Chỉ giữ seed khi đổi mô hình hoặc cách xử lý chưa bảo đảm tạo lại đúng ảnh. Seed kiểm soát một phần tính ngẫu nhiên, không chứng nhận độ đúng hay tính độc nhất.

Khử nhiễu còn có thể phục vụ chỉnh sửa: hệ thống nhận ảnh và điều kiện để tạo lại một vùng hoặc thay đổi đặc điểm. Nhưng tạo phần bị thiếu khác với xác nhận phần đó từng có gì. Nếu ảnh che mất một con số trên biển tên, phần được sinh để lấp vào có thể trông hợp lý mà vẫn khác con số thật.

3. Sinh tuần tự: tạo âm thanh bằng cách dự đoán phần tiếp theo

Khử nhiễu là một cách tiêu biểu, không phải cách vận hành của mọi mô hình tạo sinh. Một hướng khác là sinh tuần tự, hay tự hồi quy: dự đoán đơn vị tiếp theo dựa trên những đơn vị trước đó và thông tin định hướng được cung cấp. Đơn vị ở đây là biểu diễn mà mô hình xử lý, không nhất thiết là một từ hay một giây âm thanh.

Trong một số hệ thống tạo âm thanh, dữ liệu được biểu diễn thành chuỗi token âm thanh, tức các đơn vị mã hóa tín hiệu. Mô hình tạo các token rồi bộ giải mã chuyển chúng thành dạng sóng để có thể nghe. Vì thế, dùng cách dự đoán chuỗi tương tự mô hình ngôn ngữ không có nghĩa âm thanh phải được viết thành câu chữ trước khi sinh.

AudioLM là một ví dụ nghiên cứu công bố năm 2022. Hệ thống học từ âm thanh và dùng các nhóm token với vai trò khác nhau: một nhóm hỗ trợ cấu trúc dài hơn như nội dung lời nói, giai điệu và nhịp; nhóm khác hỗ trợ chi tiết âm thanh như đặc điểm giọng và điều kiện thu. Quá trình tạo kết hợp các nhóm ấy để vừa có phần tiếp nối mạch lạc, vừa có âm thanh rõ. Đây là cách tổ chức của một hệ thống cụ thể, không phải công thức chung cho mọi AI tạo giọng nói hoặc âm nhạc.

Cùng một câu chữ có thể được đọc bằng nhiều giọng, tốc độ và ngữ điệu. Do đó, yêu cầu nói đúng lời và yêu cầu nói với âm sắc phù hợp là hai mặt cần xem xét riêng. Tương tự, một đoạn nhạc có từng tiếng đàn rõ vẫn có thể chuyển nhịp đột ngột hoặc mất liên hệ với giai điệu trước đó. Chất lượng tín hiệu tại một thời điểm khác với cấu trúc xuyên suốt đoạn âm thanh.

Khi lấy vài giây đầu làm điều kiện để tạo phần tiếp theo, mô hình sinh một khả năng tiếp nối. Nó không tự tìm ra phần tiếp theo thực sự của bản ghi gốc. Một đoạn tiếp nối nghe rất giống người nói ban đầu vẫn có thể chứa lời mà người đó chưa từng nói.

Trong thử nghiệm AudioLM công bố năm 2022, 10 người chấm biết tiếng Anh phân loại 100 mẫu, mỗi mẫu dài 10 giây, gồm số mẫu thật và mẫu có phần tiếp nối tổng hợp bằng nhau. Mẫu tổng hợp có 3 giây đầu là lời thật và 7 giây sau được tạo; người chấm chỉ đánh giá phần sau. Mẫu thật được nén tương ứng với đầu ra để khác biệt do nén không trở thành manh mối phân loại. Trên 1.000 lượt đánh giá, tỷ lệ phân loại đúng là 51,2%, chưa khác biệt có ý nghĩa thống kê so với mức 50% khi đoán ngẫu nhiên. Đây là đánh giá của nhóm phát triển về khả năng phân biệt các mẫu ngắn trong điều kiện ấy, không đo độ đúng của điều được nói hay khả năng đánh lừa mọi người nghe hiện nay.

4. Tạo video cần giữ quan hệ giữa các thời điểm

Video không chỉ cần từng khung hình trông đẹp. Nó cần đối tượng, vị trí, hành động và kết quả liên hệ với nhau theo thời gian. Tính nhất quán theo thời gian là việc những đặc điểm và diễn biến ấy được duy trì phù hợp trong chuỗi hình ảnh, kể cả khi góc nhìn thay đổi.

Ví dụ giả định: Trong video chiếc thuyền giấy, thuyền đi sau một tảng đá rồi xuất hiện trở lại. Nếu trước đó thuyền có nếp gấp màu xanh nhưng sau đó thành thuyền đỏ, hình dáng khác hẳn mà không có sự kiện giải thích, video bị mất nhất quán về đối tượng. Vẽ từng khung hình thật đẹp riêng lẻ chưa đủ giữ cùng một chiếc thuyền.

Một số mô hình tạo video xử lý biểu diễn chứa cả thông tin không gian và thời gian, nhằm học liên hệ giữa các vùng hình qua nhiều thời điểm. Điều này khác với tạo từng ảnh độc lập rồi xếp nối. Với mô hình dùng khử nhiễu cho video, các bước cập nhật có thể tác động lên biểu diễn của cả đoạn; số bước khử nhiễu không phải số khung hình video. Hai khái niệm lần lượt nói về quá trình tính toán và chuỗi hình ảnh theo thời gian.

Giữ đúng đối tượng vẫn chưa đủ để đúng vật lý. Trong ví dụ thuyền mắc vào cành, thuyền có thể giữ nguyên màu và hình dạng nhưng trôi xuyên qua cành. Video ấy có tính nhất quán về vẻ ngoài mà thiếu hợp lý trong tương tác. Mô tả một va chạm đòi hỏi trạng thái trước, diễn biến tiếp xúc và trạng thái sau phù hợp với nhau.

Với Sora trong công bố năm 2024, những hạn chế được nêu gồm mô phỏng kính vỡ chưa chính xác và hành động ăn không luôn tạo ra thay đổi phù hợp ở vật bị ăn. Đây là các lỗi được công bố của phiên bản nghiên cứu khi đó, không phải tỷ lệ lỗi chung của AI tạo video hiện tại. Chúng cho thấy hình ảnh thuyết phục và quan hệ nhân quả chính xác là hai yêu cầu khác nhau.

Video có tiếng còn cần liên hệ giữa hình và âm thanh: khẩu hình với lời nói, động tác với tiếng động. Nếu một ứng dụng tạo hình và tiếng bằng các bộ phận riêng rồi kết hợp, việc mỗi phần đều có chất lượng tốt chưa bảo đảm chúng khớp thời điểm. Ngược lại, mô hình tạo cả hình lẫn tiếng cũng vẫn cần được đánh giá khả năng đồng bộ; chỉ hỗ trợ hai dạng đầu ra chưa chứng minh chúng liên hệ đúng.

Tạo chuyển động từ một ảnh tĩnh hoặc nối dài một video cũng là tạo thêm dữ liệu. Ảnh đầu vào có thể định hướng nhân vật và cảnh, nhưng không cung cấp sẵn những diễn biến phía sau. Phần mở rộng phù hợp với cảnh không chứng minh sự kiện đó đã xảy ra ngoài đời.

5. Nội dung được tạo mới có thể chân thực, nhưng cần hiểu đúng giá trị của nó

“Được tạo” mô tả quá trình hình thành đầu ra. Nó không tự bảo đảm nội dung hoàn toàn độc nhất, chưa từng giống một tác phẩm khác hoặc không liên quan đến dữ liệu huấn luyện. Các mẫu hình đã học có thể được áp dụng để tạo những kết hợp khác, nhưng mô hình cũng có thể ghi nhớ một số ví dụ.

Trong nghiên cứu công bố năm 2023 về các mô hình diffusion, các thử nghiệm đã thu được ảnh gần như bản sao của một số ảnh huấn luyện, bằng cách sinh nhiều ứng viên rồi tìm và đối chiếu những kết quả phù hợp. Đây là bằng chứng về khả năng tái tạo một số ví dụ trong những mô hình và điều kiện được thử, không chứng minh mọi ảnh được sinh đều là bản sao. Cơ chế sinh và mức tương đồng của một đầu ra cần được phân biệt.

Một kết quả cũng cần được nhìn theo nhiều mặt:

Ví dụ giả định: Một ảnh lớp học nhìn như ảnh chụp nhưng yêu cầu là ba chiếc ghế, còn đầu ra có bốn chiếc. Ảnh đạt độ chân thực về vẻ ngoài nhưng không đạt yêu cầu về số lượng. Nếu ảnh chỉ được tạo từ câu mô tả, nó cũng chưa phải bằng chứng về cách bố trí một lớp học thật. Những tiêu chí này có thể cùng tốt hoặc cùng yếu, nhưng không thay thế nhau.

Cuối cùng, đầu ra của ứng dụng có thể qua nhiều bước: chỉnh lại mô tả, dùng mô hình tạo nội dung, nâng độ phân giải hoặc kết hợp âm thanh với hình. Năng lực của cả quy trình không nên tự gán hết cho một mô hình trung tâm. Tăng độ nét có thể làm kết quả dễ xem hơn; nó chưa tự sửa một vật thể đặt sai chỗ hay khôi phục sự thật mà đầu vào không cung cấp.

Hiểu cơ chế sinh giúp xác định giá trị của một kết quả: nội dung được tính toán từ năng lực đã học và điều kiện đầu vào. Khi đánh giá, hãy chọn tiêu chí đúng với mục đích sử dụng: chân thực, phù hợp yêu cầu, nhất quán và có căn cứ cho những chi tiết cần chính xác.