AI học như thế nào? Vì sao AI có thể làm được những việc chưa từng gặp?

Một AI có thể nhận ra con mèo trong bức ảnh chưa từng gặp, hoặc viết bản tóm tắt cho một văn bản mới. Năng lực đó hình thành thế nào? Có phải máy đã lưu sẵn từng bức ảnh, từng câu trả lời? Và khi chúng ta sửa một câu trả lời sai, AI có lập tức học lại không?

Để trả lời, cần nhìn vào ba yếu tố: dữ liệu mô hình được học, tín hiệu cho biết cần cải thiện điều gì và quá trình điều chỉnh bên trong mô hình. Bài này tập trung vào AI học máy, đặc biệt là các mô hình dùng mạng nơron. Những hệ thống AI dựa trên luật và tri thức có cách xây dựng khác, nên không thể lấy một quy trình huấn luyện để giải thích mọi AI.

1. “Học” là điều chỉnh cách xử lý, không chỉ tiếp nhận dữ liệu

Trong học máy, huấn luyện là quá trình dùng dữ liệu và một mục tiêu học để điều chỉnh mô hình. Với mạng nơron, phần được điều chỉnh chủ yếu là tham số: các giá trị số ảnh hưởng đến cách thông tin được kết hợp và biến đổi để tạo kết quả.

Mục tiêu học xác định điều gì được xem là tốt hơn. Một mô hình dự đoán lượng mưa có thể được huấn luyện để giảm chênh lệch giữa dự đoán và lượng mưa thực tế. Một mô hình khác có thể được huấn luyện để tạo câu trả lời được đánh giá phù hợp hơn với yêu cầu. Hai mục tiêu này tạo ra những tín hiệu học khác nhau.

Với một nhiệm vụ có kết quả tham chiếu, vòng lặp huấn luyện có thể được hình dung qua bốn bước:

1. Mô hình nhận đầu vào và tạo một dự đoán.
2. Hệ thống so sánh dự đoán với kết quả tham chiếu, rồi tính mức sai lệch.
3. Quy trình huấn luyện điều chỉnh tham số theo hướng giảm sai lệch đó.
4. Quá trình được lặp lại trên nhiều ví dụ, thường qua nhiều lượt.

Quy tắc đo sai lệch gọi là hàm mất mát. Giá trị tính được cho biết mức sai lệch theo cách đo đó, giúp quy trình xác định hướng điều chỉnh mô hình. Cần phân biệt giảm mất mát trên dữ liệu học với làm tốt trên dữ liệu mới; khả năng áp dụng vào trường hợp mới sẽ được giải thích ở phần 4.

Người phát triển thiết kế quy trình và mục tiêu; máy tính thực hiện các phép tính cập nhật tham số. Không cần một người ngồi sửa từng tham số cho từng ví dụ. Cũng không có một lời giải thích bằng tiếng Việt được tự động viết vào mô hình sau mỗi lần điều chỉnh.

Mạng nơron là hệ tính toán gồm các đơn vị xử lý được tổ chức thành các lớp. Các lớp kết hợp và biến đổi thông tin, tạo ra những biểu diễn hữu ích cho nhiệm vụ. Trong nhận diện ảnh, những tổ hợp đặc điểm như đường nét, hình dạng và quan hệ giữa các phần có thể giúp mô hình phân biệt đối tượng.

Tên “nơron” gợi liên tưởng đến sinh học, nhưng một mạng nơron nhân tạo không phải bản sao đầy đủ của bộ não. Việc mô hình xử lý qua nhiều lớp hoặc cải thiện sau huấn luyện không tự chứng minh nó có cảm giác hay trải nghiệm giống con người. Đây là mô tả cơ chế tính toán và hành vi quan sát được.

2. Dữ liệu trở thành bài học nhờ tín hiệu nào?

Một tập dữ liệu có thể chứa ảnh, âm thanh, văn bản hoặc số liệu. Tuy nhiên, chỉ tập hợp thật nhiều dữ liệu chưa nói rõ mô hình sẽ học điều gì. Cần biết dữ liệu được dùng cho nhiệm vụ nào và tín hiệu học được tạo ra ra sao.

Học có giám sát sử dụng ví dụ có kết quả tham chiếu, thường gọi là nhãn. Nhãn có thể là tên loại đối tượng, một con số hoặc một câu trả lời mẫu. Với ảnh mèo và chó, nhãn cho biết ảnh thuộc nhóm nào. Mô hình học quan hệ giữa đặc điểm đầu vào và nhãn để dự đoán cho ảnh mới.

“Có giám sát” không có nghĩa luôn có người theo dõi trực tiếp lúc máy học. Nhãn có thể được chuẩn bị trước hoặc lấy từ kết quả đã ghi nhận. Nếu nhãn sai, mô hình vẫn có thể học theo tín hiệu sai đó; nhãn là mục tiêu tham chiếu của quy trình, không phải bảo đảm tuyệt đối về sự thật.

Học tự giám sát tạo tín hiệu tham chiếu từ chính dữ liệu. Chẳng hạn, một mô hình ngôn ngữ được cho phần đầu của đoạn văn và học dự đoán phần tiếp theo; phần văn bản đã có cung cấp kết quả để đối chiếu. Cách này giảm nhu cầu để con người viết đáp án riêng cho từng mẫu.

Tự giám sát vẫn cần con người lựa chọn dữ liệu, thiết kế nhiệm vụ và quy trình. Nó cũng không đồng nghĩa mô hình tự xác minh mọi thông tin. Dự đoán phù hợp với văn bản đã có và kiểm chứng một sự kiện ngoài đời là hai yêu cầu khác nhau.

Học tăng cường sử dụng tín hiệu thưởng để điều chỉnh cách mô hình lựa chọn hành động hoặc tạo đầu ra. Phần thưởng là một giá trị đánh giá, chẳng hạn kết quả thắng một trò chơi hoặc điểm cho việc hoàn thành nhiệm vụ. Tín hiệu có thể xuất hiện sau cả chuỗi hành động, thay vì cung cấp đáp án mẫu cho từng bước.

“Thưởng” ở đây là tên của một tín hiệu số, không có nghĩa máy cảm thấy vui. Hơn nữa, điểm thưởng phản ánh tiêu chí được thiết kế. Nếu tiêu chí chỉ đo được một phần chất lượng, tối ưu điểm thưởng chưa chắc cải thiện đầy đủ điều chúng ta mong muốn.

Ba cách học trên phân biệt nguồn tín hiệu học, không phải ba loại sản phẩm bắt buộc tách biệt. Một mô hình có thể trải qua nhiều cách học ở những giai đoạn khác nhau.

3. Từ tiền huấn luyện đến tinh chỉnh và phản hồi con người

Với nhiều mô hình nền tảng, quá trình phát triển bắt đầu bằng tiền huấn luyện: học trên dữ liệu rộng để hình thành các năng lực có thể dùng lại. Ở nhiều mô hình ngôn ngữ, nhiệm vụ dự đoán văn bản giúp mô hình học những quy luật về ngôn ngữ, cách thông tin xuất hiện và quan hệ giữa các nội dung.

Nhiệm vụ học có thể đơn giản về cách mô tả, nhưng khi thực hiện trên dữ liệu phong phú, nó có thể giúp hình thành năng lực dùng cho nhiều công việc. Dù vậy, khả năng dự đoán văn bản không tự bảo đảm mô hình sẽ làm theo mọi yêu cầu như một trợ lý tốt.

Tinh chỉnh, hay fine-tuning, là huấn luyện bổ sung từ một mô hình đã học trước đó để thích ứng với nhiệm vụ hoặc cách phản hồi mong muốn. Quá trình này cập nhật tham số được huấn luyện; tùy phương pháp, có thể điều chỉnh toàn bộ hoặc chỉ một phần tham số. Nó không mặc nhiên đòi hỏi xây một mô hình từ đầu.

Hậu huấn luyện là tên gọi rộng cho các quá trình huấn luyện sau tiền huấn luyện nhằm phát triển thêm năng lực hoặc định hướng hành vi. Tinh chỉnh bằng câu trả lời mẫu và học từ phản hồi đều có thể nằm trong giai đoạn này. Vì vậy, không nên hiểu “tinh chỉnh” và “hậu huấn luyện” là hai bước luôn độc lập, bắt buộc nối tiếp nhau.

Bảng mô tả một quy trình phổ biến, không phải công thức cố định cho mọi hệ thống. Các giai đoạn có thể được lặp lại; dữ liệu và phương pháp cũng có thể thay đổi.

Phản hồi con người được chuyển thành tín hiệu học thế nào?

Con người có thể viết câu trả lời mẫu để mô hình học cách đáp ứng yêu cầu. Họ cũng có thể so sánh nhiều câu trả lời cho cùng một yêu cầu và chọn câu phù hợp hơn. Hai loại dữ liệu này khác nhau: một loại cho ví dụ cần làm theo, loại kia cho biết ưu tiên giữa các lựa chọn.

Một cách dùng phản hồi là học tăng cường từ phản hồi con người, thường gọi là RLHF. Trong một quy trình điển hình, dữ liệu so sánh được dùng để huấn luyện mô hình thưởng. Mô hình này ước lượng câu trả lời nào sẽ được người chấm ưu tiên.

Sau đó, mô hình tạo câu trả lời được huấn luyện thêm để tăng điểm theo tín hiệu từ mô hình thưởng. Như vậy, dữ liệu ưu tiên của con người được chuyển thành tín hiệu có thể dùng trong quá trình học.

Mô hình thưởng đóng vai trò đánh giá trong quá trình học, còn mô hình tạo câu trả lời tạo đầu ra cho người dùng. Điểm của mô hình thưởng là một ước lượng theo dữ liệu phản hồi, không phải phép đo hoàn hảo về độ đúng. Ngoài cách dùng mô hình thưởng, còn có phương pháp học trực tiếp từ các cặp câu trả lời được ưu tiên; phản hồi con người không chỉ có một cách triển khai.

Một đánh giá do nhóm phát triển thực hiện năm 2022 minh họa tác động của quá trình này: câu trả lời từ InstructGPT 175 tỷ tham số được người chấm ưu tiên hơn câu trả lời từ GPT-3 175 tỷ tham số chưa được tinh chỉnh theo quy trình đó trong khoảng 85% số lần so sánh, với biên khoảng ±3 điểm phần trăm ở mức tin cậy 95%. Các yêu cầu kiểm tra chủ yếu bằng tiếng Anh, đến từ người dùng được tách khỏi dữ liệu huấn luyện bổ sung.

Đây là mức ưa thích trong điều kiện thử nghiệm, không phải “đúng 85% mọi câu hỏi”. Bộ yêu cầu được xây cho bối cảnh sử dụng InstructGPT cũng có thể khiến phép so sánh bất lợi cho GPT-3 gốc. Kết quả giúp thấy rằng thay đổi cách huấn luyện có thể thay đổi chất lượng phản hồi dù cùng số tham số; nó không chứng minh mô hình đã giỏi hơn ở mọi nhiệm vụ.

4. Làm sao phân biệt học quy luật với ghi nhớ?

Khái quát hóa là khả năng áp dụng những gì đã học vào trường hợp mới. Đây là điều cần kiểm tra, bởi làm tốt trên chính các ví dụ đã dùng để huấn luyện chưa đủ chứng minh năng lực đó.

Trong tình huống giả định, mô hình nhận diện mèo được học từ ảnh mèo luôn nằm trên một chiếc chăn đỏ, còn ảnh chó luôn chụp ngoài sân. Nó có thể dựa quá nhiều vào màu chăn hoặc bối cảnh. Khi gặp một con mèo ngoài sân, dự đoán có thể sai dù trước đó mô hình làm tốt trên bộ ảnh học. Quy luật dễ khai thác trong dữ liệu chưa chắc là đặc điểm phù hợp với nhiệm vụ thực tế.

Nếu mô hình bám quá sát các đặc điểm riêng của dữ liệu huấn luyện và làm kém trên dữ liệu mới phù hợp với nhiệm vụ, đó là học quá khớp, hay overfitting. Cải thiện điểm trên dữ liệu học vì vậy cần được đối chiếu với kết quả trên dữ liệu chưa dùng để huấn luyện.

Một cách kiểm tra là dành riêng dữ liệu để đánh giá. Tập huấn luyện dùng cho việc học; tập xác thực giúp lựa chọn và điều chỉnh quy trình; tập kiểm tra dành cho đánh giá cuối cùng. Nếu cứ dùng kết quả của cùng một tập kiểm tra để sửa mô hình nhiều lần, quy trình có thể dần phù hợp với riêng bộ kiểm tra đó.

Sự tách biệt cũng mất ý nghĩa khi ví dụ kiểm tra, đáp án hoặc bản sao gần giống đã lọt vào dữ liệu học. Khi ấy, điểm cao có thể phần nào phản ánh việc đã gặp nội dung, thay vì xử lý trường hợp mới. Dữ liệu kiểm tra còn cần đủ đại diện cho tình huống sử dụng; bài kiểm tra toàn ảnh rõ nét chưa nói đủ về khả năng xử lý ảnh mờ.

Ghi nhớ và khái quát hóa có thể cùng tồn tại. Một mô hình có thể dùng quy luật cho nhiều đầu vào mới, đồng thời tái tạo nguyên văn một số đoạn đã học. Vì vậy, không nên xem mô hình như kho lưu toàn bộ tài liệu gốc, cũng không nên kết luận rằng nó không bao giờ ghi nhớ.

Trong một thử nghiệm trên GPT-2 công bố năm 2021, việc kiểm tra 1.800 mẫu nghi có nội dung ghi nhớ đã xác nhận 604 mẫu chứa nội dung từ dữ liệu huấn luyện được tái tạo nguyên văn. Các mẫu được lựa chọn vì có dấu hiệu đáng kiểm tra, không phải một mẫu ngẫu nhiên của mọi câu trả lời. Số liệu chứng minh hiện tượng ghi nhớ có thể xảy ra trong thử nghiệm ấy; không cho biết tỷ lệ ghi nhớ thông thường của mọi AI hoặc các mô hình hiện tại.

5. Điều gì quyết định AI học được tốt đến đâu?

Chất lượng dữ liệu gồm độ đúng, mức liên quan đến nhiệm vụ và độ tin cậy của kết quả tham chiếu. Dữ liệu có nhiều lỗi hoặc nhãn thiếu nhất quán có thể truyền tín hiệu học không phù hợp. Thêm dữ liệu cùng loại lỗi không tự khắc phục vấn đề.

Độ đa dạng và lượng dữ liệu có vai trò khác nhau. Sao chép nhiều lần những ảnh mèo trên chăn đỏ làm tăng số mẫu, nhưng không bổ sung bối cảnh mới. Ngược lại, có nhiều bối cảnh mà mỗi bối cảnh chỉ xuất hiện trong quá ít ví dụ cũng chưa chắc đủ để học ổn định. Dữ liệu cần vừa đủ lượng, vừa bao phủ những biến thể có ý nghĩa đối với nhiệm vụ.

Khả năng áp dụng còn phụ thuộc mức khác biệt giữa dữ liệu đã học và môi trường sử dụng. Một mô hình làm tốt trong điều kiện quen thuộc có thể giảm chất lượng khi kiểu ảnh, cách diễn đạt hoặc tình huống thay đổi mạnh. Khi đó, không thể chỉ nhìn vào thành tích cũ để suy ra kết quả mới.

Dữ liệu tổng hợp là dữ liệu được tạo ra, chẳng hạn ví dụ và câu trả lời do một mô hình AI khác sinh. Nó có thể giúp bổ sung tình huống, dạng bài và kết quả tham chiếu cho huấn luyện. Tuy nhiên, nội dung được tạo ra vẫn có thể sai, thiếu đa dạng hoặc lặp lại những mẫu quen thuộc. Giá trị của nó phụ thuộc cách tạo, chọn lọc, kiểm tra và phối hợp với dữ liệu phù hợp; tên “tổng hợp” không tự xác định dữ liệu tốt hay xấu.

Mục tiêu học quyết định khía cạnh nào được ưu tiên cải thiện. Học để dự đoán văn bản, làm theo mẫu hoặc đạt điểm thưởng là những yêu cầu khác nhau. Nếu tín hiệu chủ yếu ưu tiên cách trình bày dễ đọc, tăng điểm theo tín hiệu ấy chưa đủ chứng minh nội dung đúng hơn. Muốn kết luận về độ đúng, cần đánh giá phù hợp với độ đúng.

Dùng AI có phải là tiếp tục huấn luyện AI?

Suy ra đầu ra khi sử dụng, hay inference, là việc mô hình xử lý đầu vào bằng các tham số đã học. Trong cách vận hành thông thường của nhiều chatbot, tham số được giữ cố định khi trả lời. Đây là khái niệm rộng về vận hành mô hình, không đồng nghĩa mọi yêu cầu đều có suy luận nhiều bước.

Nếu chúng ta đưa vài ví dụ hoặc sửa một thông tin trong cuộc trò chuyện, mô hình có thể dùng thông tin đó ở các lượt tiếp theo khi nó còn nằm trong đầu vào được cung cấp. Khả năng thích ứng theo ví dụ trong ngữ cảnh — phần thông tin mô hình nhận để xử lý — không tự đồng nghĩa cập nhật tham số.

Phản hồi cũng có thể được thu thập để phục vụ một quy trình huấn luyện về sau. Một số hệ thống được thiết kế để học tiếp sau triển khai. Vì vậy, cần phân biệt thông tin được dùng cho câu trả lời hiện tại với thông tin thực sự được đưa vào một quá trình học có cập nhật mô hình. Chỉ quan sát AI sửa câu trả lời chưa đủ biết trường hợp nào đã xảy ra.

Hiểu cách AI học giúp chúng ta đọc đúng những tuyên bố về năng lực: mô hình đã học từ loại dữ liệu nào, theo tín hiệu nào, và đã được kiểm tra trên trường hợp mới ra sao? Ba câu hỏi ấy cho thấy ý nghĩa của một kết quả tốt rõ hơn việc chỉ nhìn vào lượng dữ liệu hay số tham số.