Vì sao AI trả lời rất thuyết phục mà vẫn sai?

Tình huống giả định: Bạn nhờ AI tổng hợp một chủ đề. Câu trả lời có bố cục rõ, giọng văn chắc chắn và một tài liệu tham khảo ghi đầy đủ tác giả, năm, tên bài, tên tạp chí. Nhưng khi đối chiếu, tài liệu ấy hóa ra không tồn tại. Phần trình bày vẫn rất chuyên nghiệp; điều làm nên vẻ đáng tin lại chứa thông tin sai.

Muốn hiểu hiện tượng này, cần tách khả năng tạo ra một câu trả lời hợp lý khỏi việc xác nhận câu trả lời phù hợp với sự thật và yêu cầu. Bài này tập trung vào mô hình ngôn ngữ và các ứng dụng dùng chúng để trả lời, đọc tài liệu hoặc tổng hợp thông tin.

1. Vì sao câu sai vẫn có thể nghe rất hợp lý?

Mô hình ngôn ngữ học những quan hệ trong dữ liệu: các khái niệm thường liên quan thế nào, một câu được diễn đạt ra sao, một lập luận hay tài liệu tham khảo có hình thức gì. Khi trả lời, mô hình sử dụng những quan hệ đã học cùng thông tin trong ngữ cảnh để tạo văn bản.

Năng lực này có thể giúp mô hình trả lời đúng, tổng hợp và suy luận hữu ích. Nhưng tạo văn bản không mặc nhiên bao gồm việc kiểm chứng từng thông tin với một bản ghi đáng tin bên ngoài. Mô hình có thể tạo một tên bài nghiên cứu có vẻ phù hợp, dù không có một tài liệu thật tương ứng. Tên tác giả hoặc tạp chí có thật cũng có thể bị kết hợp với một tiêu đề không tồn tại.

Với cách sinh văn bản tuần tự tiêu biểu, mô hình tính toán mức phù hợp của các phần văn bản tiếp theo theo ngữ cảnh. Mức phù hợp ấy không phải xác suất đã được kiểm chứng rằng toàn bộ phát biểu đúng trong thế giới thực. Một câu dễ xuất hiện theo mẫu ngôn ngữ vẫn có thể sai về ngày tháng, đối tượng hoặc quan hệ nguyên nhân.

Trong tiền huấn luyện, mô hình thường học qua việc dự đoán phần văn bản tiếp theo. Đây không phải quá trình mỗi phát biểu đều được gắn một nhãn xác nhận đúng hay sai. Những giai đoạn huấn luyện tiếp theo có thể cải thiện độ chính xác, việc làm theo yêu cầu và cách thể hiện bất định, nhưng không biến mọi câu trả lời thành kết quả đã được xác minh.

Độ mạch lạc, mức chi tiết và giọng chắc chắn là những đặc điểm của cách trình bày. Chúng có thể đi cùng câu trả lời đúng, nhưng cũng có thể xuất hiện trong câu trả lời sai. Ngược lại, một câu trả lời thận trọng chưa chắc đã thiếu năng lực; có thể dữ kiện cần thiết thực sự chưa có.

2. Những dạng sai cần được phân biệt

Hallucination, thường được gọi là ảo giác AI, là thuật ngữ dùng cho nội dung do AI tạo ra nhưng sai hoặc không có căn cứ phù hợp. Các cách định nghĩa có phạm vi khác nhau: có cách nhấn mạnh phát biểu hợp lý nhưng sai sự thật, có cách bao gồm cả nội dung lệch hoặc mâu thuẫn với đầu vào.

Từ “ảo giác” trong ngữ cảnh này không chứng minh AI có trải nghiệm tâm lý như con người. “Bịa thông tin” mô tả đầu ra có chi tiết không thật, không tự chứng minh hệ thống có chủ ý lừa người đọc. Một truyện hư cấu được yêu cầu và ghi rõ là hư cấu cũng không trở thành lỗi chỉ vì nhân vật trong truyện không có thật.

Để hiểu và xử lý một câu trả lời sai, có thể phân biệt những tình huống sau. Đây là cách tổ chức các dạng lỗi cho bài học; chúng có thể chồng lấn, không phải các nhóm luôn tách biệt:

Ví dụ giả định về hiểu lệch yêu cầu: Người dùng hỏi tổng số hồ sơ xử lý riêng trong tháng 9, nhưng AI trả tổng số lũy kế đến hết tháng 9. Con số lũy kế có thể đúng trong báo cáo; câu trả lời vẫn sai đối với câu hỏi đã giao.

Cũng cần phân biệt đúng sự thật với trung thành với tài liệu. Nếu tài liệu gốc chứa một lỗi và AI nhắc lại đúng nội dung ấy, phần nhắc lại có thể trung thành với tài liệu nhưng vẫn sai sự thật. Nếu tài liệu đúng nhưng AI đổi “một nhóm tham gia” thành “mọi người”, vấn đề nằm ở phần diễn giải.

Với lập luận, các dữ kiện đúng chưa bảo đảm kết luận đúng. Ví dụ giả định: mọi hồ sơ đã duyệt đều đã được kiểm tra, còn một hồ sơ cụ thể đã được kiểm tra. Từ đó chưa thể kết luận hồ sơ ấy đã được duyệt, vì kiểm tra có thể là bước cần thiết nhưng chưa đủ để được duyệt.

Gom tất cả các tình huống này thành một câu “AI bị ảo giác” dễ che mất nguyên nhân cụ thể. Dữ liệu cũ cần được cập nhật; câu hỏi mơ hồ cần được làm rõ; một suy luận sai cần được kiểm tra quan hệ giữa dữ kiện và kết luận. Chúng không nhất thiết được sửa bằng cùng một cách.

3. Một tài liệu có vẻ thật chưa đủ làm căn cứ

Tài liệu tham khảo là ví dụ rõ về khoảng cách giữa hình thức và độ chính xác. Một mục có đủ tác giả, tiêu đề, năm và nơi công bố có thể trông đúng chuẩn dù tài liệu không tồn tại. Nếu tài liệu tồn tại, các thông tin đó vẫn có thể bị ghi sai.

Trong một nghiên cứu thực hiện ở tuần đầu tháng 4/2023, GPT-4 được yêu cầu tạo các bài tổng quan trên 42 chủ đề, mỗi bài kèm ít nhất năm tài liệu học thuật. 42 bài tạo ra có 414 mục tài liệu tham khảo; 18% số mục được xác định là tài liệu không tồn tại. Việc xác minh sử dụng nhiều cơ sở dữ liệu và website, đối chiếu tiêu đề, tác giả và thông tin công bố. Trong 340 mục trỏ tới tài liệu thật, 24% có ít nhất một lỗi nội dung thư mục, chẳng hạn năm, tác giả hoặc số trang. Những lỗi nội dung này được phân biệt với lỗi chỉ về định dạng.

Hai tỷ lệ có mẫu số khác nhau: 18% tính trên toàn bộ 414 mục; 24% tính trên 340 mục trỏ tới tài liệu thật. Chúng không phải tỷ lệ AI trả lời sai mọi câu hỏi. Đây là kết quả của một nhiệm vụ và cách tạo văn bản cụ thể năm 2023, không đại diện cho GPT-4 hiện tại hoặc mọi hệ thống AI.

Khi dùng một tài liệu làm căn cứ cho kết luận, còn phải xét các câu hỏi khác nhau:

• Tài liệu có tồn tại và có đúng là tài liệu được nhắc tới không?
• Thông tin về tài liệu có chính xác không?
• Nội dung tài liệu có thực sự hỗ trợ phát biểu đang được đưa ra không?
• Phát biểu có giữ đúng điều kiện, đối tượng và thời điểm của tài liệu không?

Ví dụ giả định về kết luận vượt căn cứ: Một báo cáo ghi rằng một nhóm nhỏ hoàn thành bài tập nhanh hơn sau đợt dùng thử AI. Báo cáo không có nhóm đối chứng và không khảo sát các nhóm khác. Từ đó, câu “AI là nguyên nhân làm mọi nhân viên làm việc nhanh hơn” đã thêm hai điều chưa được xác nhận: quan hệ nguyên nhân và khả năng áp dụng cho mọi nhân viên.

Vì vậy, tài liệu có thật vẫn có thể được dùng để chống lưng cho một phát biểu nó không chứng minh. Sự hiện diện của một tên tài liệu hoặc liên kết chỉ cho biết có điểm để đối chiếu; không thay thế việc đọc đúng nội dung liên quan.

4. Lỗi đến từ thông tin, mô hình và cách khuyến khích trả lời

Một nguyên nhân quan trọng là thiếu thông tin cần thiết. Hệ thống có thể biết một loại báo cáo thường gồm những gì nhưng không biết kết quả của một báo cáo nội bộ chưa được cung cấp. Biết mẫu hình không đủ để xác định một ngày ký, mã hồ sơ hay tên người có tính riêng biệt. Các sự kiện hiếm hoặc không có quy luật đáng tin càng khó suy ra chính xác chỉ từ những quan hệ quen thuộc.

Thiếu thông tin cũng có thể xuất hiện trong lúc vận hành. Ứng dụng truy xuất nhầm phiên bản, không lấy được đoạn chứa ngoại lệ hoặc chỉ gửi một phần tài liệu vào ngữ cảnh. Khi đó, có tài liệu trong hệ thống chưa bảo đảm mô hình đã nhận đủ nội dung liên quan. Nếu câu hỏi có nhiều cách hiểu, việc tự chọn một cách rồi trả lời chắc chắn có thể dẫn đến sai yêu cầu.

Chất lượng dữ liệu và giới hạn của mô hình cũng góp phần. Dữ liệu có sai sót, cách diễn đạt không nhất quán hoặc thông tin cũ có thể ảnh hưởng đến kết quả. Tuy nhiên, dữ liệu sai không giải thích toàn bộ lỗi. Học từ dữ liệu đúng vẫn không bảo đảm mô hình áp dụng đúng vào mọi câu hỏi mới, giữ đủ mọi điều kiện hoặc thực hiện đúng mọi phép suy luận.

Một hướng phân tích khác xem xét tín hiệu huấn luyện và cách chấm điểm. Trong cách chấm đơn giản “đúng được một điểm, sai hoặc nói không biết đều được không điểm”, đoán có cơ hội nhận điểm, còn thừa nhận không biết không có cơ hội ấy. Nếu hệ thống được tối ưu hoặc lựa chọn theo loại điểm này, hành vi cố đưa ra đáp án có thể được ưu tiên hơn việc thể hiện bất định phù hợp.

Điều đó không có nghĩa một lần chấm điểm tự làm mô hình học lại, hoặc mọi hệ thống đều được huấn luyện theo cùng quy tắc. Cách dùng chỉ số trong phát triển và lựa chọn hệ thống có thể tạo động lực cho hành vi. Đây là một cơ chế góp phần giải thích việc đoán, không phải nguyên nhân duy nhất của mọi câu trả lời sai.

Việc phân biệt câu đúng, câu sai và câu chưa đủ căn cứ giúp thấy vấn đề của cách chấm chỉ nhìn số đáp án đúng. Giảm việc phạt một phản hồi thận trọng phù hợp, hoặc coi lỗi khẳng định sai nghiêm trọng hơn việc thừa nhận chưa biết, có thể làm giảm lợi thế của đoán. Tuy nhiên, một thay đổi cách đánh giá chưa tự giải quyết lỗi dữ liệu, truy xuất hay suy luận.

5. Tìm kiếm và tự kiểm tra giúp được đến đâu?

Các biện pháp bổ sung thông tin và kiểm tra có thể cải thiện câu trả lời, nhưng tác dụng phụ thuộc vào loại lỗi. Chúng cần tạo thêm căn cứ phù hợp, không chỉ làm câu trả lời nghe chắc chắn hơn.

Một phép tính đúng trên dữ liệu sai vẫn có thể cho kết quả sai đối với công việc. Một chuỗi suy luận liền mạch đi từ giả định chưa được xác nhận vẫn chưa chứng minh giả định ấy đúng. Lời giải thích do mô hình tạo cũng cần được xem xét như nội dung có thể có lỗi, không phải bản ghi đầy đủ và bảo đảm đúng của hoạt động bên trong.

Tương tự, yêu cầu AI tự xác nhận “thông tin này có đúng không?” không tự tạo ra bằng chứng mới. Nếu lượt kiểm tra vẫn chỉ dựa vào những gì hệ thống đã dùng để tạo câu trả lời, việc lặp lại cùng kết luận chưa phải một đối chiếu độc lập.

Giọng chắc chắn không phải độ tin cậy đã được đo. Một tỷ lệ tự khai như “tôi chắc 95%” chỉ là nội dung câu trả lời nếu chưa có phương pháp đánh giá phù hợp để xác nhận ý nghĩa của nó. Thêm “có thể” trước một chi tiết không có căn cứ cũng không cung cấp căn cứ cho chi tiết đó.

Thể hiện bất định có ích khi nói rõ giới hạn: chưa có phiên bản mới, chưa xác định được một chi tiết, hoặc tài liệu chỉ hỗ trợ kết luận trong một phạm vi. Hệ thống có thể trả lời phần đã có căn cứ, tách phần suy diễn và hỏi thêm về điều còn thiếu. Không cần biến sự thiếu chắc chắn ở một chi tiết thành việc bỏ toàn bộ những thông tin đã xác nhận.

Độ tin cậy tăng khi có quan hệ rõ giữa phát biểu, dữ kiện và cách kiểm tra: điều gì đã biết, điều gì chỉ được suy ra, phạm vi nào còn chưa xác định. Một câu trả lời càng thuyết phục về cách trình bày, người đọc càng cần nhìn rõ những quan hệ ấy để hiểu nó đáng tin ở điểm nào.