AI lấy thông tin mới và đọc tài liệu bên ngoài thế nào?

Bạn hỏi trợ lý về một thông báo vừa được thay đổi. Nó trả lời theo bản cũ. Sau khi được cung cấp thông báo mới, nó lại đưa ra đúng thời hạn vừa cập nhật. Mô hình đã được huấn luyện lại, hay chỉ đang có thêm thông tin để trả lời?

Với các ứng dụng dùng mô hình ngôn ngữ lớn, hay LLM, thông tin bên ngoài có thể đến từ trang web, tệp người dùng cung cấp hoặc kho dữ liệu được kết nối. Mô hình dùng năng lực đã học để xử lý phần thông tin nhận được. Câu hỏi quan trọng là: hệ thống đã lấy được nội dung nào, từ phiên bản nào và dùng nội dung đó ra sao?

1. Biết từ trước khác với có thêm căn cứ ở lúc trả lời

Kiến thức đã học được hình thành trong quá trình huấn luyện và gắn với các tham số của mô hình. Nó giúp mô hình hiểu ngôn ngữ, nhận ra khái niệm và tạo câu trả lời. Nhưng kiến thức đó có giới hạn về dữ liệu và thời điểm cập nhật; một thông báo mới hoặc tài liệu nội bộ chưa được cung cấp không tự trở thành điều mô hình biết chính xác.

Tài liệu được cung cấp trực tiếp là nội dung người dùng hoặc ứng dụng đưa vào để phục vụ lượt xử lý. Với một đoạn văn ngắn, phần nội dung có thể được gửi trực tiếp. Với tệp dài hoặc nhiều tệp, hệ thống có thể phải xử lý, tìm phần liên quan rồi chỉ đưa một phần vào mô hình.

Thông tin được truy xuất là nội dung hệ thống tìm và lấy từ nguồn bên ngoài theo nhu cầu. Nguồn đó có thể là web công khai, kho tài liệu riêng hoặc cơ sở dữ liệu. Phần tìm được bổ sung vào ngữ cảnh, tức thông tin sẵn có cho lượt xử lý hiện tại.

Ba nguồn thông tin có thể cùng tham gia một câu trả lời. Năng lực diễn giải đến từ mô hình, còn thời hạn mới có thể đến từ thông báo vừa lấy được. Câu trả lời cập nhật vì được bổ sung căn cứ không tự chứng minh tham số đã thay đổi.

Tương tự, một ứng dụng có kết nối Internet chưa chắc đã tìm trên web cho mọi câu hỏi. Cần có công cụ phù hợp và có hoạt động lấy thông tin trong quá trình xử lý. Nhận được một địa chỉ trang web dưới dạng chữ cũng chưa có nghĩa đã tải và đọc được nội dung trang ấy.

2. Tìm kiếm trên web và đọc tệp đưa thông tin vào bằng cách nào?

Khi tìm kiếm trên web, công cụ thường trả về các kết quả gồm tiêu đề, địa chỉ và đoạn mô tả ngắn. Đoạn mô tả này, thường gọi là snippet, giúp nhận diện trang có vẻ liên quan. Nó là phần xem trước, có thể lược bỏ điều kiện, ngoại lệ hoặc đoạn giải thích quan trọng.

Tìm thấy một trang khác với đọc được phần nội dung cần dùng. Hệ thống có thể cần mở trang, lấy nội dung rồi chọn đoạn phù hợp. Một trang tồn tại vẫn có thể không lấy được bằng công cụ hiện có: chẳng hạn nội dung yêu cầu đăng nhập hoặc cách hiển thị không được công cụ hỗ trợ. Khi đó, kết quả tìm kiếm không thay thế được căn cứ còn thiếu trong trang.

Đọc tệp cũng không chỉ là biết tên tệp. Hệ thống cần chuyển nội dung sang dạng có thể xử lý. Với tài liệu có lớp chữ, nó có thể trích xuất văn bản. Với bản quét, có hệ thống dùng OCR, tức nhận dạng chữ từ hình ảnh; có hệ thống còn xử lý hình ảnh trang tài liệu. Cách đọc phụ thuộc định dạng và khả năng của ứng dụng.

Chuyển nội dung có thể làm sai chữ, mất thứ tự hoặc làm mờ quan hệ trong bảng. Nếu một con số được lấy ra nhưng không còn gắn với đúng tiêu đề cột, mô hình có thể diễn giải nhầm nó. Việc tệp đã được tiếp nhận thành công chưa bảo đảm nội dung bên trong đã được nhận diện đầy đủ và đúng cấu trúc.

Với tài liệu dài, ứng dụng có thể chỉ đưa các đoạn phù hợp với câu hỏi vào ngữ cảnh. Cách này giúp xử lý một kho lớn hơn lượng nội dung có thể dùng trong một lượt. Tuy nhiên, trả lời được một câu hỏi từ vài đoạn không chứng minh đã đọc toàn bộ tệp hay đã kiểm tra mọi trường hợp trong kho.

Tải tệp lên không mặc nhiên là huấn luyện lại mô hình. Trích xuất chữ, tạo bản tra cứu và tìm đoạn liên quan đều có thể là các bước xử lý dữ liệu bên ngoài. Chúng cần được phân biệt với quá trình điều chỉnh tham số bằng huấn luyện.

3. RAG kết hợp tìm thông tin với tạo câu trả lời

RAG viết đầy đủ là Retrieval-Augmented Generation, có thể hiểu là tạo câu trả lời có bổ sung thông tin truy xuất. Cốt lõi của cách làm này là lấy căn cứ liên quan rồi dùng căn cứ đó cùng câu hỏi để sinh câu trả lời.

RAG là một cách tổ chức hệ thống, không phải tên của một mô hình duy nhất. Nó có thể làm việc với tài liệu riêng, dữ liệu có cấu trúc hoặc nội dung trên web; không đồng nghĩa với việc luôn tìm kiếm toàn Internet. Các hệ thống cũng có thể lấy thông tin nhiều lần khi phát hiện còn thiếu căn cứ, thay vì chỉ tìm một lần rồi trả lời.

Với kho tài liệu văn bản, một quy trình phổ biến diễn ra như sau:

Để tra cứu trong một kho lớn, hệ thống thường chia tài liệu thành những phần nhỏ có thể tìm riêng. Cách chuẩn bị này gọi là chia đoạn, hay chunking.

Mỗi đoạn có thể đi kèm tên tài liệu gốc, vị trí, thời gian hoặc chủ đề. Những dữ kiện mô tả ấy gọi là siêu dữ liệu, hay metadata, giúp xác định đoạn nói về điều gì và thuộc phiên bản nào.

Để tìm nội dung, hệ thống có thể kết hợp hai cách. Tìm theo từ khóa hữu ích với tên riêng, mã tài liệu hoặc cụm từ cụ thể. Tìm theo ngữ nghĩa tìm những đoạn có ý gần câu hỏi dù cách diễn đạt khác nhau.

Một cách tìm theo ngữ nghĩa sử dụng embedding: biểu diễn nội dung bằng các giá trị số để so mức gần nhau về ý. Mức gần này hỗ trợ tìm đoạn liên quan; độ đúng và hiệu lực của tài liệu cần được đối chiếu riêng.

Chẳng hạn, câu hỏi dùng cụm “ngày cuối cùng nhận đăng ký”, còn thông báo dùng “hạn tiếp nhận hồ sơ”. Hai cách nói có thể gần nghĩa. Nhưng nếu nhiều đợt tuyển cùng dùng cách diễn đạt đó, mức tương đồng chưa đủ để xác định đúng đợt. Cần đối chiếu tên chương trình, thời gian và các điều kiện liên quan.

Một số hệ thống còn xếp hạng lại, hay reranking: đánh giá các kết quả đã tìm được theo mức phù hợp với câu hỏi rồi chọn phần tốt hơn để cung cấp. Đây là cách cải thiện lựa chọn, không biến nội dung cũ thành nội dung mới hoặc làm một nhận định sai trở thành đúng.

Đưa thêm nhiều đoạn có thể giúp tìm đủ điều kiện, nhưng cũng có thể tăng thông tin gây nhiễu. Chỉ lấy đoạn đứng đầu lại có thể bỏ mất ngoại lệ nằm ở phần khác. Vì vậy, hiệu quả phụ thuộc việc chọn đủ căn cứ phù hợp, không chỉ phụ thuộc số lượng đoạn được gửi.

4. Tài liệu đúng phải đúng phiên bản, phạm vi và khả năng truy cập

Một câu trả lời cần thông tin mới không chỉ cần “có tài liệu”. Nó cần đúng tài liệu đang áp dụng cho đối tượng và thời điểm được hỏi.

Tình huống giả định: Chương trình “Nền tảng AI”, đợt tháng 11, có thông báo cũ nhận đăng ký đến ngày 20/10. Thông báo thay thế gia hạn đến ngày 27/10 và ghi rõ thay thời hạn trong bản cũ. Việc gia hạn này không áp dụng cho chương trình “AI chuyên sâu”.

Nếu mô hình chỉ nhận bản cũ, nó có căn cứ về mốc 20/10 nhưng chưa có căn cứ về lần gia hạn. Khi hệ thống lấy đúng thông báo thay thế cùng phạm vi áp dụng, mô hình có thể cập nhật câu trả lời thành 27/10 mà không cần huấn luyện lại. Nếu chỉ lấy một đoạn “gia hạn đến 27/10” rồi bỏ tên chương trình, nó có thể áp dụng nhầm sang chương trình khác.

Ví dụ này cho thấy ba điểm khác nhau: tìm được tài liệu, xác định tài liệu còn phù hợp và giữ đủ điều kiện để diễn giải. Một bản mới hơn về ngày phát hành cũng chưa chắc là bản áp dụng nếu nói về một đợt khác hoặc chưa đến thời điểm có hiệu lực.

Kho tra cứu có thể lưu bản sao đã được chuẩn bị từ trước. Khi tài liệu gốc thay đổi, phần phục vụ tìm kiếm cần được cập nhật phù hợp; việc sửa tệp gốc không tự bảo đảm mọi hệ thống lập tức dùng bản mới. Đầu ra theo bản cũ có thể liên quan đến dữ liệu truy xuất cũ, không chỉ do kiến thức trong tham số cũ.

Quyền truy cập cũng giới hạn phần dữ liệu hệ thống có thể lấy. Kết nối một kho không đồng nghĩa có quyền đọc mọi tài liệu trong kho. Các bộ lọc theo quyền hoặc phạm vi có thể giới hạn kết quả; chất lượng câu trả lời cần được hiểu trong phần dữ liệu thực sự có thể truy xuất.

Không tìm thấy một thông báo trong kết quả chưa đủ để nói thông báo đó không tồn tại. Nó có thể chưa vào bản tra cứu, nằm ngoài phần đã tìm, không khớp cách hỏi hoặc không được phép truy cập. Không lấy được dữ liệu khác với đã kiểm tra toàn bộ và xác nhận không có.

5. Có thêm căn cứ vẫn cần phân biệt lỗi tìm và lỗi dùng

RAG có thể giúp bổ sung kiến thức riêng hoặc mới, nhưng độ đúng của câu trả lời phụ thuộc nhiều khâu. Tài liệu phải được lấy đúng, nội dung quan trọng phải được giữ, và mô hình phải diễn giải đúng nội dung được cung cấp.

Một đoạn tách khỏi tài liệu gốc có thể thiếu tên chương trình, thời gian hoặc đối tượng áp dụng. Bổ sung phần mô tả bối cảnh cho đoạn có thể giúp tìm đúng hơn. Tuy nhiên, mô tả được tạo thêm cũng cần phù hợp với tài liệu; nó không thay thế nội dung gốc.

Một thử nghiệm do nhóm phát triển hệ thống công bố tháng 9/2024 đã đo phần căn cứ liên quan bị bỏ sót khi lấy 20 đoạn có thứ hạng cao nhất trong kết quả truy xuất. Kết quả trung bình trên mã nguồn, truyện và hai nhóm tài liệu học thuật, với Gemini Text 004 tạo embedding và Claude 3 Haiku tạo mô tả bối cảnh, cho thấy: thêm bối cảnh cho từng đoạn và kết hợp tìm theo ngữ nghĩa với tìm từ khóa BM25 làm tỷ lệ bỏ sót giảm từ 5,7% xuống 2,9%. Mức giảm là 2,8 điểm phần trăm, tương đương khoảng 49% so với mức ban đầu.

Đây là kết quả kiểm tra truy xuất trong cấu hình được công bố, không phải đánh giá độc lập về mọi hệ thống RAG. Con số đo việc tìm căn cứ, không phải tỷ lệ câu trả lời đúng; tỷ lệ bỏ sót 2,9% không có nghĩa mô hình trả lời đúng 97,1%.

Lỗi truy xuất xảy ra khi phần cần thiết không được lấy và cung cấp. Chẳng hạn, hệ thống tìm thấy thời hạn gia hạn nhưng không lấy điều kiện chỉ áp dụng cho một chương trình. Đọc tài liệu gốc đúng đến đâu cũng chưa giúp lượt trả lời nếu đoạn cần thiết không đến được mô hình.

Lỗi sử dụng căn cứ xảy ra khi thông tin cần thiết đã có nhưng mô hình hiểu hoặc tổng hợp sai. Nếu đầu vào chứa rõ tên chương trình và ngoại lệ mà câu trả lời vẫn áp dụng gia hạn cho cả hai chương trình, lỗi không còn chỉ là tìm thiếu. Chỉ quan sát câu trả lời cuối thường chưa đủ để xác định khâu nào đã sai.

Một câu trả lời có trích dẫn giúp chỉ ra tài liệu để kiểm tra, nhưng trích dẫn không tự bảo đảm tài liệu hỗ trợ đúng nhận định đi kèm. Nguồn có thể tồn tại mà đoạn được viện dẫn không nói điều đó, hoặc chỉ hỗ trợ một phần kết luận. Một câu “chương trình này được gia hạn” chưa đủ để suy thành “mọi chương trình đều được gia hạn”.

Đặc biệt, không nên suy ra kết luận về toàn bộ kho chỉ từ các đoạn được chọn. Nếu cần biết tất cả trường hợp, kết luận phải có căn cứ bao quát phạm vi ấy. Một đoạn phù hợp để trả lời một điều kiện riêng chưa chắc đủ cho việc thống kê, so sánh toàn bộ hoặc khẳng định không có ngoại lệ.

Khi có thêm tài liệu, AI có cơ hội trả lời sát căn cứ hơn. Giá trị của hệ thống nằm ở đường đi từ dữ liệu đến kết luận: lấy được nội dung cần thiết, giữ đúng phiên bản và điều kiện, rồi diễn giải trong phạm vi nội dung đó hỗ trợ. Tìm kiếm mở rộng khả năng tiếp cận thông tin; việc trả lời đúng vẫn cần được đánh giá riêng.