AI nhìn ảnh, nghe âm thanh và hiểu video thế nào?

Trong một tình huống giả định, một người nói “Tôi cần cuốn này” trước bàn có hai cuốn sổ. Nếu chỉ nhận câu chữ, AI chưa biết “cuốn này” là cuốn nào. Nếu có thêm ảnh bàn tay đang chỉ vào cuốn sổ, hệ thống có thể kết nối lời nói với vật được chỉ. Nhưng nếu ảnh được chụp ở một thời điểm khác, kết luận ấy có thể không còn phù hợp.

Tình huống này cho thấy giá trị của AI đa phương thức: xử lý và kết hợp nhiều dạng thông tin. Nó cũng đặt ra một câu hỏi quan trọng: AI thực sự nhận được phần nào của hình ảnh, âm thanh và diễn biến, rồi dựa vào đó để kết luận ra sao?

1. Đa phương thức là kết nối nhiều dạng dữ liệu

Phương thức, hay modality, là một dạng thông tin như văn bản, hình ảnh hoặc âm thanh. AI đa phương thức, thường gọi là multimodal AI, có khả năng xử lý thông tin từ nhiều phương thức và khai thác liên hệ giữa chúng. Khả năng cụ thể phụ thuộc mô hình và ứng dụng; không phải hệ thống nào cũng hỗ trợ mọi dạng dữ liệu.

Các phương thức mang những thông tin khác nhau. Câu chữ có thể nêu một yêu cầu chính xác; ảnh cho thấy bố cục và vị trí; âm thanh có lời nói, cách phát âm và tiếng động; video cho thấy các trạng thái theo thời gian. Những thông tin này có thể bổ sung cho nhau nhưng không tự thay thế nhau hoàn toàn.

Để xử lý bằng máy tính, dữ liệu được chuyển thành biểu diễn số, tức dạng thông tin mà mô hình có thể tính toán. Với ảnh, một số hệ thống dùng bộ phận mã hóa hình ảnh để rút ra đặc trưng rồi kết nối với mô hình ngôn ngữ. Phần kết nối được huấn luyện để thông tin hình có thể tham gia vào câu trả lời. Có những mô hình được rèn luyện với nhiều phương thức ngay từ đầu. Không có một cách tổ chức duy nhất cho mọi hệ thống.

Việc chuyển sang biểu diễn số không có nghĩa mọi ảnh đều phải biến thành một đoạn mô tả bằng chữ trước khi trả lời. Đặc trưng hình ảnh có thể được đưa vào xử lý cùng câu hỏi. Trong quá trình học, các dữ liệu liên quan như ảnh và mô tả của ảnh giúp mô hình học mối liên hệ giữa vật thể, đặc điểm và cách diễn đạt.

Cũng cần tách khả năng nhận đầu vào khỏi khả năng tạo đầu ra. Một mô hình nhận ảnh và trả lời bằng văn bản chưa chắc tạo được ảnh. Ứng dụng có nút micro và giọng đọc có thể dùng các bộ phận chuyển lời nói thành chữ và chuyển chữ thành tiếng nói quanh một mô hình ngôn ngữ. Giao diện ấy chưa đủ chứng minh mô hình trung tâm trực tiếp xử lý âm thanh.

2. Đọc chữ trong ảnh khác với hiểu thông tin hình ảnh

OCR, hay nhận dạng ký tự quang học, là công nghệ nhận dạng chữ trong hình ảnh. Nó giúp lấy nội dung từ một biển tên, trang quét hoặc ảnh chụp màn hình. Một số hệ thống OCR còn trả về vị trí chữ hoặc bố cục; mức thông tin giữ được phụ thuộc cách xử lý và phần kết quả được chuyển tiếp.

Nếu ứng dụng chỉ gửi đoạn chữ đã trích xuất cho mô hình, phần trả lời phía sau dựa vào đoạn chữ ấy. Mô hình không tự có toàn bộ hình ảnh chỉ vì văn bản bắt nguồn từ ảnh. Ngược lại, một mô hình hỗ trợ xử lý hình ảnh có thể nhận cả đặc trưng hình và câu hỏi; việc đọc chữ không nhất thiết phải qua một công cụ OCR riêng.

Khác biệt này rõ khi đọc biểu đồ. Lấy được tên các nhóm và các con số chưa chắc đủ để biết số nào thuộc cột nào, thang đo nằm ở đâu hoặc đường nào đang tăng. Câu trả lời còn cần liên kết chữ với vị trí và thành phần đồ họa. Đọc đúng chữ chưa đồng nghĩa đọc đúng quan hệ trong hình.

Thị giác máy tính cũng có những nhiệm vụ riêng: nhận diện vật thể, xác định vị trí, đếm, so sánh đặc điểm hoặc ước lượng quan hệ không gian. Nhận ra “đây là hai cuốn sổ” khác với xác định bàn tay chỉ vào cuốn nào. Biết tên vật thể không tự giải quyết mọi câu hỏi về vật thể đó.

Chi tiết mà mô hình nhận được phụ thuộc cả ảnh gốc lẫn cách ứng dụng chuẩn bị ảnh. Ảnh có thể được thu nhỏ, chia vùng hoặc xử lý ở mức độ chi tiết khác nhau. Chữ nhỏ, vật bị che và vùng mờ dễ gây khó. Tăng độ chi tiết xử lý có thể giữ thêm thông tin nhưng cần thêm tài nguyên; nó không khôi phục chắc chắn nội dung vốn không nhìn rõ trong ảnh gốc.

Một ảnh còn là hình chiếu từ một góc nhìn. “Bên trái” theo khung hình có thể đổi khi đổi góc chụp. Vật xuất hiện lớn hơn chưa chắc ở gần hơn nếu kích thước thực của các vật khác nhau. Nhìn thấy một phần vật thể cũng chưa đủ biết tổng số vật trong toàn bộ khu vực, nhất là khi có phần bị che hoặc nằm ngoài khung hình.

3. Nghe lời nói khác với xử lý toàn bộ âm thanh

Nhận dạng tiếng nói tự động, hay ASR, chuyển lời nói trong âm thanh thành văn bản. Bản chép lời giúp mô hình tiếp tục đọc, tóm tắt hoặc trả lời về nội dung được nói. Nhưng nếu phần xử lý tiếp theo chỉ nhận câu chữ, nó không trực tiếp nhận lại mọi đặc điểm âm thanh ban đầu.

Âm thanh còn có tốc độ nói, cao độ, khoảng ngừng, tiếng cười và tiếng động nền. Hai lần nói “Được rồi” có thể giống nhau về chữ nhưng khác về cách nói. Một bản chép chỉ gồm hai từ ấy không đủ để xác nhận người nói vui, miễn cưỡng hay đang mỉa mai.

Hệ thống hỗ trợ xử lý âm thanh có thể khai thác tín hiệu ngoài lời nói, chẳng hạn phân biệt một tiếng chuông với tiếng vỗ tay. Khả năng đó khác với chỉ chép lại các từ. Tuy nhiên, nhận ra một âm thanh giống tiếng chuông vẫn chưa xác định chắc chắn thiết bị nào phát ra nó hoặc nguyên nhân khiến nó vang lên.

Cần phân biệt tách lượt người nói với xác định danh tính. Hệ thống có thể gán “Người nói 1” và “Người nói 2” cho các lượt khác nhau mà chưa biết họ tên của hai người. Phân chia lượt nói cũng có thể sai khi nhiều người nói chồng lên nhau hoặc bản ghi không rõ.

Tiếng ồn, giọng địa phương, phát âm và phần bị mất có thể ảnh hưởng kết quả. Nếu một từ bị nhận dạng sai, mô hình phía sau có thể lập luận hợp lý trên bản chép sai rồi đưa ra kết luận không phù hợp với âm thanh gốc. Lỗi lúc thu nhận thông tin có thể kéo theo lỗi ở phần diễn giải.

Tương tự, dấu hiệu giọng nói là căn cứ để suy đoán sắc thái, không phải cách đọc chắc chắn cảm xúc hay ý định bên trong. Một người nói nhỏ có thể vì nhiều lý do. Câu trả lời cần phản ánh mức thông tin có được, thay vì biến một tín hiệu thành kết luận chắc chắn về con người.

4. Kết hợp dữ kiện cần đúng đối tượng và đúng thời điểm

Ví dụ giả định: Trên bàn có một cuốn sổ xanh và một cuốn sổ đỏ. Ảnh cho thấy ngón tay đang chỉ vào cuốn xanh. Bản ghi âm cùng thời điểm chứa câu “Tôi cần cuốn này”. Người đọc hỏi AI: “Người nói đang nhắc đến cuốn nào?”

Nếu kết nối đúng, hệ thống có căn cứ trả lời rằng người nói đang nhắc đến cuốn xanh. Chỉ có câu chữ thì thiếu đối tượng của “cuốn này”; chỉ có ảnh thì thấy động tác nhưng chưa có yêu cầu được nói. Phần giá trị đến từ mối liên hệ giữa các dữ kiện, không chỉ từ việc nhận thêm một tệp.

Sự kết nối đó còn gọi là căn chỉnh thông tin: xác định đoạn nói, vùng ảnh hoặc mốc thời gian nào liên quan với nhau. Nếu ảnh chụp buổi sáng còn âm thanh thu buổi chiều, động tác trong ảnh chưa đủ xác nhận đối tượng được nhắc ở buổi chiều. Nếu lời nói là “Tôi cần cuốn đỏ” nhưng ảnh cho thấy chỉ vào cuốn xanh, hai tín hiệu đang không thống nhất; chưa đủ căn cứ để tự chọn một bên là đúng ý người nói.

Video thêm một yêu cầu: theo dõi trình tự thời gian. Hệ thống có thể xử lý các khung hình được chọn, âm thanh và mốc giờ để xác định trạng thái hoặc hành động diễn ra trước và sau. Không phải mọi cách phân tích video đều đọc toàn bộ khung hình với đầy đủ độ chi tiết.

Minh họa giả định về lấy mẫu: Một hệ thống chỉ lấy ảnh tại các mốc 0 giây, 1 giây, 2 giây… Một đèn nhỏ bật từ giây 0,3 đến giây 0,6 rồi tắt. Nếu không có tín hiệu bổ sung, các khung hình được lấy không cho thấy lần bật đèn ấy. Câu trả lời “đèn không bật trong video” sẽ vượt quá phần thông tin đã xem.

Lấy thêm khung hình hoặc xem lại đoạn liên quan có thể bổ sung căn cứ khi dữ liệu gốc còn sự kiện ấy. Ngược lại, nếu video gốc đã bị cắt mất đoạn, suy luận thêm không tạo ra bằng chứng về đoạn bị mất. Xử lý nhiều hơn và có thêm thông tin là hai điều cần phân biệt.

Âm thanh và hình cũng cần được nối đúng thời điểm. Thấy một động tác và nghe một tiếng động trong cùng tệp chưa đủ khẳng định động tác gây ra tiếng động. Có thể âm thanh đến từ ngoài khung hình hoặc các phần bị lệch nhau. Đôi khi hệ thống chỉ nhận các ảnh trích từ video; khi ấy không thể coi nó đã nghe âm thanh của video.

5. Nhận biết được gì, và đang suy ra điều gì?

Nhận biết tập trung vào những đặc điểm có căn cứ trong dữ liệu, như vị trí bàn tay hoặc các từ nghe được. Kết luận suy ra từ dữ kiện kết hợp những thông tin ấy với kiến thức đã học để đi đến nhận định. Cần phân biệt nhận định này với chi tiết thực sự được cung cấp.

Đây là phân biệt về căn cứ của câu trả lời. Còn inference, được giải thích ở bài về mô hình, là tên kỹ thuật của việc vận dụng mô hình đã học để tạo đầu ra, bao gồm cả nhiệm vụ nhận diện.

Trong ví dụ cuốn sổ, ảnh và lời nói cùng lúc hỗ trợ xác định đối tượng được nhắc đến. Chúng không cho biết nội dung ở các trang đang đóng, chủ sở hữu cuốn sổ hay mục đích tiếp theo của người nói. Mô hình có thể tạo một câu chuyện hợp lý về những điều ấy, nhưng sự hợp lý không bổ sung được dữ kiện còn thiếu.

Trong một video giả định, hai khung hình cho thấy một chiếc chai lúc đầu đứng và lúc sau nằm ngang có thể hỗ trợ mô tả sự thay đổi trạng thái. Nếu thiếu đoạn chuyển tiếp, chúng chưa đủ xác nhận ai đã làm chai đổ hoặc điều gì gây ra việc đó. Biết kết quả cuối khác với quan sát được nguyên nhân.

Khả năng thị giác cũng không đồng đều giữa các nhiệm vụ. Trong một thử nghiệm công bố năm 2024, GPT-4V phiên bản preview đạt 58,87% trả lời đúng trên 124 câu hỏi trắc nghiệm so sánh hai điểm được chỉ định trong ảnh, xem điểm nào gần hơn. Kết quả thuộc nhiệm vụ ước lượng độ sâu tương đối; không phải tỷ lệ đọc ảnh đúng chung hay điểm của các phiên bản hiện tại. Nó minh họa vì sao nhận ảnh được chưa bảo đảm xử lý chính xác một quan hệ không gian cụ thể.

Ước lượng điểm nào gần hơn cũng khác với đo khoảng cách chính xác bằng mét. Muốn suy ra một số đo cần căn cứ phù hợp, chẳng hạn thông tin về tỷ lệ hoặc phép đo bổ sung. Một ảnh không có các căn cứ ấy chưa tự cung cấp kích thước hay khoảng cách thực.

Thêm phương thức có thể giảm mơ hồ khi các tín hiệu bổ sung đúng phần còn thiếu. Nhưng nhiều đầu vào không bảo đảm kết luận tốt hơn nếu chúng mờ, không cùng sự kiện hoặc bị kết nối sai. Giỏi đọc chữ trong ảnh cũng chưa chứng minh giỏi đếm vật, xác định độ sâu hay hiểu một hành động diễn ra trong video.

Khi AI nói nó “nhìn”, “nghe” hoặc “hiểu”, các từ ấy mô tả khả năng xử lý và trả lời từ dữ liệu. Chúng không tự xác nhận mô hình có trải nghiệm giác quan giống con người. Để đánh giá một câu trả lời, cần xem hệ thống đã nhận phần thông tin nào, các phần ấy liên quan ra sao và kết luận đi xa đến đâu so với căn cứ thực sự có.