AI đa phương thức: vừa đọc ảnh vừa nghe giọng

Ba chủ shop quen gần đây kể cho mình đúng một chuyện: khách gửi ảnh sản phẩm bị lỗi, kèm một đoạn ghi âm càu nhàu dài cả phút, và họ phải tự nghe, tự nhìn, rồi gõ lại thành một câu hỏi gọn gàng gửi cho AI. Vấn đề là AI chỉ đọc được chữ, nên phần ảnh và phần giọng nói bị bỏ qua, mất luôn ngữ cảnh quan trọng. Thực ra có loại AI xử lý được cả ảnh, cả giọng nói, cả chữ cùng lúc, gọi là AI đa phương thức. Bài này thuộc chuỗi AI từ số 0 của MADIAD, giải thích khái niệm này bằng ví dụ đời thường, không cần biết code.

Khi khách hàng gửi cả ảnh và ghi âm cho bạn

Chuyện này xảy ra mỗi ngày ở cửa hàng hay văn phòng: khách chụp ảnh sản phẩm bị móp, kèm ghi âm giải thích vì sao họ bực. Bạn mở ảnh ra xem, bật ghi âm lên nghe, rồi tự trong đầu ghép hai phần đó lại thành một câu chuyện trọn vẹn. Nếu muốn hỏi AI để soạn câu trả lời, bạn phải tự gõ lại ý chính bằng chữ, vì AI thường chỉ đọc được văn bản. Quá trình 'dịch' này tốn thời gian, và dễ bỏ sót chi tiết nhỏ, như vết móp nằm ở góc nào hay khách nhấn giọng ở từ nào. Điểm chung của những tình huống như vậy là thông tin đến từ nhiều 'kênh' khác nhau cùng lúc: hình ảnh, giọng nói, đôi khi cả chữ viết trong tin nhắn đi kèm. Con người xử lý việc này tự nhiên, vì mắt và tai vốn đã phối hợp với nhau. Nhưng một AI chỉ biết đọc chữ thì không làm được, nó cần người đứng giữa làm cầu nối. Đây chính là lý do nhiều người thấy AI 'thông minh' trên quảng cáo nhưng khi dùng thật lại vướng ngay ở bước đầu: làm sao đưa cả ảnh và giọng nói vào cùng một lúc. Phần tiếp theo sẽ giải thích loại AI được thiết kế để không cần người đứng giữa nữa.

AI đa phương thức là gì: một AI có nhiều 'giác quan'

AI đa phương thức là một hệ thống AI có thể nhận và hiểu nhiều loại dữ liệu cùng lúc, chứ không chỉ chữ viết. Hãy tưởng tượng não người: khi bạn nghe ai đó nói và đồng thời nhìn vẻ mặt họ, não ghép cả hai tín hiệu lại để hiểu trọn ý, dù họ nói 'không sao' nhưng mặt đang cau có. AI đa phương thức làm việc gần giống vậy, chỉ khác là 'giác quan' của nó là các modality, tức các dạng dữ liệu riêng biệt như văn bản, hình ảnh, âm thanh hay video. Mỗi modality giống như một giác quan của con người: chữ giống như đọc, ảnh giống như nhìn, giọng nói giống như nghe. Một AI chỉ đọc được chữ giống người chỉ có mắt chữ mà không có tai, muốn hiểu giọng nói thì phải có ai đó gõ lại thành văn bản trước. AI đa phương thức bỏ qua bước gõ lại đó: bạn đưa thẳng tấm ảnh sản phẩm lỗi và file ghi âm khách phàn nàn, AI tự nhìn vào vết lỗi trong ảnh, tự nghe nội dung ghi âm, rồi ghép hai phần lại để trả lời đúng ngữ cảnh. Khác biệt chính giữa nó và một AI chỉ đọc chữ không nằm ở việc nó thông minh hơn, mà ở việc nó nhận được nhiều loại tín hiệu đầu vào hơn, giống như có thêm mắt và tai thay vì chỉ một kênh duy nhất. Nếu muốn xem các sản phẩm AI MADIAD đang xây dựng dựa trên nguyên lý nhiều 'giác quan' này, bạn có thể tham khảo trang sản phẩm.

Thử trong 5 phút: đưa một tấm ảnh và một câu nói cho AI

Cách nhanh nhất để hiểu AI đa phương thức là tự thử, không cần đọc thêm lý thuyết nào khác. Bạn chuẩn bị một tấm ảnh bất kỳ, ví dụ ảnh một món hàng trong nhà, và nghĩ sẵn một câu hỏi sẽ nói bằng giọng, ví dụ 'món này có vết nào bị hỏng không'. Mở một ứng dụng chat AI có bản miễn phí trên điện thoại, như ChatGPT bản miễn phí, rồi bấm nút đính kèm để tải tấm ảnh lên khung chat. Sau đó bấm nút micro thay vì gõ chữ, nói to câu hỏi bạn đã nghĩ sẵn, để ứng dụng tự chuyển giọng nói thành câu hỏi gửi kèm ảnh. Chờ vài giây xem AI trả lời. Nếu AI mô tả đúng chi tiết trong ảnh và trả lời đúng ý câu bạn vừa nói, nghĩa là nó đã xử lý được cả hai modality, ảnh và giọng nói, trong cùng một lần hỏi. Nếu câu trả lời chung chung hoặc bỏ qua chi tiết trong ảnh, thử lại với tấm ảnh rõ hơn hoặc nói chậm, rõ từng chữ hơn. Bài tập này không cần tài khoản trả phí, không cần biết lập trình, chỉ cần điện thoại có kết nối mạng. Làm xong một lần, bạn sẽ thấy rõ sự khác biệt giữa gõ chữ mô tả lại và đưa trực tiếp ảnh, giọng nói cho AI xử lý.

Chỗ hay nhầm, và khi nào AI đa phương thức chưa nên dùng

Chỗ hay nhầm là nghĩ AI đa phương thức luôn hiểu đúng mọi tấm ảnh mờ hay đoạn ghi âm lẫn tiếng ồn, trong khi thực tế nó dễ đoán sai khi ảnh thiếu sáng hoặc giọng nói bị nền ồn che mất. Giống con người nhìn một tấm ảnh mờ cũng đoán sai chi tiết, AI đa phương thức cũng vậy, chất lượng đầu vào kém thì kết quả cũng kém theo. Vì thế đừng mặc định AI tự động đúng hoàn toàn chỉ vì nó hiểu được cả ảnh và giọng. Giới hạn khác là với thông tin nhạy cảm, như số điện thoại khách hàng đọc trong ghi âm hay giấy tờ cá nhân chụp trong ảnh, nên để người kiểm lại trước khi lưu hay dùng vào quyết định nào đó, đặc biệt là quyết định quan trọng liên quan đến tiền hay hợp đồng. AI đưa ra gợi ý, người vẫn phải là người chốt. Việc áp dụng AI vào vận hành thực tế theo cách có người kiểm lại như vậy cũng là nguyên tắc chung trong ứng dụng AI & tự động hoá cho doanh nghiệp. Ngoài ra, không phải lúc nào cũng cần dùng AI đa phương thức. Nếu câu hỏi của khách chỉ là văn bản đơn giản, như hỏi giờ mở cửa hay địa chỉ shop, gõ chữ vào AI thông thường đã đủ nhanh và đủ chính xác, không cần mất công chụp ảnh hay ghi âm thêm. Dùng đúng lúc, đúng việc mới thấy công cụ này hữu ích, dùng tràn lan cho mọi việc nhỏ lại thành rườm rà không cần thiết.

Đọc tiếp trong chuỗi AI từ số 0 của MADIAD

Bài này chỉ là điểm bắt đầu để bạn nhận ra AI đa phương thức khi gặp nó ngoài đời, chứ không cần nhớ hết thuật ngữ kỹ thuật phía sau. Thứ cần nhớ nhất là một ý đơn giản: một số AI giờ xử lý được nhiều loại dữ liệu cùng lúc, ảnh, giọng nói, chữ viết, giống như có thêm nhiều giác quan hơn một AI chỉ đọc chữ. Nếu bạn vừa thử bài tập ở phần trên, bạn đã có trải nghiệm thật với khái niệm này, không chỉ đọc lý thuyết suông. Lưu bài viết này lại là cách đơn giản nhất để xem lại khi cần, ví dụ lúc chuẩn bị chọn một ứng dụng AI mới cho công việc và muốn biết nó có xử lý được ảnh với giọng nói hay không. Chuỗi AI từ số 0 của MADIAD còn nhiều bài khác, mỗi bài giải thích một khái niệm AI bằng ví dụ đời thường như bài này, không yêu cầu bạn có nền tảng kỹ thuật từ trước. Nếu phần giải thích về modality ở trên khiến bạn tò mò làm sao AI phân biệt được ảnh với video, hay vì sao có AI chỉ xử lý chữ mà không xử lý ảnh được, đó chính là chủ đề các bài tiếp theo trong chuỗi sẽ nói tới. Đọc chậm từng bài, thử bài tập đi kèm, bạn sẽ quen dần với AI mà không cần một lớp học chính thức nào.

Kết luận

Tóm lại, AI đa phương thức là AI xử lý được nhiều loại dữ liệu cùng lúc, như ảnh, giọng nói và chữ viết, thay vì chỉ đọc được văn bản như trước. Hiểu đúng khái niệm này giúp bạn nhận ra khi nào nên đưa ảnh và giọng nói trực tiếp cho AI, và khi nào gõ chữ đơn giản đã đủ dùng. Một bước có thể làm ngay hôm nay là mở lại cuộc trò chuyện cũ với khách hàng có kèm ảnh hoặc ghi âm, rồi thử đưa cả hai vào một ứng dụng AI miễn phí để xem nó hiểu đúng tới đâu. Lưu bài này lại và đọc tiếp các bài khác trong chuỗi AI từ số 0 của MADIAD để làm quen dần với từng khái niệm AI một cách dễ hiểu.