Khả năng nhận biết tin giả của ChatGPT và các mô hình ngôn ngữ lớn

Mô hình ngôn ngữ lớn (LLMs) là sự phát triển của các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) có thể nhanh chóng tạo ra những đoạn văn bản gần giống với văn bản do con người viết và hoàn thành một số tác vụ đơn giản khác liên quan đến ngôn ngữ.

Những mô hình này ngày càng trở nên phổ biến sau màn ra mắt bùng nổ của ứng dụng chatbot Chat GPT, một LLM hiệu suất cao do công ty khởi nghiệp OpenAI phát triển.

Cho đến nay, các nghiên cứu về LLMs chủ yếu tập trung vào đánh giá khả năng của chúng trong việc tạo văn bản, giải thích các thuật ngữ, viết luận hay tạo code máy tính. Tuy nhiên, những mô hình này còn có thể giúp con người giải quyết nhiều vấn đề khác trong thế giới thực, bao gồm phát hiện tin tức giả mạo và thông tin sai lệch.

Kevin Matthe Caramancion, một nhà khoa học tại Đại học Wisconsin-Stout (Mỹ) gần đây đã thực hiện một nghiên cứu nhằm xem xét khả năng nhận biết tin giả của các LLM phổ biến trên thế giới hiện nay. Những phát hiện của ông cung cấp cái nhìn sâu sắc có giá trị, góp phần vào việc sử dụng các mô hình tinh tế này để đối phó với vấn nạn tin giả, tin thất thiệt trong tương lai.

Chia sẻ với Tech Xplore, ông Caramancion cho biết: “Mục đích của nghiên cứu là đánh giá kỹ lưỡng tính hiệu quả của các LLM trong việc phân biệt tin thật với tin giả, sử dụng một trình mô phỏng có kiểm soát và dựa trên tiêu chuẩn là các cơ quan chuyên về kiểm chứng thông tin”.

Theo đó, nhóm nghiên cứu kiểm tra hiệu suất của các mô hình này bằng cách sử dụng bộ thử nghiệm gồm 100 đầu mục tin tức đã được kiểm chứng bởi các tổ chức kiểm chứng độc lập.

“Chúng tôi đưa từng đầu mục tin tức vào các LLM trong điều kiện được kiểm soát, phân loại những phản hồi thành một trong ba loại: Đúng, Sai và Đúng/Sai một phần. Hiệu quả của các mô hình được đo lường dựa trên mức độ chính xác mà chúng phân loại các đầu mục tin tức so với thông tin thực tế đã được xác minh do các cơ quan kiểm chứng độc lập cung cấp”, ông Caramancion cho hay.

Thông tin sai lệch đã trở thành một thách thức lớn trong những thập kỷ gần đây, khi internet và mạng xã hội khiến thông tin được lan truyền một cách nhanh chóng, bất kể thông tin đó là đúng hay sai. Do đó, nhiều nhà khoa học máy tính đã cố gắng tạo ra các công cụ và nền tảng kiểm chứng tốt hơn, cho phép người dùng kiểm tra tính xác thực của tin tức mà họ đọc trực tuyến.

Mặc dù cho đến nay đã có nhiều công cụ kiểm chứng thông tin được tạo ra và thử nghiệm, nhưng vẫn còn thiếu một mô hình đáng tin cậy và có thể áp dụng rộng rãi để chống lại việc đưa thông tin thất thiệt. Là một phần trong nghiên cứu của mình, ông Caramancion bắt đầu xác định xem liệu các LLM hiện có có thể giải quyết vấn đề toàn cầu này một cách hiệu quả hay không.

Nhà nghiên cứu thuộc Đại học Wisconsin-Stout đánh giá cụ thể hiệu suất của 4 LLM gồm: Chat GPT-3.0 và Chat GPT-4.0 của OpenAI, Bard/LaMDA của Google, và Bing AI của Microsoft. Ông cung cấp cho các mô hình này những mẩu tin tức giống nhau đã được kiểm chứng, sau đó so sánh khả năng phân loại Đúng, Sai hay Đúng/Sai một phần của 4 LLM nói trên.

Theo kết quả thu được, mô hình GPT-4.0 của OpenAI vượt trội so với các mô hình khác về thực hiện các nhiệm vụ kiểm chứng, điều này cho thấy sự tiến bộ trong các phiên bản LLM mới hơn. Tuy nhiên, tất cả các mô hình đều không đạt được hiệu quả như các cơ quan kiểm chứng, qua đó nhấn mạnh giá trị không thể thay thế của nhận thức con người.

“Những phát hiện này có thể thu hút sự quan tâm lớn hơn đối với việc phát triển các khả năng của trí tuệ nhân tạo (AI) trong lĩnh vực kiểm chứng thông tin trong khi vẫn bảo đảm sự tích hợp cân bằng, cộng sinh với các kỹ năng của con người”, ông Caramancion nói.