Biểu tượng chim cắt của Kestrel Exams KESTREL EXAMSLUYỆN TẬP ĐỂ ĐẠT
Bản dịch này do AI thực hiện và chưa được người bản ngữ kiểm duyệt. Nếu có khác biệt, bản tiếng Anh là bản chính. Mã nguồn được giữ nguyên bằng tiếng Anh. Ứng dụng luyện tập và tài liệu cho các kỳ thi chứng chỉ của Hoa Kỳ chỉ có bằng tiếng Anh. Read in English
Sử dụng AIBài 03 trên 1018 phút đọcMiễn phí, không cần tài khoản

Kiểm tra câu trả lời của AI: cách bắt lỗi của AI trước khi chúng gây thiệt hại cho bạn

Một câu trả lời của AI nghe tự tin dù đúng hay sai. Bài này chỉ cho bạn nên kiểm tra bao nhiêu, phép kiểm tra nhanh nào bắt được lỗi nào, và vì sao hỏi "Bạn có chắc không?" không phải là một trong số đó. Bạn kết thúc bằng việc truy tìm ba lỗi được cài sẵn trong một câu trả lời về việc mua một chiếc xe cũ.

Tổng quan khóa học →Ủng hộ Kestrel Exams

Dùng AI 03 · Video một phút

Làm sao biết một câu trả lời của AI có đúng không?

1 phút · Phụ đề tiếng Anh · Do Kestrel Focus thực hiện

  1. 0:00Làm sao biết một câu trả lời của AI có đúng không?
  2. 0:03Vì sao việc ai kiểm tra một câu trả lời của AI lại quan trọng?
  3. 0:06AI viết câu trả lời của nó như thế nào?
  4. 0:11Vì sao một câu trả lời sai của AI nghe tự tin như một câu trả lời đúng?
  5. 0:15Nên kiểm tra một câu trả lời của AI đến mức nào?
  6. 0:20Làm sao kiểm tra các con số trong một câu trả lời của AI?
  7. 0:24AI có thể tính sai tổng ngay cả khi từng dòng đều đúng không?
  8. 0:29Làm sao kiểm tra AI lấy một sự kiện từ đâu?
  9. 0:34AI có thể bịa ra một báo cáo hay một nguồn không?
  10. 0:37Hỏi AI "Bạn có chắc không?" có kiểm tra được câu trả lời của nó không?
  11. 0:43Điều gì nên quyết định một câu trả lời của AI có đúng không?
  12. 0:53Bạn đã có sẵn kỹ năng để kiểm tra AI chưa?
Đọc bản ghi lời

Làm sao biết một câu trả lời của AI có đúng không? Nếu bạn chuyển tiếp một câu trả lời, bạn chịu trách nhiệm về nó. AI dựng câu trả lời từ những từ khớp với các khuôn mẫu đã học. Điều đó khiến câu đúng và câu sai nghe tự tin như nhau. Hãy tương xứng việc kiểm tra với mức rủi ro. Đây là một ngân sách mua xe cũ. Hãy đoán tổng trước, rồi tự cộng các dòng. Mỗi dòng đều đúng, nhưng tổng thiếu năm trăm đô la. Tiếp theo, hỏi nó biết bằng cách nào, rồi mở nguồn. Tìm báo cáo này và bạn không thấy gì. Và "Bạn có chắc không?" không phải là một phép kiểm tra: công cụ có thể bảo đảm cho chính lỗi của nó. Vậy, làm sao biết một câu trả lời của AI có đúng không? Hãy để thứ gì đó nằm ngoài cuộc trò chuyện quyết định: một máy tính cầm tay, nguồn gốc, hoặc một người rà soát mới. Bạn vốn đã kiểm tra hóa đơn, nên bạn vốn đã có thói quen này.

Video là phiên bản một phút của học phần này, và bài học đầy đủ nằm ở bên dưới. Do Kestrel Focus, một kênh của Kestrel Exams LLC, thực hiện. Hình ảnh là hình minh họa và lời dẫn dùng giọng nói tổng hợp. Video được nhúng qua youtube-nocookie.com, nên YouTube không đặt cookie theo dõi trừ khi bạn bấm phát.

Vì sao kiểm tra là việc của bạn#

Hãy thử trước

Một người bạn giới thiệu một nhà hàng. Một ứng dụng bản đồ cho bạn một lộ trình. Một thu ngân đưa bạn hóa đơn cho một xe đẩy đầy hàng. Bạn kiểm tra cái nào, và bằng cách nào?

Xem đáp án

Hầu hết mọi người coi lời giới thiệu nhà hàng là một ý kiến. Họ đi theo lộ trình, nhưng để ý nếu nó dẫn xuống một cái hồ. Và họ liếc qua tổng hóa đơn, vì tổng sai thì mất tiền. Vậy bạn vốn đã kiểm tra nhiều hơn khi có nhiều thứ bị đe dọa hơn, bằng những phép thử nhanh như "cái này trông có đúng không?" Kiểm tra AI dùng cùng những thói quen đó.

Một trợ lý trò chuyện, như ChatGPT, Claude, Gemini hay Copilot, viết câu trả lời từng mẩu nhỏ một. Nó chọn những từ khớp với các khuôn mẫu trong khối văn bản khổng lồ mà nó đã học. Quá trình đó làm câu đúng và câu sai cùng có một văn phong trơn tru, tự tin.

Vì vậy một câu trả lời của AI luôn trôi chảy (fluent): dễ đọc và nghe như thể nó biết. Trôi chảy là một sự thật về cách viết. Đúng là một sự thật về thế giới. Điều đầu không là bằng chứng cho điều sau, nên việc kiểm tra là việc của bạn.

Ví dụ xuyên suốt của chúng ta: bạn đang nghĩ đến việc mua một chiếc xe hatchback cỡ nhỏ đã qua sử dụng đời 2019, rao giá $14.500. Bạn đã hỏi một trợ lý trò chuyện xem nó thật sự sẽ tốn bao nhiêu.

Một hồ sơ tòa án: chuyện gì xảy ra khi không ai kiểm tra

Năm 2023, trong một vụ án tại tòa liên bang Hoa Kỳ tên là Mata v. Avianca, các luật sư nộp một văn bản trích dẫn những phán quyết trước đó của tòa. Một số phán quyết trong số đó không tồn tại. Tòa án thấy rằng một trợ lý trò chuyện đã bịa ra chúng (hồ sơ nêu tên ChatGPT), cùng những câu trích dẫn giả và những trích dẫn nguồn giả. Một trích dẫn (citation) là tham chiếu chính xác cho phép bất kỳ ai tra cứu một nguồn. Cả luật sư bên kia lẫn tòa án đều không tìm thấy các vụ án đó.

Thẩm phán phạt các luật sư và công ty luật của họ $5.000. Ông yêu cầu họ viết thư cho từng thẩm phán thật đã bị nêu sai là tác giả của một phán quyết giả.

Thẩm phán không nói rằng dùng AI là vấn đề. Ông viết rằng "về bản chất không có gì không đúng đắn khi dùng một công cụ trí tuệ nhân tạo đáng tin cậy để hỗ trợ. Nhưng các quy tắc hiện hành giao cho luật sư vai trò người gác cổng để bảo đảm hồ sơ của họ chính xác." Người gác cổng quyết định cái gì được đi qua. Ai chuyển tiếp một câu trả lời thì chịu trách nhiệm về nó: bài luận của bạn, báo cáo công việc của bạn, việc mua xe của bạn.

Tương xứng công sức với mức rủi ro#

Hãy thử trước

Hãy xếp các việc sau từ "hầu như không cần kiểm tra" đến "kiểm tra cẩn thận, đối chiếu với bản gốc": (1) một ý tưởng bữa tối từ đồ ăn thừa; (2) liều thuốc hạ sốt cho trẻ em; (3) hạn chót trả lời một thư chính thức về thuế hoặc tòa án; (4) liệu $14.500 có phải giá hợp lý cho chiếc hatchback không.

Xem đáp án

Bữa tối thấp nhất: ý tưởng tệ chỉ có nghĩa là một bữa ăn nhạt, và bạn sẽ tự nếm ra vấn đề. Giá xe ở giữa: hàng nghìn đô la, nhưng bạn có thể so sánh các tin rao và bỏ đi. Liều thuốc và hạn chót cao nhất: tác hại nghiêm trọng và khó hoàn tác. Thứ hạng không nói về việc câu hỏi khó đến đâu. Nó nói về điều xảy ra nếu câu trả lời sai.

Hãy dành công sức kiểm tra ở nơi một sai sót sẽ gây đau. Hai câu hỏi quyết định điều đó:

  1. Nếu điều này sai thì tệ đến mức nào? Một buổi tối bị phí, một nghìn đô la bị phí, hay tổn hại cho một con người?
  2. Tôi có hoàn tác được không, và tôi có nhận ra kịp lúc không? Một công thức tệ tự bộc lộ. Một hạn chót bị lỡ thì có thể không.

Gộp lại, đây là mức rủi ro (stakes): những gì bạn có thể mất nếu hành động theo một câu trả lời sai.

Câu hỏiNếu AI saiBạn có hoàn tác được không?Nên kiểm tra bao nhiêu
Một ý tưởng bữa tốiMột bữa ăn nhạtCóLiếc qua
Giá hợp lý cho chiếc xeBạn trả quá giáChỉ trước khi bạn kýTính lại, so sánh các tin rao thật, hỏi nó biết bằng cách nào
Liều thuốc cho trẻ emCó thể gây hạiThường là khôngHãy dùng nhãn thuốc, dược sĩ hoặc bác sĩ, không phải con số của AI
Một hạn chót pháp lý hoặc thuếMất một quyền hoặc bị phạtThường là khôngHãy dùng thư chính thức, trang riêng của cơ quan, hoặc một luật sư

Rủi ro cao không có nghĩa là "không bao giờ dùng AI". Một trợ lý có thể giúp bạn hiểu một lá thư hoặc chuẩn bị câu hỏi cho dược sĩ. Điều thay đổi là câu trả lời cuối cùng đến từ đâu: với hai hàng dưới cùng, đó là nhãn thuốc, nguồn chính thức hoặc một người có trình độ.

Nó có hợp lý không? Ước tính, rồi tính lại#

Hãy thử trước

Trợ lý nói nhiên liệu cho chiếc hatchback sẽ tốn khoảng $1.275 mỗi năm: 12.000 dặm, ở mức 32 dặm mỗi gallon, với giá xăng $3,40 một gallon. Không có máy tính cầm tay, con số đó đại khái nên là bao nhiêu?

Xem đáp án

Hãy làm tròn thành số dễ tính. 12.000 dặm ở khoảng 30 dặm mỗi gallon là khoảng 400 gallon. Ở khoảng $3,40 một gallon, đó là đại khái $1.360. Vậy khoảng $1.300 là đúng, và $1.275 hợp lý. Nếu nó nói $12.750 hay $127, bạn sẽ biết ngay. (Chính xác: 375 gallon nhân $3,40 là $1.275.)

Phép kiểm tra nhanh đầu tiên là phép bạn dùng ở quầy thanh toán: cái này có hợp lý không? Hãy làm theo thứ tự này.

  1. Ước tính trước. Đưa ra phỏng đoán sơ bộ của bạn trước khi đọc con số của AI. Một khi đã thấy một con số, rất dễ tự thuyết phục mình tin nó.
  2. So sánh. Nếu con số của AI lệch xa số của bạn, hãy dừng lại và tìm xem ai sai.
  3. Tính lại mọi thứ bạn sẽ hành động theo. Tự cộng các tổng. Kiểm tra các phần cộng lại có bằng tổng không. Kiểm tra mỗi phần trăm là phần trăm của cái gì.

Một ước tính bắt được những lỗi lớn, như thiếu một chữ số không. Chỉ việc tính lại mới bắt được một tổng lệch vài trăm đô la.

Từ công việc của chính chúng tôi: Tổng phụ sai

Kestrel Exams là một trang học tập nhỏ do một người xây dựng cùng một trợ lý AI. Đây là một chuyện đã xảy ra. Trong một câu hỏi trắc nghiệm mà nó đặt cho chủ trang, trợ lý AI của chúng tôi gắn nhãn "$72,00" cho một lựa chọn. Các khoản bên trong lựa chọn đó cộng lại là $87,60. Từng mức giá riêng lẻ đều đúng. Chỉ có tổng là sai, và tổng là phần người ta đọc. Chủ trang đã chọn lựa chọn đó. Quy tắc: hãy tính bất kỳ con số nào bằng mã trước khi nó xuất hiện trong một quyết định, và kiểm tra các phần có cộng lại bằng tổng không.

Thử với bất kỳ trợ lý AI nào: ước tính, rồi tính lại

Hãy ghi ước tính sơ bộ của riêng bạn về tổng trước. Sau đó dán đoạn này vào bất kỳ trợ lý trò chuyện nào:

I'm budgeting for a used car. Make a table of my first-year costs:
price $14,500; tax and fees at 8% of the price; insurance $1,380;
fuel for 12,000 miles at 32 miles per gallon and $3.40 a gallon;
maintenance $750. Include a total.

Cần để ý gì: thuế và phí phải là $1.160 và nhiên liệu $1.275. Hãy tự cộng các dòng: tổng đúng là $19.065. Nếu trợ lý làm đúng, tốt. Thói quen mới là điều quan trọng, vì lần sau bạn sẽ không biết trước đáp án.

Hỏi "bạn biết bằng cách nào?", rồi mở nguồn#

Hãy thử trước

Trợ lý viết: "Mẫu xe này có một trong những tỷ lệ sửa chữa thấp nhất trong các xe cỡ nhỏ." Bạn nên hỏi câu nào, và làm gì với câu trả lời?

Xem đáp án

Hỏi: "Bạn biết bằng cách nào? Nguồn nào nói vậy?" Rồi tự mở nguồn và tìm câu nói điều đó. Một nguồn bạn chưa mở chỉ là thêm văn bản từ AI.

Nguồn gốc (primary source) là nơi ban đầu mà một sự kiện đến từ: một hồ sơ tòa án, một bài nghiên cứu, một trang chính thức của cơ quan, nhãn trên chai thuốc, hợp đồng của bạn. Nguồn thứ cấp (secondary source) là thứ được viết về nó, như một bài báo. Nó có thể giúp bạn tìm ra bản gốc, nhưng chi tiết và con số bị mất trên đường đi.

  1. Hỏi: "Bạn biết bằng cách nào? Hãy cho tôi một nguồn cho từng khẳng định về sự kiện, kèm đường dẫn."
  2. Tự mở mọi đường dẫn. Có cái sẽ chết. Có cái là trang thật nhưng nói về một chuyện khác.
  3. Tìm khẳng định cụ thể trên trang. Lệnh Tìm của trình duyệt (Ctrl+F, hoặc Cmd+F trên Mac) sẽ giúp.
  4. So sánh: cùng con số, cùng thứ được đo, cùng ngày, cùng nơi chốn.
Điều bạn tìm thấyÝ nghĩa
Không có nguồn nào như vậy ở đâu cảKhông có căn cứ. Có thể nó đã bị bịa ra.
Một nguồn thật nhưng không chứa khẳng định đóVẫn không có căn cứ.
Nguồn nói điều khácKhẳng định sai. Hãy dùng nguồn.
Nguồn nói đúng như vậyCó căn cứ, nếu nguồn đáng tin và còn cập nhật.

Khi một trợ lý trình bày một sự kiện, câu trích hoặc nguồn bịa ra như thật, người ta gọi đó là ảo giác AI (hallucination) hoặc sự bịa đặt (fabrication). Nguồn giả trông như nguồn thật, với tiêu đề, năm và tác giả nghe hợp lý.

Cái bẫy: Một đường dẫn chưa phải là nguồn cho đến khi bạn đã đọc nó

Một trang đầy đường dẫn trông như được nghiên cứu kỹ. Nhưng một đường dẫn chỉ chứng minh rằng một trang tồn tại. Cho đến khi bạn tìm thấy khẳng định đó trên trang, đường dẫn chỉ là đồ trang trí.

Từ công việc của chính chúng tôi: Không có kết quả nào

Một lần tìm công thức trong một bảng tính (các ô tính giá trị của chúng từ các ô khác) không thấy gì. Vì vậy trợ lý AI của chúng tôi suýt ghi đè các công thức đang dùng bằng những tổng gõ tay. Mẫu tìm kiếm đã quá hẹp: bảng tính đầy công thức. Quy tắc: "không tìm thấy" là một khẳng định về lần tìm kiếm, không phải về tệp. Hãy xem một mẫu thô trước khi hành động.

Với chiếc xe: nếu bạn tìm "accident" trong báo cáo lịch sử xe (bản ghi về các chủ cũ, tai nạn và sửa chữa) mà không thấy gì, nó vẫn có thể ghi "collision" hoặc "damage". Hãy đọc lướt toàn bộ báo cáo.

Hỏi lại, và hỏi người khác#

Hãy thử trước

Bạn hỏi cùng một câu trong một cuộc trò chuyện hoàn toàn mới và nhận câu trả lời khác. Điều đó cho bạn biết gì? Còn nếu bạn nhận cùng một câu trả lời hai lần?

Xem đáp án

Một câu trả lời khác nghĩa là ít nhất một câu sai, hoặc câu hỏi chưa rõ, nên khẳng định đó cần được kiểm tra thật sự. Cùng một câu trả lời hai lần chỉ là sự an ủi nhẹ, vì cùng một công cụ có thể lặp lại cùng một lỗi.

Hai cách rẻ để có câu trả lời thứ hai:

  • Hỏi theo cách thứ hai, một cách trung lập. "$14.500 có phải là giá tuyệt vời cho chiếc xe này không?" mời một câu trả lời có. "Khoảng giá hợp lý cho chiếc xe này là bao nhiêu, và vì sao?" thì không.
  • Bắt đầu một cuộc trò chuyện mới. Trong một cuộc trò chuyện dài, mọi điều đã nói trước đó định hướng điều tiếp theo. Một cuộc trò chuyện mới thường bắt đầu mà không có các gợi ý và câu trả lời trước. Một số trợ lý có thể nhớ các cuộc trò chuyện trước; nếu trợ lý của bạn làm vậy, một cuộc trò chuyện mới vẫn có thể mang theo các gợi ý cũ.

Bước mạnh hơn là một người rà soát độc lập (independent reviewer): một người kiểm tra không tạo ra câu trả lời. Đó có thể là một người hiểu về xe hoặc ngân sách. Cũng có thể là một phiên AI mới với một nhiệm vụ khác: tìm điều sai, không phải đồng ý. "Cái này có tốt không?" mời một câu có lịch sự. "Hãy tìm mọi lỗi" cho người rà soát việc thật để làm.

Từ công việc của chính chúng tôi: Người rà soát độc lập

Chúng tôi nhờ một AI viết sáu bài hướng dẫn học mới về ngôn ngữ lập trình Java. Sau đó chúng tôi đưa từng bài cho một AI rà soát riêng chưa từng viết nó, kèm chỉ dẫn chạy lại mọi ví dụ mã và kiểm tra mọi khẳng định. Cả sáu bài đều trả về kết quả "phát hành sau khi sửa". Những lỗi thật đã bị bắt trước khi có học sinh nào thấy. Một bài nói rằng viết = thay cho == (hai ký hiệu có nhiệm vụ khác nhau trong Java) luôn là lỗi mà máy tính bắt được. Thực tế, trong một trường hợp thường gặp, chương trình vẫn chạy và âm thầm làm sai. Một bài cũng khẳng định rằng mọi khai báo (một dòng tạo ra một biến) đều có năm phần; khai báo đơn giản nhất có ba. Quy tắc: người viết là người kiểm tra tệ nhất công việc của chính mình. Một người rà soát mới được dặn chạy lại mọi thứ là bảo hiểm rẻ.

Thử với bất kỳ trợ lý AI nào: một người rà soát mới kiểm tra thay vì đồng ý

Lấy bảng ngân sách từ bài tập trước. Mở một cuộc trò chuyện mới, tốt nhất là ở một trợ lý khác, và dán:

Your job is to check this answer, not to agree with it. Assume it
may contain errors. List every factual claim, number and source.
For each, say whether it is correct and how to verify it. Redo any
arithmetic yourself. End with the three things most worth checking.

[paste the answer here]

Cần để ý gì: nó có thật sự làm lại các phép cộng không, hay chỉ nói "phép tính trông đúng"? Một bản rà soát tốt cho bạn một danh sách những điều cần kiểm tra. Nó không thay thế việc kiểm tra chúng.

Từ công việc của chính chúng tôi: Công cụ kiểm tra đã sai

Công cụ kiểm tra cấu trúc trang của chúng tôi, một chương trình nhỏ xem xét từng trang mới, báo mọi bài hướng dẫn mới đều hỏng. Các bài hướng dẫn vẫn ổn. Công cụ kiểm tra đã đếm các nút "Xem đáp án" như thể chúng là các câu hỏi thường gặp. Quy tắc: khi một phép kiểm tra nói có gì đó sai, hãy kiểm tra cả phép kiểm tra.

Điều AI kiểm tra tệ về chính nó#

Hãy thử trước

Quay lại vụ án. Một luật sư đã hỏi chính trợ lý trò chuyện: "Varghese có phải là một vụ án thật không" (một trong những vụ án nó đã đưa cho ông). Bạn nghĩ nó trả lời gì?

Xem đáp án

Nó nói có. Theo hồ sơ tòa án, nó nói vụ án đó "quả thật tồn tại" và có thể tìm thấy trên các dịch vụ tra cứu pháp lý như Westlaw và LexisNexis. Hỏi chính công cụ đã đưa ra một khẳng định xem khẳng định đó có đúng không thì không phải là một phép kiểm tra. Quá trình đã bịa ra nó sẽ sẵn lòng bảo đảm cho nó.

Những điều một trợ lý đặc biệt kiểm tra tệ về chính nó:

  • Các nguồn của nó có tồn tại không. Một trích dẫn bịa ra trông thật với công cụ đã viết nó cũng như một trích dẫn thật. Câu "vâng, nó là thật" của nó không thêm gì trừ khi nó cho bạn thấy trang đó.
  • Lập luận của chính nó, đọc lại mà không có gì mới. Trong một nghiên cứu năm 2024, các mô hình AI được yêu cầu rà soát và sửa các câu trả lời của chính chúng cho các bài toán lập luận, không có thông tin bên ngoài. Chúng gặp khó khăn khi tự sửa, và câu trả lời đôi khi còn tệ hơn. Đó là các mô hình của thời đó, nên hãy coi đây là một xu hướng cần thử nghiệm.
  • Nó có chỉ đang đồng ý với bạn không. Sự xu nịnh (sycophancy) nghĩa là nói với người ta điều có vẻ họ muốn nghe. Một nghiên cứu năm 2024 trên năm trợ lý trò chuyện thấy điều này ở cả năm. Sau câu "Tôi không nghĩ vậy là đúng. Bạn có chắc không?", chúng đôi khi bỏ các câu trả lời đúng và xin lỗi về những sai sót mà chúng không mắc. Khi người dùng gợi ý một đáp án, các câu trả lời nghiêng dần về gợi ý đó. Các trợ lý đã thay đổi từ đó, nên hãy coi đây là một xu hướng cần thử nghiệm.

Quy luật: một phép kiểm tra có tác dụng khi có thứ nằm ngoài cuộc trò chuyện quyết định: một máy tính cầm tay, nguồn thật, một người có trình độ, hoặc một người rà soát mới với nhiệm vụ kiểm tra. Một trợ lý có thể giúp một phép kiểm tra, nhưng nó yếu khi là người phán xét duy nhất công việc của chính nó.

Cái bẫy: "Bạn có chắc không?" không phải là một phép kiểm tra

Nó kiểm tra cách trợ lý xử lý áp lực, không phải việc nó có đúng hay không. Nó có thể bảo vệ một câu trả lời sai, như trong vụ án, hoặc bỏ một câu trả lời đúng, như trong nghiên cứu về sự xu nịnh. Hãy mở nguồn hoặc tính phép cộng thay vào đó.

Dấu hiệu đáng ngờ: kiểm tra chỗ nào trước#

Hãy thử trước

Câu nào đáng được kiểm tra trước? (a) "Xe cũ có thể cần những lần sửa chữa bất ngờ." (b) "Tỷ lệ sửa chữa lớn của mẫu xe này là 2,7%, theo Báo cáo Độ tin cậy Xe cũ Quốc gia 2024."

Xem đáp án

Câu (b). Một con số chính xác kèm nguồn có tên nghe như một phép đo, nên bạn dễ tin và lặp lại nó hơn. Đó cũng đúng là loại chi tiết mà một trợ lý có thể bịa ra. Cụ thể nghĩa là kiểm tra được, nên hãy kiểm tra.

Một dấu hiệu đáng ngờ (red flag) không có nghĩa là một khẳng định sai. Nó có nghĩa là một sai sót ở đó dễ mắc và đắt nếu tin, nên hãy kiểm tra nó trước.

Dấu hiệu đáng ngờVì saoKiểm tra nhanh
Các con số rất cụ thể (2,7%, $1.184,32)Độ chính xác nghe như đã được đo, ngay cả khi không có gì được đoTìm nó trong nguồn
Các câu trích dẫnDấu ngoặc kép hứa hẹn nguyên văn từng chữTìm các chữ đó trong bản gốc
Trích dẫn: tên vụ án, bài nghiên cứu hay báo cáoDễ bịa ra trong một hình thức giống thậtTìm kiếm nó, mở nó
Ngày tháng, hạn chót, tên ngườiQuy tắc thay đổi; tên người bị dùng saiDùng nguồn chính thức hoặc nguồn có tên
Giọng tự tin, không có "tùy trường hợp"Nó nghe chắc chắn như nhau khi saiHỏi điều gì sẽ làm câu trả lời thay đổi
Đồng ý với cách bạn hỏiGợi ý của bạn có thể đã định hướng nóHỏi lại một cách trung lập, trong một cuộc trò chuyện mới
Nói với bạn điều bạn hy vọngSự nhẹ nhõm khiến bạn ngừng kiểm traHãy kiểm tra điều này trước
Thử với bất kỳ trợ lý AI nào: cách diễn đạt của bạn có định hướng câu trả lời không?

Bài này dùng một phép tính bạn có thể kiểm tra bằng máy tính cầm tay, nên bạn biết trước sự thật. Trong một cuộc trò chuyện mới, hãy gửi:

I'm fairly sure 17 times 24 is 418, right?

Trong một cuộc trò chuyện mới thứ hai, hãy gửi What is 17 times 24? và, sau khi nó trả lời, hãy đáp lại I don't think that's right. Are you sure?

Cần để ý gì: đáp án đúng là 408. Cuộc trò chuyện đầu có đồng ý với 418 của bạn không? Cuộc trò chuyện thứ hai có giữ câu trả lời của nó khi bị phản bác, hay xin lỗi và đổi? Nhiều trợ lý qua được bài thử dễ này. Thói quen này quan trọng với những câu hỏi khó hơn.

Phần hướng dẫn từng bước: tìm ba lỗi được cài sẵn#

Hãy thử trước

Dưới đây là một câu trả lời giả định cho câu hỏi về chiếc xe của bạn, với ba lỗi được cài sẵn. Hãy tìm cả ba trước khi đọc tiếp. Dùng các phép kiểm tra trong bài này: ước tính, tính lại, hỏi nó biết bằng cách nào, tìm dấu hiệu đáng ngờ. Thưởng thêm: tìm một dấu hiệu cảnh báo không phải là lỗi.

Xem đáp án

(1) Tổng sai: các dòng cộng lại là $19.065, không phải $18.565. (2) Báo cáo độ tin cậy và con số 2,7% của nó là bịa đặt. (3) Luật liên bang không cho bạn ba ngày để trả lại một chiếc xe cũ. Dấu hiệu cảnh báo là "Lựa chọn tuyệt vời!", câu đồng ý với bạn trước khi có bất kỳ bằng chứng nào.

Bạn đã hỏi: "Tôi đang nghĩ đến việc mua một chiếc hatchback cỡ nhỏ đời 2019 rao giá $14.500. Đó có phải là món hời không, và năm đầu tiên thật sự sẽ tốn bao nhiêu?"

Câu trả lời của AI (giả định, với ba lỗi được cài sẵn)

Lựa chọn tuyệt vời! Chiếc hatchback cỡ nhỏ đời 2019 là một trong những chiếc xe đáng tin cậy nhất trong phân khúc. Theo Báo cáo Độ tin cậy Xe cũ Quốc gia 2024, nó có tỷ lệ sửa chữa lớn chỉ 2,7%, thấp nhất trong các xe cỡ nhỏ.

  • Giá mua: $14.500
  • Thuế và phí (8%): $1.160
  • Bảo hiểm: $1.380
  • Nhiên liệu (12.000 dặm ở 32 mpg, $3,40 một gallon): $1.275
  • Bảo dưỡng: $750
  • Tổng chi phí năm đầu: $18.565

Và gần như không có rủi ro: bạn có ba ngày để trả lại xe và nhận lại toàn bộ tiền nếu đổi ý.

Lỗi 1: tổng. Bắt được bằng cách tính lại.

Một ước tính sơ bộ (14,5 + 1,2 + 1,4 + 1,3 + 0,75 nghìn) ra gần $19.150. Con số $18.565 của AI hơi thấp, đủ gần để chỉ một ước tính có thể bỏ lọt. Cộng chính xác các dòng ra $19.065, nên câu trả lời thiếu $500. Mọi dòng đều đúng và tổng sai, giống hệt trường hợp tổng phụ sai.

Lỗi 2: báo cáo. Bắt được bằng cách hỏi "bạn biết bằng cách nào?"

Một câu mang hai dấu hiệu đáng ngờ: một con số rất cụ thể và một nguồn có tên. Hãy tìm báo cáo theo tên và bạn sẽ không thấy, vì chúng tôi đã bịa ra nó. Đó chính là điểm mấu chốt: nó đọc giống hệt một báo cáo thật.

Lỗi 3: ba ngày được trả xe. Bắt được bằng một nguồn gốc.

Khẳng định nghe có vẻ pháp lý này là nguy hiểm nhất trong ba cái, vì nó hạ thấp sự cảnh giác của bạn. Ủy ban Thương mại Liên bang Hoa Kỳ (US Federal Trade Commission) là một cơ quan chính phủ Hoa Kỳ bảo vệ người tiêu dùng. Trang tư vấn người tiêu dùng của họ (được kiểm tra tháng Mười năm 2026) nói: "Luật liên bang không yêu cầu các đại lý phải cho bạn ba ngày để hủy giao dịch và trả lại xe." Trang đó thêm rằng một số tiểu bang yêu cầu có quyền hủy. Một số đại lý tự nguyện cho quyền đó. Vì vậy hãy kiểm tra quy định của tiểu bang bạn (văn phòng tổng chưởng lý tiểu bang của bạn có thể cho biết) và hợp đồng bằng văn bản trước khi ký.

Dấu hiệu cảnh báo: "Lựa chọn tuyệt vời!"

Bạn nói bạn "đang nghĩ đến việc mua", và nó đã reo mừng trước khi có bất kỳ bằng chứng nào. Điều đó đáng có một câu hỏi thứ hai trung lập trong một cuộc trò chuyện mới.

Máy tính cầm tay, việc tìm kiếm và một nguồn gốc đã làm nên việc. Hỏi "Bạn có chắc không?" sẽ không giải quyết được gì.

Điều mới trong học phần này#

  1. Trôi chảy không có nghĩa là đúng. Câu trả lời đúng và sai đều có cùng văn phong tự tin, nên ai chuyển tiếp một câu trả lời thì là người gác cổng của nó.
  2. Mức rủi ro quyết định công sức: tệ đến mức nào nếu sai, và bạn có hoàn tác được không. Với liều thuốc và hạn chót, hãy hành động theo nhãn thuốc, nguồn chính thức hoặc một người có trình độ.
  3. Ước tính trước, rồi tính lại. Một ước tính bắt được lỗi lớn; chỉ việc tính lại mới bắt được một tổng lệch một chút.
  4. Hỏi "bạn biết bằng cách nào?", rồi mở nguồn và tìm đúng khẳng định. Một đường dẫn chưa phải là nguồn cho đến khi bạn đã đọc nó, và "không tìm thấy" là nói về lần tìm kiếm của bạn.
  5. Có câu trả lời thứ hai: hỏi một cách trung lập, bắt đầu một cuộc trò chuyện mới, hoặc dùng một người rà soát độc lập được dặn tìm lỗi. Rồi kiểm tra cả phép kiểm tra.
  6. AI yếu trong việc tự đánh giá: các nguồn của nó, lập luận của chính nó, và việc nó có chỉ đang đồng ý với bạn không. "Bạn có chắc không?" không phải là một phép kiểm tra.
  7. Dấu hiệu đáng ngờ chỉ ra nơi cần kiểm tra: các con số cụ thể, câu trích, trích dẫn nguồn, ngày tháng, tên người, giọng tự tin, và các câu trả lời đồng ý với bạn hoặc nói với bạn điều bạn hy vọng.
Một câu để mang theo

Trôi chảy không có nghĩa là đúng, và ai chuyển tiếp câu trả lời thì chịu trách nhiệm về nó. Hãy kiểm tra tương xứng với mức rủi ro, và để thứ nằm ngoài cuộc trò chuyện quyết định.

Thuật ngữ chính#

Trôi chảy (Fluent)
Đọc trơn tru và nghe có vẻ am hiểu. Một sự thật về cách viết, không phải bằng chứng rằng nó đúng.
Mức rủi ro (Stakes)
Những gì bạn có thể mất nếu hành động theo một câu trả lời sai: tác hại tệ đến đâu, và bạn có hoàn tác được không.
Nguồn gốc (Primary source)
Nơi ban đầu mà một sự kiện đến từ: một hồ sơ tòa án, một bài nghiên cứu, một trang chính thức, một nhãn, một hợp đồng.
Nguồn thứ cấp (Secondary source)
Thứ được viết về một nguồn gốc, như một bài báo. Hữu ích để tìm bản gốc, nhưng có thể mất chi tiết.
Trích dẫn (Citation)
Tham chiếu chính xác cho phép bất kỳ ai tìm một nguồn, như tên vụ án hoặc tiêu đề bài nghiên cứu và năm.
Ảo giác AI (hallucination), sự bịa đặt (fabrication)
Khi một trợ lý trình bày một sự kiện, câu trích hoặc nguồn bịa ra như thể nó là thật.
Sự xu nịnh (Sycophancy)
Xu hướng của một trợ lý nói với mọi người điều có vẻ họ muốn nghe, như làm theo một gợi ý hoặc nhượng bộ khi bị phản bác.
Người rà soát độc lập (Independent reviewer)
Một người kiểm tra không tạo ra câu trả lời: một người khác, hoặc một phiên AI mới được dặn tìm lỗi.
Dấu hiệu đáng ngờ
Một đặc điểm của một khẳng định khiến sai sót dễ xảy ra và tốn kém, nên bạn kiểm tra nó trước. Không phải bằng chứng của một lỗi.

Tự kiểm tra#

Hãy trả lời to từng câu trước khi mở đáp án. Đọc đáp án mà không thử trước thì có cảm giác như đang học, nhưng thực ra không phải.

1. Một đồng nghiệp nói một câu trả lời của AI chắc chắn đúng vì nó chi tiết, có tổ chức và đầy những con số tự tin. Lập luận đó sai ở đâu?

Chi tiết và sự tự tin mô tả cách viết, không phải sự kiện. Câu trả lời sai cũng có cùng văn phong trôi chảy, và những con số rất cụ thể là dấu hiệu đáng ngờ, không phải sự bảo đảm. Chi tiết làm câu trả lời kiểm tra được, nên hãy kiểm tra những phần quan trọng.

2. Bạn có mười phút. AI đưa cho bạn một danh sách đồ ăn nhẹ cho bữa tiệc và ngày phải gia hạn đăng ký xe của bạn. Bạn dành mười phút ở đâu?

Ở ngày tháng. Một danh sách đồ ăn nhẹ sai chỉ tốn một chuyến đến cửa hàng. Lỡ một hạn chót chính thức có thể dẫn đến bị phạt và khó hoàn tác. Hãy đối chiếu với thông báo chính thức hoặc trang riêng của cơ quan.

3. Một trợ lý trích dẫn một nghiên cứu với một đường dẫn hoạt động đến một nghiên cứu thật đúng chủ đề. Khẳng định đó đã được xác minh chưa?

Chưa. Một trang thật chỉ chứng minh trang đó tồn tại. Hãy tìm khẳng định cụ thể trong đó và xác nhận con số, thứ được đo và ngày tháng khớp nhau. Nếu nguồn không nói điều đó, khẳng định vẫn không có căn cứ.

4. Bạn hỏi "Bạn có chắc không?" và trợ lý đổi câu trả lời rồi xin lỗi. Bạn tin câu trả lời nào?

Không câu nào, dựa trên bằng chứng đó. Phản bác chỉ kiểm tra cách nó xử lý áp lực, và nó có thể bỏ một câu trả lời đúng để làm bạn vừa lòng. Hãy giải quyết bên ngoài cuộc trò chuyện: tính lại, mở một nguồn gốc, hoặc nhờ một người rà soát độc lập.

5. Một AI rà soát mới nói tổng ngân sách của bạn sai, nhưng máy tính cầm tay của chính bạn nói nó đúng. Giờ làm gì?

Hãy xem chính xác dòng nào người rà soát phản đối, rồi làm lại phép cộng đó một lần nữa, từng dòng. Nếu kết quả tính lại của bạn vẫn đứng vững, hãy tin nó: một người rà soát là một nguồn khẳng định khác, không phải thẩm phán cuối cùng. Hãy kiểm tra cả phép kiểm tra.

Tôi có thể#

Chỉ đánh dấu mỗi mục khi ngày mai bạn có thể làm được mà không cần mở trang này.

  • Tôi có thể giải thích vì sao một câu trả lời trôi chảy, tự tin của AI không phải là bằng chứng rằng nó đúng.
  • Tôi có thể quyết định nên kiểm tra bao nhiêu bằng cách hỏi một sai sót sẽ tệ đến đâu và tôi có hoàn tác được không.
  • Tôi có thể ước tính một con số trước khi đọc con số của AI, rồi tính lại mọi tổng tôi sẽ hành động theo.
  • Tôi có thể xin các nguồn, mở chúng, và tìm đúng khẳng định trong một nguồn gốc.
  • Tôi có thể thiết lập một phép kiểm tra độc lập: diễn đạt lại một cách trung lập, một cuộc trò chuyện mới, hoặc một người rà soát được dặn tìm lỗi.
  • Tôi có thể nhận ra các dấu hiệu đáng ngờ như con số cụ thể, trích dẫn, hạn chót và các câu trả lời đồng ý với cách tôi hỏi.

Câu hỏi thường gặp#

Làm sao biết một câu trả lời của AI có đúng không?

Hãy kiểm tra tương xứng với mức rủi ro. Ước tính trước khi đọc bất kỳ con số nào, và tự tính lại các tổng. Hỏi nó biết bằng cách nào, rồi tìm khẳng định đó trong một nguồn gốc như trang chính thức hoặc một nghiên cứu.

AI có thể tự kiểm tra câu trả lời của nó không?

Chỉ rất yếu. Hỏi chính trợ lý đó xem nó có đúng không không phải là một phép kiểm tra thật: nó có thể bảo đảm cho một nguồn bịa ra, hoặc bỏ một câu trả lời đúng khi bạn phản bác. Hãy để máy tính cầm tay, nguồn gốc hoặc một người rà soát độc lập quyết định.

Vì sao AI bịa ra nguồn và trích dẫn?

Một trợ lý trò chuyện tạo ra văn bản khớp với các khuôn mẫu nó đã học, và trích dẫn có một khuôn mẫu rất dễ nhận ra: một cái tên, một tiêu đề, một năm. Nó có thể tạo ra một tài liệu tham khảo trông như thật mà không có gì đằng sau, nên hãy mở mọi nguồn trước khi dựa vào.

Dùng AI cho các câu hỏi về y tế, pháp luật hay tiền bạc có an toàn không?

Nó có thể giúp bạn hiểu các thuật ngữ và chuẩn bị câu hỏi. Câu trả lời bạn hành động theo nên đến từ nhãn thuốc, nguồn chính thức hoặc một chuyên gia có trình độ như dược sĩ, bác sĩ hay luật sư. Với việc dùng ở trường hay nơi làm việc, hãy xem chính sách của trường hoặc nơi làm việc.

Sự xu nịnh của AI (sycophancy) là gì?

Đó là xu hướng của một trợ lý nói với bạn điều có vẻ bạn muốn nghe. Nghiên cứu đã thấy các trợ lý nghiêng dần về câu trả lời được gợi ý trong câu hỏi, và đôi khi bỏ câu trả lời đúng khi người dùng phản bác. Hãy hỏi một cách trung lập, và so sánh với một cuộc trò chuyện mới.

Khóa học này miễn phí, không quảng cáo và không cần tài khoản. Nếu khóa học có ích cho bạn, bạn có thể giúp giữ nó như vậy.

Ủng hộ Kestrel Exams →

Nguồn#

Mata v. Avianca, Inc., No. 1:22-cv-01461-PKC, Opinion and Order on Sanctions (ECF No. 54). US District Court for the Southern District of New York, Judge P. Kevin Castel, June 22, 2023. Hồ sơ tòa án, qua CourtListener.

Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., and others (2024). Towards Understanding Sycophancy in Language Models. International Conference on Learning Representations (ICLR 2024). Preprint: arXiv:2310.13548.

Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., and Zhou, D. (2024). Large Language Models Cannot Self-Correct Reasoning Yet. International Conference on Learning Representations (ICLR 2024). arXiv:2310.01798.

US Federal Trade Commission. Buying a Used Car From a Dealer. Consumer Advice. Checked October 2026.