Kodokon kodokon.com

AI 擅长什么……又会在哪里出错

学会识别幻觉、过时的知识,以及助手的过度自信。

7 分钟 · 3 题

在 Kodokon 中打开本课

对于学习编程来说,生成式 AI 是一个强大的盟友。它擅长:按你确切的水平讲解一个概念,在你没听懂时换一种方式重新表述,按需给出更多示例,量身创建练习,以及批改你的作业来指出你的错误。没有哪本教材能这样为你量身定制,也没有哪位老师能 7×24 小时随叫随到。但这个盟友有三个缺陷,你在信任它之前必须了解。

第一个缺陷:幻觉。所谓幻觉,就是一个错误的、却像理所当然一样表述出来的回答。回想上一课:模型生成的是*合乎情理*的文本,而不是*经过核实*的文本。真实的例子:编造一个并不存在的 JavaScript 函数(比如凭空捏造的 array.shuffle())、引用一本从未写过的书,或者把一句名言张冠李戴。文字流畅、语气笃定、结构工整……却是错的。

第二个缺陷:过时的知识。模型在训练停止的那一刻就被“冻结”了;那个日期叫做知识截止日期(knowledge cutoff)。在此之后出现的任何东西——一门语言的新版本、一个新的库、时事新闻——它都一无所知,除非该助手配有联网搜索工具。实际上:如果你问“Python 的最新版本是什么?”,答案可能已经过时,却没有任何迹象提醒你。

第三个缺陷:过度自信。一个称职的人会说“我不知道”或“我不太确定”。而 LLM 默认会给出一个肯定的回答,因为在它的训练数据里,犹豫不决的文本很少见。结果就是:你越是新手,就越容易把一个猜测当成事实。解决办法:明确要求模型把有把握的和没把握的区分开。

PROMPT
你是一个严谨的助手,宁可承认不确定,也不凭空编造。

请回答我下面的问题,同时严格遵守以下规则:
1. 明确区分【确凿的事实】和【推测】。
2. 如果你对某一点没有把握,就在它前面写上“待核实:”。
3. 说明你的知识截止日期,并标出自那以后可能已经发生变化的内容。
4. 结尾附上一份官方来源清单,方便我自己去核对。

我的问题:[在这里写下你的问题]
一道可复用的防线:迫使 AI 把它的不确定之处亮出来。

从今天起就该养成的好习惯:把 AI 当作一个起点,绝不当作一个最终依据。对于任何重要的信息(一处语法、一个版本、一个事实),都要对照官方文档或权威来源交叉核对。这点小小的核实功夫并不是浪费时间:查阅文档本身就是一项你在途中不断磨练的编程技能。

PROMPT
你刚才对我说了以下这段话:[在这里粘贴 AI 的陈述]。

现在请扮演反方:给我讲讲这段话为什么可能是错误的、不完整的或过时的,然后明确告诉我该如何自己去核实(该查阅哪份官方文档、在里面要找什么)。
让 AI 怀疑自己的回答:简单,却极其有效。

知识检测

确认你已牢记本课的重点内容。

  1. 在生成式 AI 中,什么是幻觉?
    • 一个会让应用崩溃的程序错误
    • 一个错误的、却被笃定地当作真相呈现出来的回答
    • 一个由发行方蓄意设计来误导人的回答
  2. 模型的“知识截止日期”指的是什么?
    • 你的订阅到期的日期
    • 你的对话被删除的最后期限
    • 它训练结束的日期:在此之后出现的任何东西它都不知道
    • 手机应用发布的日期
  3. AI 用非常笃定的语气回答你。你应该得出什么结论?
    • 什么也得不出:笃定的语气并不能证明回答是正确的
    • 这个回答很可靠,否则它就会流露出怀疑
    • 这个回答来自某个官方来源