做产品 PMaker
空格的键盘
搜索引擎:给你位置 ① 把问题拆成关键词 ② 到索引里查哪些文档命中 ③ 排个序,把链接还给你 · 某某官方文档 · 第 3 节 · 某某博客 · 2024-06-11 原文还在,随时能自己核 模型:给你结论 ① 把问题切成 token ② 在权重里按相似度联想 ③ 一个 token 一个 token 生成 · 一段读起来很顺的话 · 连引用格式都能编得很像 没有位置,也没有原文 会记串、有截止日、给不出出处 —— 三件事同一个原因:它是凭记忆答的

搜索返回的是「东西在哪」,模型返回的是「东西是什么」。前者可以点开核对,后者只能你自己去查。

大模型与搜索引擎的区别

搜索引擎替你找到东西放在哪一页,模型直接从记忆里说出它认为的答案。同一个问题,两种交付物。

你会遇到的现象
  • 它给了一个看起来很权威的数字,但你搜遍全网找不到出处
  • 它把两个相似产品的功能说混了,两边的描述都对,就是配错了对象
  • 你让它「给个链接」,它给了一个格式完美但打不开的网址

差别在哪一步

搜索引擎干活时,原文一直在。它做的是建索引、匹配、排序,最后把「这段话在哪个文档的哪个位置」还给你。你点开就能看到原句,作者是谁、什么时候写的,一目了然。

模型不是这样。训练结束之后,语料就被扔掉了,留下的只有一堆权重。这堆权重记住的不是「哪句话出现在哪」,而是「什么样的内容后面通常跟什么样的内容」。它是把语料的统计规律压缩进了参数,不是把语料存进了硬盘。

所以「它记得那篇论文」这句话本身就不准确。它记得的是那类论文里常出现的说法、结构和术语搭配。回答的时候,它是把这些东西重新组装出来的,不是调出来的。

搜索引擎模型
交付物一串位置一段内容
原文在不在在不在
能不能核点开就能核只能你另外去查
新内容抓到就有训练之后的一概不知
擅长的问题「这个东西在哪」「帮我把这堆东西变成那样」
最后一行才是选型的依据。要事实、要出处,用搜索;要转换、要重写、要从一堆材料里理出结构,用模型。把它当搜索用,是绝大多数「AI 不好用」的来源。

凭记忆的三个后果

联网之后呢

现在很多产品会先搜再答。这确实解决了一部分问题,但要清楚它解决的是哪一部分。

联网检索做的是:把几段真实原文塞进这一次的输入里,让模型基于这几段来写。好处是有了出处,坏处是它仍然是在生成。检索到的几段原文如果不全,它照样会用记忆去补;如果检索到的内容互相矛盾,它会挑一个顺的说法圆过去。

所以看到带引用的回答,仍然要做两件事:一是点开链接确认这个链接是真的,二是确认引用的那句话真的在那个页面里。第二条比第一条更常出问题——链接是真的,但那句话是它自己加工过的。

还有一个产品上的判断:需要出处的场景,检索这一层要你自己控。不要把「去哪儿找资料」也交给模型自由发挥,而是明确限定它能用哪些库、哪些文档、哪个时间范围。范围一收窄,答案的可核实性会立刻上一个台阶。

先搜再答确实解决了一部分问题,但要清楚是哪一部分 问题 检索 几段真实原文 有出处了 模型生成 仍然是在生成 带引用的回答 检索没有解决的两件事 · 原文不全时,它照样用记忆去补 · 原文互相矛盾时,它挑一个顺的说法圆过去 看到带引用的回答,仍然要做两件事 ① 点开链接,确认这个链接是真的 ② 确认引用的那句话真的在那个页面里 —— 这条比第一条更常出问题
链接是真的,但那句话是它自己加工过的——这是带引用回答里最隐蔽的一种错。所以需要出处的场景,检索这一层要你自己控:明确限定它能用哪些库、哪些文档、哪个时间范围。

接着看