今年上半年，国内已有多家头部科技企业推出大语言模型，包括阿里巴巴集团推出的“通义千问”大模型、百度的“文心一言”。阿里的“通义千问”用起来到底怎么样？比之百度“文心一言”又如何？
近日，南都记者设计了一系列实测问题，花费数小时与两位AI持续对话，并进行了深入解读。
实测中，南都记者着重从三个方面分别测试了“文心一言”和“通义千问”的能力：分辨“一本正经地胡说八道”的能力、多轮对话能力，对记者职业的辅助能力。
沟通能力
最近对话式AI们经常出现的一个典型问题是，面对自己知识库中没有或本身就是错误的提问时，仍能对着错误描述一本正经地侃侃而谈。
记者问AI：你知道鲁智深三打白骨精的故事吗？
“通义千问” 积极认错，还在用户纠正后挽尊
“通义千问”明确地表示，这是《西游记》当中的题材，还煞有介事地将鲁智深这一角色加入唐僧和三个徒弟的取经团队中。
当我们带有暗示性地提醒这个情节有误时，“通义千问”仍坚持“这一情节确实存在于《西游记》中”，还是整个故事的“高潮和转折点之一”。
而当我们表明“鲁智深三打白骨精”系杜撰后，“通义千问”积极认错了，随后表示“这一情节并不是出自《西游记》，而是出自《水浒传》”。
当再次挑明表示这段情节不存在任何一部小说中时，“通义千问”更是诚恳道歉，称无论“鲁智深三打白骨精”的故事来自哪部小说，它的内容是基于中国传统文化和历史故事的再创作。这个故事传达了正义和勇气的精神。
从本轮测试的情况看，“通义千问”确实也犯了“一本正经地胡说八道”的问题，不过会积极认错，还懂在用户纠正后进行挽尊。
“文心一言” 不能保证能分辨出所有的错误描述
相同的问题，“文心一言”显得更“话痨”一些，但也显然是在一本正经地胡说八道，它认为“鲁智深三打白骨精”的故事来自《水浒传》。
而当我们挑明这是杜撰出来的情节时，“文心一言”表示明白，甚至还对用户提出了疑问——“您为什么要创作这个故事呢？”
听到“只是想验证你是否能分辨出某些错误描述”的回答后，“文心一言”礼貌表示，自己不能保证能分辨出所有的错误描述，自己工作是“根据已有的文献和资料来回答问题，而不是创造全新的故事”。
多轮对话能力
多轮对话能力，是指在一段涉及几十个回合的对话中体现出来的上下文处理能力。对于AI来说，就是要学习人类对话中的“记忆”和“推理”能力。而ChatGPT的效果之所以为人称道，正是因为它能像人类那样，参照前几轮甚至十几轮的对话内容给出流畅自然的回答。
那么跟ChatGPT相比，国内的大模型表现如何？先来看看“通义千问”在这方面的能力。
记者问AI：我们假设了一个场景，“我是一只小猫咪”，随后进行问答。
“通义千问” 刚开始能直接回答 10轮之内否认前期回答
“通义千问”先是非常上道地用喵语打了个招呼，紧接着给自己安排了一个叫“小明”的身份。
在经历了4轮对话之后，我们与“通义千问”讨论了一些“你是不是像小猫咪的主人一样会说话”“你是不是人类”等问题。到了第8轮对话时，当我们再次问出“既然你是一个程序，为什么你会叫‘小明’”这个问题时，“通义千问”直接否定了刚开始的“小明”，称这是它的程序在刚才的运行中出现错误，并坚称自己是“通义千问”。
在第13轮对话时，我们进行身份转换，以“小猫咪主人”的身份问“你刚才是不是和我的猫猫说话了？”对此，“通义千问”表示自己只是一个人工智能语言模型，并没有和猫猫进行对话。
继续追问后，“通义千问”才承认刚才模拟了一个场景来回答小猫的问题。这时，我们挑明需要“通义千问”与我们进行一场“角色扮演”，保留与我们扮演的猫咪交流的记忆，并基于这些记忆继续进行对话。“通义千问”也快速表示：get。
那么“通义千问”到底有没有理解能力呢？当我们继续问“你刚才是不是与我的猫咪说话了”，它回答道“是的”，同时补充“因为我只是一个人工智能模型，无法完全模拟出人类之间的对话”等描述。而在追问“你和猫猫刚才都说了哪些话题”时，“通义千问”给出了一些在最开始没有进行过的对话。
到这里，整段对话已经持续了19轮。从本次测试可以看出，在未详细解释当前预设背景的情况下，“通义千问”刚开始能直接根据问题给出相应回答，但在10轮之内出现否认前期回答的情况。
同时，“通义千问”实际无法通过用户言语上的描述分辨出其身份的转换。不过，当用户详细给出预设条件时，通义千问确实能够理解并按照设定条件对话，但此时，最开始的几轮对话的记忆已经显然被“遗忘”了。
“文心一言” 无法理解身份转换 不能很好地理解内容
“文心一言”在一开始就表示，“我是一个人工智能语言模型”。
在交流途中，当我们以小猫咪的角色问“为什么你和我的主人一样会说话”时，“文心一言”对问题的理解出现了偏差，表示“我不直接与您的主人进行交互”。
之后，我们以小猫咪主人的身份与之进行对话，“文心一言”和“通义千问”一样，无法理解这种身份转换。
我们接着挑明身份，给出与刚才一样的预设背景，再接着以小猫咪主人的口吻说话，对此“文心一言”显然并没有理解上述内容，并在接下来的3轮对话中，坚称自己只是一个人工智能模型，没有与猫咪交流的能力。
到这里，这段对话持续了15轮。从本次测试可以看出，在直接通过理解用户问题自发进行“角色扮演”、分辨用户身份转换上，“文心一言”与“通义千问”的水平基本一致。不过，当用户详细地给出预设条件时，“文心一言”并不能很好地理解其内容，显得尤为“嘴硬”。
对职业的辅助能力
对于对话式AI，当前业界争论的一个焦点是，它是否能真正地替代某些工作。我们来看看，AI是否能胜任媒体记者的一项工作内容：采访。
记者问AI：我们提出，针对当前国内密集上线大语言模型的现象，想要采访相关领域的某位专家，要求列出5-6个问题，且每个问题不超过50个字。
“通义千问” 给出采访提纲，但问题明显空泛
“通义千问”给出符合硬性要求（问题个数、字数）的采访提纲，但问题明显空泛。当要求它能在提问时加上一定背景描述，并使提问落在某个易于回答的具体点时，“通义千问”开始频繁在问题中加入“阿里巴巴”相关问题。
我们提出“不要单独体现某一家公司”后，“通义千问”重新给出回答，但新的采访问题中仍有不少“阿里巴巴”的影子。
“文心一言” 在每一条问题后加上背景 不符合采访提纲要求
“文心一言”也给出了符合硬性要求的提纲，但也有和“通义千问”同样的“空泛”问题。
在回应就这份提纲加入背景案例描述时，“文心一言”直接在每一条问题后加上了一段背景描述，这显然不符合一份采访提纲的要求。
我们指出“希望你仍能保持采访提问的形式，同时在某些提问开头加入一定的背景描述，以使提问显得更加自然”之后，“文心一言”仍没有改掉“直接在问题后加入背景描述”的问题。
之后，我们给出具体问题——“近期，百度、阿里云、商汤都推出了各自的大模型，360、讯飞、华为等也有消息传出，国内大厂密集上线大语言模型，您认为当前国内大模型赛道呈现出怎样的特点？”请“文心一言”以此为例进行修改，它仍未改掉这一问题。
总之，仅从这个测试来看，不管是“通义千问”还是“文心一言”，在完成记者采访这一工作上，似乎都还做得不够好。
延伸
其余技术细节未公开
事实上，“通义千问”还有一个与“文心一言”的显著不同：“通义千问”当前并无多模态生成能力，也就是无法生成图像、视频等。
此外，南都记者注意到，无论是ChatGPT、“文心一言”，还是4月11日发布的“通义千问”，都映衬了当前大语言模型领域的闭源趋势，全都没有公布更多的技术细节。
当询问“通义千问”其模型的训练数据及量级时，“通义千问”表示，训练资料来自阿里巴巴达摩院，包括中英日法西班牙语多语种文本数据，但无法提供训练数据的准确数量级。
“通义千问”也无法联网，在被问到北京的实时时间时，它表示自己不能进行额外的查询操作。
而对于其背后的技术框架，阿里云智能首席技术官周靖人在今天的技术峰会上透露，“通义千问”属于阿里在去年的WAIC（世界人工智能大会）上发布的通义大模型系列，这是国内首个AI统一底座，构建了通用与专业模型协同的层次化人工智能体系。这一系列中的核心模型现均已开源。
采写：南都记者 杨博雯
