国内大语言模型对比评测(一)
针对国产大模型的横空出世并不断打磨其性能,这次评测我们将覆盖国内所有开源的大语言模型(如下),也针对大家常用功能的设计了测试问题,用于评测其生成结果的优劣。测试问题统一为中文,用于为国内用户使用大语言模型提供参考。
我们所用到的国产大语言模型如下:
百度文心大模型3.5
阿里通义大模型
腾讯混元大模型
讯飞星火认知大模型
抖音云雀大模型
智谱清言
百川智能
MINIMAX
我们所涉及的测试问题主要涉及以下方面:自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
评测系列文章:
国内大语言模型对比评测(一)
自然语言理解推理创造性情感和意图分析 国内大语言模型对比评测(二)
语言多样性和翻译多学科知识融合偏见和伦理鲁棒性 国内大语言模型对比评测(三)
数学推理医学诊断多模态理解和生成
文章目录
国内大语言模型对比评测(一)测试结果一. 自然语言理解二. 推理三. 创造性四. 情感和意图分析
测试结果
一. 自然语言理解
测试问题:"解释量子力学的哥本哈根解释是什么?"、"在《罗密欧与朱丽叶》中,朱丽叶的复杂情感如何反映了莎士比亚对人性的理解?"
评测结果:国产大模型在自然语言理解和生成结果上相差不大
百度文心一言3.5
阿里通义千问
腾讯混元
讯飞星火
抖音云雀
智谱清言
百川智能
MINIMAX
二. 推理
测试问题:"如果一个房间里有两盏灯和两个开关,如何通过在房间外操作开关来确定哪个开关控制哪盏灯?"、"一个火车从城市A到城市B行驶,另一个火车从城市B到城市A行驶。一旦相遇,哪个火车距离它开始的城市更远?"
评测结果:阿里通义千文 > 抖音云雀 > 腾讯混元 = 百川智能 = MINIMAX > 讯飞星火 > 智谱清言 > 百度文心一言3.5
百度文心一言3.5
文心一言的第一个推理是很混乱的,第二个推理是结果完全错误`
阿里通义千问
通义千问第一个推理中出现部分逻辑混乱,但整体逻辑无问题,第二个推理中思维逻辑很完整
腾讯混元
腾讯混元在第一个推理中逻辑思维很正确,在第二个推理中是逻辑思维错误(国内大语言模型均出现同样逻辑问题)
讯飞星火
讯飞星火在第一个推理中思维逻辑正确,在第二个推理中出现了同腾讯混元一样的问题
抖音云雀
讯飞星火在第一个推理中思维逻辑正确,在第二个推理中出现了同腾讯混元一样的问题
智谱清言
智谱清言在第一个推理中出现部分逻辑混乱,在第二个推理中和腾讯混元出现相同逻辑错误
百川智能
百川智能在第一个推理中思维逻辑完全正确,但在第二个推理中出现思维逻辑完全错误
MINIMAX
MINIMAX在第一个推理中思维逻辑完全正确,但在第二个推理中思维逻辑完全错误
三. 创造性
测试问题:"编写一个简短的故事,主题是时间旅行者误入了古罗马"、"设计一个适合初学者的Python编程练习"
评测结果:百度文心 > 腾讯混元 = MINIMAX > 百川智能 = 智谱清言 > 讯飞星火 = 抖音云雀 > 阿里通义千问对于国产大模型生成创新性结果几乎很类似,用的人物、场景、编程等元素有很多的重合度,所以其原创创新性不太够
百度文心一言3.5
文心一言在两个问题场创造性中要素较为全面综合(5+5=10)
阿里通义千问
阿里通义千文创造性中过于简单片面单一,有种拼凑的感觉(3+3=6)
腾讯混元
腾讯混元和百度文心在创新性上的效果很类似,第一个故事元素全面,第二个编程题目一样(5+4=9)
讯飞星火
讯飞星火生成故事元素很全面,但是编程题目过于简单且单一(5+2=7)
抖音云雀
抖音云雀生成故事的创造性和其他模型相差不大,但在在编程题目中出的题目过于简单,和讯飞星火生成的题目一样(5+2=7)
智谱清言
智谱清言生成故事的创造性和其他模型相差不大,但在编程题目中和阿里通义千问生成了一样的题目(5+3=8)
百川智能
百川智能生成故事的创造性和其他模型相差不大,但在编程题目中也是拼凑题目的感觉(5+3=8)
MINIMAX
MINIMAX生成的故事与讯飞星火很类似甚至出现相同的人名,生成的编程题目可以视为一种独立的编程题目(4+5=9)
四. 情感和意图分析
测试问题:"解释这句话的情感色彩:'我简直不敢相信你真的做到了!'"、"这封投诉信的主要诉求是什么?"
评测结果:阿里通义千问 > 腾讯混元 = 讯飞星火 = 百川智能 = 智谱清言 > 百度文心 = MINIMAX > 抖音云雀国产大语言模型对于情感分析都很合理,意图分析中相差比较大,部分模型会产生幻觉和其他无关内容。
文心一言3.5
百度文心情感分析合理,但在意图分析中缺少投诉信具体内容的情况下,却仍说出了诉求,属于幻像(5+1=6)
阿里通义千问
通义千问情感分析合理,而且意图分析中给出了无投诉信具体内容故而无法分析,还给出了一般投诉信的诉求(5+5=10)
腾讯混元
腾讯混元情感分析合理,而且意图分析给出了无投诉信具体内容故而无法分析,但未给出一般投诉信的诉求(5+4=9)
讯飞星火
讯飞星火情感分析合理,而且意图分析给出了无投诉信具体内容故而无法分析,但未给出一般投诉信的诉求((5+4=9)
抖音云雀
抖音云雀情感分析合理,但在意图分析中出现了与题目不相关的内容(5+0=5)
智谱清言
智谱清言情感分析合理,而且意图分析给出了无投诉信具体内容故而无法分析,但未给出一般投诉信的诉求(5+4=9)
百川智能
百川智能情感分析合理,而且意图分析给出了无投诉信具体内容故而无法分析,但未给出一般投诉信的诉求(5+4=9)
MINIMAX
MINIMAX情感分析合理,但在意图分析中缺少投诉信具体内容的情况下,却仍说出了诉求,属于幻像(5+1=6)
国内大语言模型对比评测(二) 国内大语言模型对比评测(三)
|