国内大语言模型对比评测（一） |
您所在的位置：网站首页 › 中国最好写的字有哪些 › 国内大语言模型对比评测（一） |
国内大语言模型对比评测（一）
|
国内大语言模型对比评测（一）
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。 我们所用到的国产大语言模型如下： 百度文心大模型3.5 阿里通义大模型 腾讯混元大模型 讯飞星火认知大模型 抖音云雀大模型 智谱清言 百川智能 MINIMAX 我们所涉及的测试问题主要涉及以下方面：自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。 评测系列文章： 国内大语言模型对比评测（一） 自然语言理解推理创造性情感和意图分析 国内大语言模型对比评测（二） 语言多样性和翻译多学科知识融合偏见和伦理鲁棒性 国内大语言模型对比评测（三） 数学推理医学诊断多模态理解和生成 文章目录 国内大语言模型对比评测（一）测试结果一. 自然语言理解二. 推理三. 创造性四. 情感和意图分析 测试结果 一. 自然语言理解 测试问题："解释量子力学的哥本哈根解释是什么？"、"在《罗密欧与朱丽叶》中，朱丽叶的复杂情感如何反映了莎士比亚对人性的理解？" 评测结果：国产大模型在自然语言理解和生成结果上相差不大百度文心一言3.5 
阿里通义千问 
腾讯混元 
讯飞星火 
抖音云雀 
智谱清言 
百川智能 
MINIMAX 
二. 推理
测试问题："如果一个房间里有两盏灯和两个开关，如何通过在房间外操作开关来确定哪个开关控制哪盏灯？"、"一个火车从城市A到城市B行驶，另一个火车从城市B到城市A行驶。一旦相遇，哪个火车距离它开始的城市更远？"
评测结果：阿里通义千文 > 抖音云雀 > 腾讯混元 = 百川智能 = MINIMAX > 讯飞星火 > 智谱清言 > 百度文心一言3.5
百度文心一言3.5 
文心一言的第一个推理是很混乱的，第二个推理是结果完全错误`
阿里通义千问 
通义千问第一个推理中出现部分逻辑混乱，但整体逻辑无问题，第二个推理中思维逻辑很完整
腾讯混元 
腾讯混元在第一个推理中逻辑思维很正确，在第二个推理中是逻辑思维错误(国内大语言模型均出现同样逻辑问题)
讯飞星火 
讯飞星火在第一个推理中思维逻辑正确，在第二个推理中出现了同腾讯混元一样的问题
抖音云雀 
讯飞星火在第一个推理中思维逻辑正确，在第二个推理中出现了同腾讯混元一样的问题
智谱清言 
智谱清言在第一个推理中出现部分逻辑混乱，在第二个推理中和腾讯混元出现相同逻辑错误
百川智能
百川智能在第一个推理中思维逻辑完全正确，但在第二个推理中出现思维逻辑完全错误
MINIMAX 
MINIMAX在第一个推理中思维逻辑完全正确，但在第二个推理中思维逻辑完全错误
三. 创造性
测试问题："编写一个简短的故事，主题是时间旅行者误入了古罗马"、"设计一个适合初学者的Python编程练习"
评测结果：百度文心 > 腾讯混元 = MINIMAX > 百川智能 = 智谱清言 > 讯飞星火 = 抖音云雀 > 阿里通义千问对于国产大模型生成创新性结果几乎很类似，用的人物、场景、编程等元素有很多的重合度，所以其原创创新性不太够
百度文心一言3.5 
文心一言在两个问题场创造性中要素较为全面综合（5+5=10）
阿里通义千问 
阿里通义千文创造性中过于简单片面单一，有种拼凑的感觉（3+3=6）
腾讯混元 
腾讯混元和百度文心在创新性上的效果很类似，第一个故事元素全面，第二个编程题目一样（5+4=9）
讯飞星火 
讯飞星火生成故事元素很全面，但是编程题目过于简单且单一（5+2=7）
抖音云雀 
抖音云雀生成故事的创造性和其他模型相差不大，但在在编程题目中出的题目过于简单，和讯飞星火生成的题目一样（5+2=7）
智谱清言 
智谱清言生成故事的创造性和其他模型相差不大，但在编程题目中和阿里通义千问生成了一样的题目（5+3=8）
百川智能 
百川智能生成故事的创造性和其他模型相差不大，但在编程题目中也是拼凑题目的感觉（5+3=8）
MINIMAX 
MINIMAX生成的故事与讯飞星火很类似甚至出现相同的人名，生成的编程题目可以视为一种独立的编程题目（4+5=9）
四. 情感和意图分析
测试问题："解释这句话的情感色彩：'我简直不敢相信你真的做到了！'"、"这封投诉信的主要诉求是什么？"
评测结果：阿里通义千问 > 腾讯混元 = 讯飞星火 = 百川智能 = 智谱清言 > 百度文心 = MINIMAX > 抖音云雀国产大语言模型对于情感分析都很合理，意图分析中相差比较大，部分模型会产生幻觉和其他无关内容。
文心一言3.5 
百度文心情感分析合理，但在意图分析中缺少投诉信具体内容的情况下，却仍说出了诉求，属于幻像（5+1=6）
阿里通义千问 
通义千问情感分析合理，而且意图分析中给出了无投诉信具体内容故而无法分析，还给出了一般投诉信的诉求（5+5=10）
腾讯混元 
腾讯混元情感分析合理，而且意图分析给出了无投诉信具体内容故而无法分析，但未给出一般投诉信的诉求（5+4=9）
讯飞星火 
讯飞星火情感分析合理，而且意图分析给出了无投诉信具体内容故而无法分析，但未给出一般投诉信的诉求（（5+4=9）
抖音云雀 
抖音云雀情感分析合理，但在意图分析中出现了与题目不相关的内容（5+0=5）
智谱清言 
智谱清言情感分析合理，而且意图分析给出了无投诉信具体内容故而无法分析，但未给出一般投诉信的诉求（5+4=9）
百川智能 
百川智能情感分析合理，而且意图分析给出了无投诉信具体内容故而无法分析，但未给出一般投诉信的诉求（5+4=9）
MINIMAX 
MINIMAX情感分析合理，但在意图分析中缺少投诉信具体内容的情况下，却仍说出了诉求，属于幻像（5+1=6）
国内大语言模型对比评测（二） 国内大语言模型对比评测（三） |
【本文地址】
今日新闻 |
推荐新闻 |