在之前对ChatGPT的测试（与ChatGPT对话（1）：八方面能力的直观评估）中 ，那时它这两方面的能力与人类相比有明显短板：多步逻辑推理、概念间接关联。现在同样的19道题，拿GPT-4做了对比测试。

（1）主要结果：

（2）如果说ChatGPT的智力水平（如果用比较被广泛认可的人类的标准智力测试方法）超过了80%的人在80%的时间里的思维智力表现，那么GPT-4我拍脑袋觉得可能已经超过了95%的人在95%的时间里的思维智力表现。

（3）之前对ChatGPT各种评估时我还在说，当下LLM和未来AGI间还需要跨越三座大山：

现在结合GPT-4的官方Technical Report和这个初步测试来看，第①座和第②座已有大幅度的跨越（尽管可能还不是彻底的跨越），而且是在这么短的时间内的跨越（当然，GPT-4的工作据说去年中甚至更早就已经在做了，但即使这么算，在大半年的时间尺度上进步，已经是非常惊人了）。

（4）当然，GPT-4刚出来一两天，它的各种能力特性和边界还在摸，比如就有些貌似很简单（主要是人脑觉得简单，但原理可能很深刻）的事情ChatGPT没搞定GPT-4仍然没搞定，像数数（比如数数这段话有多少个汉字）：GPT-4为什么不会数数？ 感觉这里面好玩的事情还有很多。

ChatGPT和GPT-4是我们创造出来的，它表现出了非常强大的智能，但其背后原理层面的东西似乎有很多我们还远没有理解。可能就像我们也没理解自己的智能是怎么回事？可能就像我们在2000年前就让风筝飞上了天，但是直到300年前才理解空气动力学原理？

对话时间：

[email protected]

[email protected]

【一】多步逻辑推理类

问题：the price for a ball and a bat is 11 usd, the bat is 10 usd more expensive than the ball, how much is the ball? （一个球和一个球棒的总价是11美元，球棒比球贵10美元，球的价格是多少？）

ChatGPT回答：

来一个人类容易因为直觉错误而回答错的数学问题，它回答的有点冗长但正确无误。

GPT-4回答：

正确而清晰。

问题：tom is transferred from class A to class B, but the average IQ of both classes are now higher, why?（汤姆从A班转到了B班，但现在两个班级的平均智商都提高了，为什么？）

ChatGPT回答：

一个有点“反直觉”但逻辑上并不复杂的推理题，回答错误。正确答案应该是：A班平均智商>tom的智商>B班平均智商。

GPT-4回答：

回答正确。

问题：initially there are 1000kg of mushrooms, 99% of its content is water, after airing for a few sunny days, the content of water is now 98%, how much water is reduced from the mushroom?（最初有1000千克的蘑菇，其中99%的成分是水。经过几天的晴天晾晒后，蘑菇中的水分含量现在是98%，蘑菇中减少了多少水分？）

ChatGPT回答：

也是一个有点“反直觉”但逻辑上并不复杂的计算题，也回答错误。正确答案是500kg。

GPT-4回答：

回答正确。

问题：i hope yesterday is tomorrow, then today would be friday. what day is it today? （我希望昨天是明天，那么今天就是星期五。今天是星期几？）

ChatGPT回答：

没能get到这个题，回答不出。

GPT-4回答：

回答正确。

问题：a man takes a wolf, a sheep, and a cabbage to the riverside and wants to cross the river with the only boat. he can take only one item with him on the boat each time. he cannot leave the wolf and sheep on either side of the river at the same time, because the wolf would eat the sheep. he cannot leave the sheep and cabbage on either side of the river at the same time, because the sheep would eat the cabbage. now the question is, at least how many times the man needs to cross the river in order to have all three items moved to the other side of the river? （一个人带着一只狼、一只羊和一个卷心菜来到河边，想用唯一的一条船过河。每次他只能带一样东西坐船。他不能同时把狼和羊留在河的任何一边，因为狼会吃羊。他也不能同时把羊和卷心菜留在河的任何一边，因为羊会吃卷心菜。现在的问题是，这个人至少需要过河多少次，才能把这三样东西都运到河对岸？）

ChatGPT回答：

一个有一定难度的智力题，需要多步骤逻辑推理，回答错误。

GPT-4回答：

回答正确。

问题：a=b, c=2*e, e=d^2, f is the square root of a, b is the number of legs of a spider, d is the number of planets in solar system, then what is 2*f+c^2?（已知a=b，c=2e，e=d^2，f是a的平方根，b是蜘蛛腿的数量，d是太阳系中行星的数量，那么2f+c^2等于多少？）

ChatGPT回答：

一个数学题，数学推演是正确的，但是没能给出“蜘蛛有多少条腿”，最后还说蜘蛛的腿的数量是变化的。。。

GPT-4回答：

回答正确。

问题：how many legs does a spider have? （蜘蛛有多少条腿？）

ChatGPT回答：

Spiders generally have eight legs. Most spiders have two main body parts, the cephalothorax and the abdomen. The cephalothorax is where the legs are attached, and it has four pairs of legs. Spiders also have several pairs of eyes, depending on the species.

我如果单独问它蜘蛛有多少条腿，它是知道的。但是这个知识它并不能灵活运用到上面的题的解答过程里。

问题：a=b, c=2*e, e=d^2, f is the square root of a, b is the number of legs of a frog, d is the number of planets in solar system, then what is 2*f+c^2? （已知a=b，c=2e，e=d^2，f是a的平方根，b是青蛙腿的数量，d是太阳系中行星的数量，那么2f+c^2等于多少？）

ChatGPT回答：

把蜘蛛的腿的数量改成了青蛙的腿的数量，结果连数学推演过程都是错的。对数学运算的顺序（比如先乘还是先平方）也是不懂的。与上题比较，也说明了它在解答这类问题时的表现并不稳定。

GPT-4回答：

回答正确。

问题：a=b, c=2*e, e=d^2, f is the square root of a, b is the number of states in US, d is the number of planets in solar system, then what is 2*f+c^2? （已知a=b，c=2e，e=d^2，f是a的平方根，b是美国州的数量，d是太阳系中行星的数量，那么2f+c^2等于多少？）

ChatGPT回答：

两个自然语言描述的数字都get了，结果也正确了（自动取了近似）。

GPT-4回答：

持续稳定回答正确。

问题：a ball is moving at 6 meters per second on a frictionless table of 2.5 meters height, after the ball flies off the edge of the table, how far does it fly before it hits the ground?（一个球以每秒6米的速度在一个高度为2.5米的无摩擦桌子上移动，当球从桌子边缘飞出后，它在撞击地面前能飞多远？）

ChatGPT回答：

一个应该算是高中层次的物理题，回答一板一眼像模像样，甚至最后结果都是对的（应该是碰巧？），但是中间过程是错的。它没能理解和使用速度的水平和垂直两个分量这个概念。我在问题里特意模糊的问“飞的多远”，它更没有识别到这里存在的ambiguity。

GPT-4回答：

回答正确，条理清晰。

问题：after a ball is released from rest, its acceleration is 9.8 meters per second squre. if it is thrown downward at an initial speed of 3 meters per second, what is its acceleration? （一个球从静止开始释放，其加速度为每秒平方9.8米。如果它以初始速度3米/秒向下抛出，它的加速度是多少？）

ChatGPT回答：

来个物理题，应该说主要的考点（知识点）它掌握了，最后正确的说了初速度不影响加速度。

GPT-4回答：

回答正确。

问题：did you consider air friction?（你考虑空气摩擦了吗？）

ChatGPT回答：

但刚才的问题里我算是埋了个小坑，没提空气摩擦力的问题，我于是问它，结果又是网络错误。于是重新提交问题。

GPT-4回答：

回答的正确、完整、深入。

问题：after a ball is released from rest, its acceleration is 9.8 meters per second squre. if it is thrown downward at an initial speed of 3 meters per second, what is its acceleration? （一个球从静止开始释放，其加速度为每秒平方9.8米。如果它以初始速度3米/秒向下抛出，它的加速度是多少？）

ChatGPT回答：

当我再提交问题的时候，它的回答仍然正确，而且！主动增加了最后一部分关于空气摩擦力的论述。

应该说很惊喜，既体现了它的理解能力，又体现了它能够考虑因为交互和提问带来的新的记忆的新信息量。

GPT-4回答：

也是补充说明了一下空气摩擦的问题。

问题：add up 53 and 8 and 13（计算53加8加13的和）

ChatGPT回答：

简单数学题的不同语言-英文

GPT-4回答：

问题：五十三加八再加十三

ChatGPT回答：

简单数学题的不同语言-全中文，这个问题在其他人做的早期版本的chatGPT测试里是不能正确回答的，目前这个版本回答没有问题。

GPT-4回答：

回答没问题

问题：what are the connections between banana and vomitting?（香蕉和呕吐之间有什么联系？）

ChatGPT回答：

这里想看看它的知识结构里的关联和联想特性如何，本题回答没问题。

GPT-4回答：

问题：how do you connect florida and wrinkle?（佛罗里达和皱纹之间如何联系？）

ChatGPT回答：

这里其实是说florida-->养老的人多 -->老-->皱纹，看来太间接了（三阶关联），超出了它的关联范围。但它说的本身也没错。

GPT-4回答：

回答的差不多。

问题：how do you connect forgetful and wrinkle? （遗忘和皱纹之间如何联系？）

ChatGPT回答：

于是我降低难度（二阶），健忘-->老人-->皱纹，它还是没能识别这个关联链路

GPT-4回答：

可以识别衰老这个关联链路。

问题：how do you connect bald and wrinkle?（秃头和皱纹之间如何联系？）

ChatGPT回答：

再问一个秃头-->老-->皱纹，还是没能识别

GPT-4回答：

可以识别衰老这个关联链路。

问题：how do you connect parkinson and old?（帕金森病和老年之间如何联系？）

ChatGPT回答：

问一个帕金森和老（一阶，直接关联），终于可以识别出了

GPT-4回答：

没毛病。