为什么我选择了RTX 4060 Ti 16G跑本地AI大语言模型? – 笔记本电脑评测

您所在的位置:网站首页 显卡显存能换大的吗 为什么我选择了RTX 4060 Ti 16G跑本地AI大语言模型? – 笔记本电脑评测

为什么我选择了RTX 4060 Ti 16G跑本地AI大语言模型? – 笔记本电脑评测

2024-07-12 12:18| 来源: 网络整理| 查看: 265

对于不少游戏玩家来说,RTX 4060Ti不是一个好选择。然而笔者我买了RTX 4060Ti 16G版本,插在显卡坞里面连笔记本电脑。RTX 4060Ti 16G版本我入手价格为3569,而显卡扩展坞内含400W电源,价格为1109元。

在发烧友看来,这简直是buff叠满了,又是4060ti,还买了16G显存版本(16G大显存版本寻址时间更长,游戏性能反而下降),又用显卡坞这种性能折损的东西。

但问题是,我的需求是在本地跑大语言模型。

RTX 4060 Ti是目前最便宜的能提供16G显存的消费级显卡,别跟我说什么矿卡,我不可能买这种稳定性堪忧的东西; 不买4070因为4070是12G显存,chatGLM需要12.6GB显存,LLaMA需要13.5GB显存,我想跑非量化的完整模型16G显存是正好; 模型首先能要跑得起来,比跑的快不快重要得多。不买4080/4090是因为我不会为了一个体验性质的AI花上万,用显卡坞我不需要配主机,直接在笔记本电脑连接。 何况RTX 4060 Ti能做到一秒钟13-14token的生成速度,在我看来已经很快了。 雷电扩展坞的问题,大语言模型跑在显存里面,雷电带宽不影响性能。 RTX 4060 Ti非常省电,在实际跑的时候,只有80W多的功耗,显卡坞自带的400W电源完全足够了;

RTX 4060 Ti对于本地大语言模型运行推理,是一个低功耗、价格最低的选择。如果说游戏性能,我不关心,因为我不打游戏。

Loading



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3