1760亿参数,支持中文,可商用!高性能类ChatGPT开源模型

您所在的位置:网站首页 手纹算命图解三角纹 1760亿参数,支持中文,可商用!高性能类ChatGPT开源模型

1760亿参数,支持中文,可商用!高性能类ChatGPT开源模型

2023-05-29 08:02| 来源: 网络整理| 查看: 265

0 分享至

用微信扫码二维码

分享至好友和朋友圈

近日,SambaNova与Together联合推出了类ChatGPT开源模型——BLOOMChat。(开源地址:https://huggingface.co/sambanovasystems/BLOOMChat-176B-v1)

据悉,BLOOMChat有1760亿参数,支持中文、英文、日文、法文、等46种语言;支持代码生成,包括Python、java、php、cpp、Ruby、C++等13种编程语言;可用于 Apache 2.0 修改版本下的研究和商业用例;知名开源平台持续提供技术迭代等。

总之,BLOOMChat与目前市面上大多数类ChatGPT开源模型相比,在预训练数据、指令调优、功能扩展、AI对齐等方面拥有巨大优势。对于企业和个人开发者来说,无论用于商业化项目还是技术研究都是一个不错的选择。

在线体验地址:https://huggingface.co/spaces/sambanovasystems/BLOOMChat

强强联手推出BLOOMChat

Together是一家「AIGC开放社区」多次介绍的开源厂商,前不久,Together凭借出色的技术获得了2000万美元(约1.4亿元)种子轮融资。其开源产品RedPajama-INCITE具备性能强、资源消耗低的特点,普通笔记本就能跑。

此外,Together曾完美复制了LLaMA模型上的训练数据集,按照其论文的数据模式从维基百科、GitHub、普通抓取、C4、图书、ArXiv、Stack Exchange抓取了1.2万亿训练数据,并将其进行开源。

SambaNova则是一家企业级生成式AI平台,可为金融、销售、政务、医疗保健、制造、汽车等行业,提供从模型数据预训练、指令调优、本地部署、特殊场景化部署、运维等一站式解决方案。其产品已在金融、医疗、制造等领域实现场景化落地。

所以,SambaNova与Together联合推出的BLOOMChat与学术机构推出的开源模型相比,技术层面有很大优势。因为,他们有实际项目落地经验能得到客户的实时反馈,这对于BLOOMChat的功能迭代、安全防护等有着巨大帮助。

SambaNova与Together也希望蹭上ChatGPT的风口,凭借推出少有的支持多语言开源项目拉动业务增长,持续对产品进行技术创新在开源界俘获更多的企业用户。

BLOOMChat介绍

BLOOMChat是基于BigScience在2022年7月开源的大语言模型BLOOM开发而成,并在OpenChatKit、Dolly 2.0和OASST1的数据训练集上进行微调。所以,BLOOMChat也算是一个组合模型,通过将市面上最强大的开源模型与海量数据训练集相融合,属于开源界的“变形金刚”。

从BLOOMChat发布的测试数据来看,与GPT-4相比,在英文、中文、法语等6 种语言的人工评估中,BLOOMChat的响应首选次数为 45.25%。

在同是6种语言的环境下,BLOOMChat与OpenAssistant、LLaMA-Adapter、BLOOMZ开源模型相比,BLOOMChat的响应在65.92%,成为最佳开源产品,有效填补了开源领域多语言聊天能力的空白。

尤其是在中文领域,国外多数开源类ChatGPT几乎都不支持中文,即便是支持中文其训练数据也非常少,在回答问题方面生硬、老套极易出错。根据BLOOMChat的展示的中文示例来看,其文本回答的逻辑、词语搭配、丝滑程度几乎可以与ChatGPT相媲美。

不过「AIGC开放社区」在测试时,BLOOMChat会出现延迟的情况,并且特定的问题可能会拒绝回答。

BLOOMChat的翻译能力也非常出色。根据其在 WMT14-fr-en、WMT14-hi-en的翻译任务上的表现来看,BLOOMChat仅比GPT-4略差,比OpenAssistant、LLaMA-Adapter、BLOOMZ等开源模型的性能高出一大截。

BLOOMChat表示,其性能与所有大语言模型一样会出现“胡说八道”、重复语句、非法内容输出、代码生成可能会出现BUG等问题。但BLOOMChat会持续优化这些问题,为用户提供最先进、高性能的开源模型。

本文素材来源BLOOMChat,如有侵权请联系删除

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/ 返回网易首页 下载网易新闻客户端


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3