2023年腾讯控股研究报告 腾讯AI战略、布局、大模型及应用跟踪

您所在的位置:网站首页 天风证券旗下投资公司 2023年腾讯控股研究报告 腾讯AI战略、布局、大模型及应用跟踪

2023年腾讯控股研究报告 腾讯AI战略、布局、大模型及应用跟踪

2024-06-30 16:56| 来源: 网络整理| 查看: 265

1.腾讯AI整体战略跟踪:2016年开始投入基础研究,2018年研发矩阵成型,2022年公布混元大模型进展,未来有望成为重要增长乘数

回顾腾讯 AI 战略演变:公司拥有开发和应用 AI 技术的长期历史,早期以各事业群 AI 团 队为主,2016 年腾讯开始从公司层级投入 AI 基础研究,2017 年提出“基础研究—场景 共建—能力开放”的三层战略架构。2018/2019 年腾讯人工智能和前沿科技两大实验室矩 阵成型,并将 AI 研究聚焦更高层级的多模态研究和通用人工智能。2022 年腾讯首次披露 混元大模型研发进展,并在年末推出混元 NLP 万亿大模型。2023 年 3 月管理层在业绩会 上将 AI 技术看作未来重要的增长乘数,表示正在快速推进混元 AI 大模型。未来前端应用 可以与现有业务结合提升商业化效率,推进人机交互业务也可带来新增长机遇。

公司拥有开发和应用 AI 技术的长期历史,早期主要由各事业群的 AI 团队推动,比如 社交网络事业群(原)旗下的优图实验室、微信事业群旗下的微信 AI 团队,图像识 别、语音识别等 AI 技术已广泛应用于腾讯多个产品。

2016 年起,腾讯开始从公司层级投入 AI 基础研究。2016 年 4 月成立了第一个公司 层级的 AI 研究机构,腾讯 AI Lab,全球招募顶尖科学家,专注于包括计算机视觉、 语音识别、自然语言处理和机器学习方向的基础研究,和内容、社交、游戏等方向的 应用探索。2017 年公司提出了“Make AI Everywhere” 的战略愿景,和“基础研究 —场景共建—能力开放”的三层 AI 战略架构。在 2017 年二季度业绩会时,腾讯总裁 刘炽平将人工智能定位为基础能力。

2018 年 3 月,腾讯宣布将成立机器人实验室“Robotics X”,与 AI Lab 成为腾讯 AI 产业的双基础部门,打造虚拟世界到真实世界的载体与连接器。同时腾讯 AI Lab 宣布 将致力于发展通用人工智能的研究,而“AI+游戏”仿真真实世界或将是最佳实现方 向。2019 年 5 月在腾讯数字生态大会上,公司前副总裁姚星表示腾讯已建立人工智 能与前沿科技为基础的两大实验室矩阵。2016 年以来,腾讯诸多 AI 技术在消费互联 网领域(如微信的语音识别、照片滤镜、物体识别、翻译等)和产业互联网领域(如 机器自动识别检测在智能工业领域、为无人商场提供底层基础能力等)落地。未来腾 讯 AI 基础研究将聚焦长期核心问题,即多模态研究和通用人工智能。

此后,腾讯 AI 发展在技术积累、商业应用、能力开放三方面不断进步。2022 年 4 月, 腾讯首次对外披露“混元”AI 大模型的研发进展。2022 年 12 月,混元推出国内首个 低成本、可落地的 NLP 万亿大模型。2023 年 2 月末,据 36 氪旗下的职场 Bonus 报 道,腾讯针对类 ChatGPT 对话式产品已成立【混元助手(HunyuanAide)】项目组。

2023 年 3 月,腾讯管理层在 2022 年第四季度业绩会上对于腾讯的 AI 布局作出进一 步阐释:公司认为 AI 技术将有望成为公司中长期重要增长乘数之一。正在快速推进 自有的混元 AI 模型,未来将在后端逐步推出/优化基础模型的同时,加强前段场景的 应用,利用 AI 技术促进产品创新、商业化和运营效率。腾讯丰富的场景和数据、非 常强大的云计算基础设施、应用 AI 技术辅助业务的长期历史,将为训练模型提供支 持。在商业化前景方面,一方面 AI 技术应用将在现有广泛的业务方向上提升商业化。 另一方面,AI 技术发展也将随时间推移催生更多新的商业机会。

2017 年 3 月初,公司董事会主席马化腾在记者沟通会中阐释了腾讯在人工智能上的布局, 既有做基础性 AI 研究的 Lab,各个事业群也有 AI 团队。过去几年 AI 技术应用一直在做,比如优图实验室的人脸识别技术、微信 AI 团队的语音识别。 2017 年 3 月,腾讯发布 2016 年财报,其中提及“正在投资前沿科技(如人工智能及机器 学习)以布局未来的【连接】策略。”“利用机器学习在数字内容服务中进行个性化推荐, 提升广告定向能力,丰富社交互动(如动态面具功能),以及节省成本(如优化客服需求)。” 2017 年 6 月,腾讯云发布“AI 即服务”战略新品【智能云】,开放腾讯在计算机视觉、智 能语音识别、自然语言处理的三大核心能力。

2017 年 8 月,公司总裁刘炽平在第二季度财报公布后的分析师会议上表示:1)AI 是一项 基础能力,具有战略意义,腾讯将持续、长期而有耐心的投资,不急于短期回报。另一方 面,AI 也将在多个方面助力于现有的产品、服务与业务发展。2)在腾讯的战略优势方面, 刘炽平强调了腾讯在计算能力、大数据、应用工程、技术及应用场景的优势,以及核心人 才方面的主动布局。公司广泛多元的业务内容,为机器学习、计算机视觉、语音识别及自 然语言处理等领域的 AI 基础研究提供了丰富应用场景。3)关于 AI 在腾讯各类产品中的运 用,刘炽平指出,在面向消费者的产品中,AI 让腾讯更了解用户,从而提升其产品体验; 在企业服务方面,AI 可以优化算法,从而加强精准定向技术;在腾讯的生态系统中,强大 的 AI 能力可赋能腾讯的投资公司和合作伙伴,让大家能互惠互利。

2018 年 3 月,腾讯宣布将成立机器人实验室“Robotics X”,机器人实验室和 AI Lab 一样 隶属腾讯技术工程事业群(TEG),两个实验室将协力合作成为腾讯 AI 产业的双基础部门, 打造虚拟世界到真实世界的载体与连接器。同时腾讯 AI Lab 宣布战略:目前行业在人工智 能上专注于具体应用的开发,而在通用人工智能方面相对欠缺。腾讯 AI Lab 将致力于发展 通用人工智能的研究,通过“AI+游戏”来仿真真实世界,构建虚拟世界,探索通用人工 智能的发展。

2018 年 9 月,世界人工智能大会上,马化腾表示人工智能的发展将让人与物、人与服务实 现更好的连接,通向“大社交”时代,腾讯要发挥好“连接器”和“生态共建者”的角色。 在腾讯分论坛中,腾讯发布 AI 开放平台 AI.QQ.COM,该平台依托腾讯 AI Lab、腾讯优图、 WeChat AI 等实验室,汇聚腾讯 AI 技术能力,开放 100 余项 AI 能力接口,供行业使用。 大会时公布腾讯 AI 开放平台已开放的 AI 技术能力,日均调用已过亿次,累计调用百亿次。

2019 年 5 月,腾讯数字生态大会上公司前副总裁姚星表示,腾讯已建立人工智能与前沿科 技为基础的两大实验室矩阵。其中人工智能实验室矩阵包括:致力于基础研究与应用的腾 讯 AI Lab、聚焦视觉研究的优图实验室、聚焦语音与自然语言理解 WeChat AI 团队。2016 年以来,腾讯诸多 AI 技术在消费互联网领域和产业互联网领域落地。姚星表示,过往行业 AI 研究是沿着感知、认知、决策三个方向进行“单一”优化,未来腾讯 AI 研究将更加 聚焦两大问题:多模态研究、通用人工 智能。

2020 年 7 月在世界人工智能大会云端会议上,腾讯 COO 任宇昕表示,AI 技术正在深深“嵌 入”各行各业,变得无所不在。日益完善的新基建和产业互联网,将为各行各业带来新增 量,为经济发展带来新增长。腾讯研究院发布《2020 腾讯人工智能白皮书:泛在智能》, 判断下一阶段的人工智能将呈现“泛在智能”,即 1)人工智能将逐渐转变为像网络、电力 一样的基建,向全行业全领域提供通用 AI 能力;2)人工智能将应用于更加多元的场景和 更大规模的受众,未来将催生出更多新业态、新模式。腾讯人工智能实验室矩阵继续在机 器学习、计算机视觉、语音技术、自然语音处理四大方向上进行技术积累,并不断探索相 关技术在数字内容(游戏、影视、短视频、社交分享等)、城市治理、医疗、智能制造、 智慧服务、农业等多个场景的应用。

2021 年 7 月,世界人工智能大会腾讯分论坛上,宣布推出腾讯云 TI ONE、TI Matrix、TI DataTruth 三大 AI 底层平台,可以提供包括算法开发、模型训练、数据标注和数据处理等 一系列开发能力。 2021 年 11 月,腾讯数字生态大会上腾讯研究院发布《上云赋智:2021 云上智能白皮书》, 提出综合人工智能、大数据、云计算、物联网的“ABCI 云智融合新架构”,人工智能与云 计算的融合不仅有助于 AI 技术落地,也会激发更多新模式、新业态。

2022 年 4 月,腾讯首次对外披露“混元”AI 大模型的研发进展。“混元”AI 大模型包含 但不限于:计算机视觉、自然语言处理、多模态内容理解、文案生成、文生视频等多个方 向的超大规模 AI 智能模型。“混元”AI 大模型基于腾讯太极机器学习平台进行研发,借助 GPU 算力,实现快速的算法迭代和模型训练。在全球最具权威的 MSR-VTT,MSVD,LSMDC, DiDeMo 和 ActivityNet 五大跨模态视频检索数据集榜单中,“混元”AI 大模型先后拿下第 一名的成绩,实现了该领域的大满贯。2022 年 12 月,混元推出国内首个低成本、可落地 的 NLP 万亿大模型。2023 年 2 月末,据 36 氪旗下的职场 Bonus 报道,腾讯针对类 ChatGPT 对话式产品已成立【混元助手(HunyuanAide)】项目组。

2023 年 3 月,腾讯管理层在 2022 年第四季度业绩会上对于腾讯的 AI 布局作出进一步阐释: 公司认为 AI 技术将有望成为公司未来一个重要的增长乘数。公司核心业务聚焦社交、通 讯和游戏等领域,这些业务是基于用户对用户的网络、以及非常高质量的内容,由此不会 像用户对机器类服务(如搜索)一样轻易地被 AI 技术颠覆,反而基础模型的发展将有助于 公司推进如数字助理、搜索等的人机交互服务,提供新的增长点。对于公司而言,AI 技术 发展是一个机会,而非风险。腾讯一直在发展自己的基础模型,目前正在快速推进自有的 混元 AI 模型,未来将在后端逐步推出、优化基础模型的同时,加强前段场景的应用,利 用 AI 技术促进产品创新、商业化和运营效率。

在基础模型研发优势方面,公司管理层表示,腾讯拥有广泛的应用场景(微信、游戏、SaaS、 娱乐服务等)、在自然语言处理和计算机视觉等方向的技术团队和知识积累、广度和深度 优势都很明显的数据积累、非常强大的云计算基础设施,可以支持训练模型。 在商业化前景方面,一方面 AI 技术应用将在现有业务方向上提升商业化。比如高度匹配 用户的内容生成将有助于提升广告转化率;比如内容业务可以利用 AI 技术提升效率和用 户体验;比如将生成式 AI 技术纳入微信和 QQ(如提供客服助理、聊天机器人、辅助小程 序开发),可以提高效率和用户体验。另一方面,AI 技术发展也将随时间推移催生更多新 的商业机会。

2.腾讯AI实验室矩阵:实力雄厚,各有侧重

根据我们整理,目前腾讯人工智能研发矩阵主要包括:1)隶属于技术工程事业群、作为 双基础研究部门的腾讯 AI Lab 和 Robotics X 实验室;2)隶属于云与智慧产业事业群的 腾讯优图实验室;3)隶属于微信事业群的微信 AI 团队。其中,腾讯 AI Lab 研发团队实 力雄厚,专注于机器学习、计算机视觉、语音技术及自然语言处理方向的基础研究和应用 探索。腾讯优图实验室和微信 AI 团队成立较早,在各自擅长的图像技术、语音/语言技术 方面拥有长期的技术积累和应用实践。 2022 年 9 月,在世界人工智能大会腾讯论坛上,腾讯副总裁、华东总部总经理张立军表示 腾讯人工智能中国专利申请超过5600件,AI领域专利申请总量位于国内互联网公司第一。

腾讯 AI Lab:成立于 2016 年,专注于人工智能基础研究,科研团队实力雄厚。腾讯 AI Lab 成立于 2016 年 4 月,总部位于深圳,2017 年 4 月成立西雅图实验室。2018 年 12 月张正友博士接替张潼博士成为腾讯 AI Lab 负责人。西雅图实验室负责人为俞栋博 士。 张正友博士目前担任腾讯 AI Lab 及腾讯 Robotics X 实验室主任,腾讯首席科学家。他是 ACM Fellow(国际计算机学会院士)和 IEEE Fellow(国际电气电子工程师学会院士)。在 立体视觉、三维重建、运动分析、图像配准、摄像机自标定、人脸表情识别,机器人导航, 语音增强与识别,沉浸式远程交互,视频会议系统等方面都有开创性的贡献,参与了多项 欧洲及微软的计算机视觉、多媒体和机器人重大项目。

俞栋博士是 IEEE Fellow(国际电气电子工程师学会院士)、ISCA Fellow,语音识别与深度 学习领域的专家,100 项专利的发明人,多次获得最佳论文奖,深度学习开源软件 CNTK 的发起人和主要作者之一,引领了语音技术领域多项突破性工作,是首次将深度学习技术 应用在语音识别领域的研究领头人之一,该成果极大推动了语音识别的技术发展。 腾讯 AI Lab 目前有 100 多位顶尖研究科学家及 300 多位应用工程师。在斯坦福大学发 布的 2022 年度“全球前 2%顶尖科学家榜单”(World's Top 2% Scientists 2022)中,腾讯 AI Lab 共有 5 人入选,其中张正友博士排名全球“终身科学影响力排行榜”第 1002 名, 中国排名 Top 10。在信息与通信技术、人工智能与图像处理、网络与通讯等子领域,世 界排名分别为第 36 名,第 30 名,第 30 名,中国排名 Top3。

腾讯 AI Lab 在基础研究方面,关注机器学习、计算机视觉、语音技术及自然语言处理等四 大方向,780 多篇研究论文已覆盖国际顶级学术会议。在技术应用方面,聚焦在游戏、数 字人、内容、社交四大领域,在微信、QQ 等 100 多个产品中落地;行业应用不断取得突 破,研发出屡获国际大奖的棋牌类 AI【绝艺】,攻克 MOBA、FPS、RTS、3D 开放世界等 多类游戏的决策智能 AI【绝悟】,推进多模态虚拟人前沿技术,支持国家级 AI 医疗标杆产 品【腾讯觅影】与【腾讯医典】,自研智能显微镜及 AI 药物发现平台【云深】,并初步探索AI 在工业、农业、生命科学等领域的研究应用。

腾讯 AI Lab 在游戏、内容、数字人方向上的应用探索包括: 1)在“AI+游戏”领域:棋牌类 AI【绝艺】、决策智能 AI【绝悟】、AI 智能体【TStarBot】、 AI+游戏开放平台【开悟】、3D 虚拟场景自动生成解决方案等。 2)在“AI+内容”领域:文本理解系统【TexSmart】、交互翻译系统【TranSmart】、智能 写作助手【文涌(Effidit)】、AI 驱动的游戏解说服务。 3)在“AI+数字人”领域:2020 年 5 月推出 AI 虚拟人【艾灵】,截止 2022 年腾讯 AI Lab 数字人技术已驱动超过 70 个角色,落地于广告、游戏、教育、金融等不同场景,虚拟角 色生成效率提升 8 倍。

腾讯优图实验室:成立于 2012 年,2018 年升级为计算机视觉研发中心,现归属 CSIG 腾讯优图实验室成立于 2012 年,重点专注于图像技术的深入研究及应用探索,同时提升 在人脸、音频上的技术能力。图像技术包含图像识别、智能鉴黄、OCR 技术、图像分割以 及超分辨率技术等。人脸识别包含人脸配准追踪技术、人脸核身技术、活体检测技术、海 量人脸检索技术等。音频技术包含原音识别与哼唱识别技术、原音消除技术、语音合成技 术和声纹识别技术等。截止 2017 年,优图 AI 技术已经广泛应用在金融、鉴黄、安防、医 疗、寻亲等领域,在手机 QQ、QQ 空间、QQ 音乐、微信、广点通、全民 K 歌、腾讯觅 影等众多明星产品中落地,并成功打造了滴滴、福建公安厅、苏州公安,顺丰、中国联通、 成都国税等众多政企客户合作案例。

2018 年 9 月优图实验室升级为腾讯计算机视觉研发中心,同一时间段,腾讯组织架构调整, 优图实验室分属事业群由 SNG 调整为 CSIG,向汤道生汇报。升级后的优图实验室核心战 略为以计算机视觉为核心,围绕社交娱乐、工业生产、社会进步、前沿探索四大方向,深 入到包括医疗、自动驾驶、工业、零售、办公、文化、社会公益等十大领域的具体应用, 加速研究成果的转化。

微信 AI 团队:微信内部孵化,语音识别、NLP 等技术广泛应用于微信产品各项功能。微信 AI 团队由微信团队内部孵化,研究方向包括语音识别、自然语言处理、计算机视觉、 数据挖掘和机器学习等人工智能技术。微信 AI 团队已将人工智能研究成果应用于微信产品 的语音输入、语音转文字、声纹锁、对话机器人、摇一摇歌曲/ 电视、扫一扫封面、扫一 扫翻译和微信广告等功能,同时为腾讯各业务产品线提供语音识别和语义分析等核心技术 能力支撑。 微信 AI 团队主要包含专攻语音的微信智聆团队(成立于 2011 年)和专攻智能对话/NLP 的微信智言团队(2017 年 12 月开始筹备,2019 年 1 月亮相微信公开课)。

2019 年 1 月微信公开课上,张小龙提及对 AI 的看法,微信投入了很多精力来做 AI,比如语音识别,他强调 AI 要落地实际功能或场景,技术为产品服务。同时,微信智言团队携其 建立的智能对话系统【小微】亮相微信公开课。 2020 年 1 月微信公开课上,微信 AI 团队发布了微信对话开放平台(提供接口搭建客服机 器人)、腾讯小微硬件开放平台(定位偏向于语音助手的智能对话系统)和 NLP 基础技术 平台(开放 NLP 技术栈)。

3.混元大模型跟踪:历史测评中文语义理解能力领先;混元项目或为跨事业群联合开发;全套技术体系助力训练成本下降

2021 年以来,腾讯多条业务线技术团队推出了自己的预训练模型,在反哺业务的同时, 也在不断积累 Knowhow。除了混元系列大模型,腾讯各业务团队 2021 年末以来推出/测 试的 NLP 方向预训练模型包括: 2021/6/25,腾讯 QQ 浏览器搜索语义团队推出的摩天(Motian)预训练模型登顶 CLUE 总 排行榜单,登顶下游 4 个分榜(分类、阅读理解、自然语言推理和 NER)。该模型为十亿 级别参数量。 2021/9/19,腾讯 QQ 浏览器实验室研发的预训练模型【神舟】(Shenzhou)在 CLUE 榜单 中登顶,成为首个在中文自然语言理解综合评测数据上超过人类水平的预训练模型。该模 型为百亿参数量级。2021 年 10 月【神舟】模型已逐步应用于 QQ 浏览器的搜索、看点资 讯、小说等多个场景。

2021/10/13,腾讯云小微与腾讯AI Lab联合团队提出了基于知识的中文预训练模型【神农】, 该模型仅包含十亿级参数量,一举登顶 CLUE 总排行榜、1.1 分类任务、阅读理解任务和命 名实体任务四个榜单。 2021/10/19,腾讯云和优图实验室的加速团队推出的 TI-NLP 模型在在 CLUE 语言分类任务 上进行试验,在 CLUE 分类任务 1.0 和 1.1 中获得第一。 2022 年 10 月,微信 AI 团推出百亿级参数规模的自研 NLP 大规模语言模型 WeLM,能在 零样本及少样本的情境下完成对话-采访、阅读理解、翻译、改写、续写、多语言阅读理 解等 NLP 任务,具备记忆能力、自我纠正和检查能力。

混元大模型:完整覆盖 NLP、CV、多模态、文生图等基础模型和众多行业模型;跨 模态视频检索、中文语义理解能力领先;已推出 NLP 万亿大模型,据职场 Bonus 报 道成立混元项目组,多团队联合打造腾讯智能大助手 2022 年 4 月腾讯首次披露混元大模型研发进展。在全球最具权威的 MSR-VTT 等五大跨模 态视频检索数据集榜单中,混元大模型先后拿下第一名的成绩,实现了该领域的大满贯。

2022 年 4 月,混元大模型在 CLUE 榜单(中文语言理解评测集合)中,以 80.888 分的成 绩取得第一名,刷新分类榜单历史纪录。一方面,验证混元大模型在中文 NLP 领域的领先实力,另一方面也预示着大模型正在通过技术创新实现更为全面的能力。 从 2022 年 4 月披露的信息来看,混元大模型是腾讯 TEG 数据平台部和机器学习平台部联 合主导,通过开源协同讯广告技术力量所研发的超大规模预训练模型,具备自然语言理解、 计算机视觉、多模态内容理解、文案生成、视觉生成等能力。 2022 年四季度,混元推出国内首个低成本、可落地的 NLP 万亿大模 型,在 CLUE 总榜、分类榜和阅读理解榜登顶。当前混元大模型完整覆盖 NLP、CV、多模 态、文生图等基础模型及众多行业/领域/任务模型。

2023 年 2 月末,据 36 氪旗下的职场 Bonus 报道,腾讯针对类 ChatGPT 对话式产品已成 立【混元助手(HunyuanAide)】项目组。该项目组将联合腾讯内部多方团队构建大参数 语言模型。目标是“通过性能稳定的强化学习算法训练,完善腾讯智能助手工具,打造腾讯智能大助手,并能成为国内的业界标杆。” 据职场 Bonus 报道,【混元助手】项目组由腾讯 AI Lab 及 Robotics X 实验室主任、首席科 学家张正友为第一负责人,此外集合了来自 TEG 和战略发展总部的 3 位 PM,来自 PCG、 TEG、腾讯云等部门的 7 位组长,以及来自 TEG、CSIG、CDG、腾讯云 AI、PCG、WXG、 IEG 的 7 位 Sponsor(见附录)。 项目组的豪华阵容侧面反映了管理层对大模型的重视。我们推测,尽管此前腾讯各业务线 拥有多个 AI 大模型技术品牌,未来或以混元系列为主。

全套研发体系实力显现,大模型训练进一步降本提速。根据量子位,混元团队集合腾讯计算集群、超算网络、机器学习平台的技术实力,并在 MoE 模型结构、热启动和课程学习、注意力权重复制、词向量路由机制等方面研究优化, 大幅降低万亿大模型的训练成本,彰显全套技术体系的实力。

1)模型结构选择和算法的研究优化。混元 NLP 万亿大模型采用了 MoE 稀疏模型。对比 Dense 稠密模型,相同规模的大模 型,MoE 模型的训练和推理效率更高,对资源的消耗更小。混元NLP万亿大模型采用热启动+模型规模课程学习的策略,首先在小规模的模型上 训练收敛,然后将小模型的知识迁移到大模型,逐步增加模型的规模。具体来说,先 训练只有一个专家的Dense模型,然后通过扩展专家数量把模型规模提升到千亿规模 并训练收敛,最后继续通过增加专家数量把模型规模提升到万亿直至收敛。在此方法 下,在千亿模型的基础上扩展万亿模型,只需 256 卡训练 1 天,即可在下游任务效 果上超过千亿模型约 10%。

混元 NLP 万亿大模型通过改进注意力权重复用方法,使得注意力权重总的时间复杂 度降低 50%,大模型预训练提速~20%,下游任务指标略正。混元 NLP 万亿大模型引入了额外的词向量用于专家的路由,把路由和 Attention 层输 出解耦。使得相同的词的路由向量相同,从始至终分配到相同的专家提取特征,不仅 保证了路由稳定性而且加速了收敛。

2)计算平台:太极机器学习平台能力领先,太极 AngelPTM 训练框架仅需要 192 张卡就可以训练万亿模型 太极机器学习平台 1.0 诞生于 2015 年。2018 年太极平台深度学习训练加速上线。 2019 年太极平台联合腾讯云,打造了“TI-ONE 机器学习平台”,将机器学习平台能力输 出给公网和私有云用户,太极平台服务腾讯内部业务。 2020 年,太极平台机器学习研发能力再度升级为统一的云原生架构,平台服务腾讯广告、 游戏、信安、金融等多个核心 AI 业务场景。2022 年,太极广告一站式平台上线,目标将广告模型迭代业务流程通过“上太极”产品化, 为广告业务提供端到端的一站式模型研发体验。整合后的广告多媒体 AI 技术矩阵已成为腾 讯广告的 AI 基础设施,腾讯 2022 财年年报中专门提及了“提升后的机器学习基础设施提 升了广告主的广告转化效率及投资回报率,同时实现更高的训练效率”。

随着预训练模型的参数不断增大,模型训练需要的存储空间显著增加,仅依靠显存严重束 缚着模型参数的扩大。为了降低显存的压力同时扩大模型参数,腾讯基于 Zero-Infinity 的 理念开发了太极 AngelPTM 训练框架。根据量子位公众号,在太极机器学习平台 1T 内存+ 单卡 40G 显存硬件环境下,Zero-Infinity 单机最大可容纳 30B 模型,需要至少 320 张卡训 练万亿模型,太极 AngelPTM 单机最大可容纳 55B 模型,需要 192 张卡就可以训练万亿 模型。相比 Zero-Infinity,太极 AngelPTM 训练速度有 2 倍提升,节省 40%训练资源。

2023 年 3 月 16 日,腾讯宣布内部成熟落地的太极 AngelPTM 训练框架上线公有云,对外输出 能力。 此外,腾讯研发了业界首个支持万亿级 MoE 预训练模型应用的分布式推理和模型压缩套 件“太极-HCF ToolKit”,实现了无需事先从大模型蒸馏为中小模型进而推理,即可使用 低成本的分布式推理组件/服务直接进行原始大模型推理部署,充分发挥了超大预训练模 型带来的模型理解和生成能力的跃升。

3)算力底座:新一代 HCC 高性能计算集群为大模型训练“修路” 4 月 14 日,腾讯云面向大模型训练场景,发布新一代 HCC 高性能计算集群,采用最新一 代腾讯云星星海自研服务器,搭载英伟达最新代次 H800 GPU,服务器接入带宽从 1.6T 提升到 3.2T,算力性能和上一代相比提升 3 倍,是目前国内性能最强的大模型计算集群。 2022 年四季度,腾讯完成混元 NLP 万亿大模型训练的时间为 11 天,如果基于新一代集 群,训练时间将缩短至 4 天。

4.前端应用场景广泛,微信提供“绝佳”的ToC交互入口

我们认为腾讯拥有广泛的前端应用场景,覆盖游戏、社交、内容、广告、搜索、企业服务 等多领域,其中多个方向已有 AI 技术应用的长期历史。目前混元大模型先后支持了包括 微信、QQ、游戏、腾讯广告、腾讯云等众多产品和业务,未来大模型的迭代升级以及相 关工具/产品落地,有望进一步创造增量价值、降低成本。

国内大模型相对成熟后,绝大多数互联网产品或都将进行 AI 能力改造(如阿里巴巴宣布 所有产品将接入“通义千问”大模型)。我们认为,如在国内厂商大模型能力未明显分化 的情况下,交互入口、场景匹配性或是影响未来技术应用的核心因素。 对于腾讯而言,ToC 方向具备天然的交互入口优势。微信是目前国内用户规模最大的应用, 且足够高频。类 ChatGPT 产品落地后,微信有机会从当前“人人交互”核心入口升级为 “人人+人机交互”的核心入口,并通过小程序等组件完成生态内服务闭环。在 ToB 办公 场景方面,腾讯三大效率办公 SaaS 产品(腾讯会议、企业微信、腾讯文档)也为 AI 工具 应用提供了良好基础。

4.1.AI+游戏的探索:AI技术应用可覆盖制作、运营及周边生态的全链路,未来将聚焦AIGC 和AI Bot两大方向

游戏是真实世界的模拟和仿真,由于游戏本身的数字性质,数据较实体产业更易采集,模 型锻炼效率更快,成为了理想的虚拟测试场,腾讯亦长期深耕游戏 AI 开发,探索迈向通 用人工智能的道路。AI 技术在游戏中得到不断磨炼的同时,又反哺游戏产业。 腾讯游戏 AI 探索不断进步,典型代表包括:屡获国际大奖的棋牌类AI【绝艺】、攻克MOBA、 FPS、RTS、3D 开放世界等多类游戏的决策智能AI【绝悟】。 2021年【绝悟】团队初步尝试将 AI 能力应用于游戏开发和运营流程中。2021、2022、 2023年GDC大会上,腾讯 AI Lab 展示了以【绝悟】为代表的AI技术在游戏产业全链 路中的研究应用能力。 一方面,横向来看 AI 技术可应用在游戏制作、运营及周边生态的全链路上;另一方面, 纵向上,AI 技术也正在拓展到更多元的游戏品类上,如棋牌类、体育竞技类、及 MOBA、 FPS 等复杂策略类游戏。

在游戏制作环节,腾讯 AI Lab 的重点探索包括: 1)NPC 动作生成:传统方法生成 NPC 成本很高,制作一分钟的人物动画需要耗费数天, AI 技术应用具备较大潜力。腾讯 AI Lab 持续探索低成本、大规模地生产 NPC(包括面部、 表情、动作等)相关技术。在视觉上,腾讯 AI Lab 通过 AI 对抗生成网络实现“千人千面”, 快速生成高保真 AI NPC。再整合文字转语音技术,生成自然语音,同步驱动嘴型、表情等 面部变化,达到高度逼真。最后利用相位神经网络技术控制人物运动,将原本数周工作量 减少到几小时。AI 在大量的运动数据集上学习人体动作,将捕获的运动数据与场景地形数 据相匹配,完成准确、流畅的动作反应,如行走、跑步、跳跃等。

2)平衡性测试:AI 技术有助于提高性能、缩短时间。以王者荣耀为例,传统的平衡性测 试是调整数值后在测试服上验证,周期较长,每个英雄测试大约需要 1-2 个月。此外,由 于正式服和测试服玩家的真实能力和游戏心态不一致,会导致测试结果不准确。【绝悟】 AI 通过强化学习的方法来模仿真实玩家,将测试的总体准确性提升到 95%。同时,【绝悟】 AI 通过分布式平台和推理优化节省了大量的时间。分布式平台支持大规模并发测试,开发 者只需要输入英雄的修改数值,平台就会在短时间内自动输出测试报告。推理优化则通过 模型剪裁、量化、自研推理框架来减少模型的计算量和加快推理速度,实现 3 小时完成 20 万场对局。

3)关卡设计:由于消耗速度快于生产,程序化生成游戏关卡需求突出。利用 AI bot 技术 自动生成游戏关卡的优势明显,AI bot 可以代替人类进行大规模地关卡评估和测试,降低 人力成本;还能提供更多语义信息,减少对训练数据的依赖;以及根据语义信息提升生成 关卡的游戏体验。 腾讯 AI Lab 正探索将 AI 自动生成关卡技术应用于 2D、3D 等类型的游戏之中。以一款自 研的 2D 小游戏作为案例,只需要不到一百个训练关卡作为输入,AI 即可在几个小时内生 成一千多个可玩的、高质量、多样化的关卡。

4)3D 场景生成:在 3A 游戏中,高拟真的 3D 场景是玩家沉浸感的核心来源之一。传统 的 3D 制作需要耗费大量时间和人力成本。2023 年 GDC 大会上,腾讯 AI Lab 提出自研的 3D 虚拟场景自动生成解决方案,其中包括城市布局生成、建筑外观生成、室内映射生成 三大核心能力,可以帮助游戏开发者以更低成本创造风格多样、贴近现实的虚拟城市,大 幅提升 3D 虚拟场景的生产效率。

4.2.AI+广告的探索:2022年腾讯广告系统全面升级成效明显,大模型商业化潜力显露“冰山一角”

2022 年腾讯广告系统全面升级,在太极机器学习平台提供计算基建支持的基础上,通过 腾讯广告混元 AI 大模型和广告精排大模型,完善广告理解、用户理解、需求匹配的全流 程,提升广告主的推荐精准度和转化率。腾讯广告混元 AI 大模型包括多模态内容理解大模型、多模态文案生产大模型、跨模态检 索大模型。以此为底座,支持广告内容理解、广告智能创作、广告智能审核、广告指纹系 统等四大技术平台。其中: 1)广告内容理解技术目的在于建设多维度多粒度的广告语义理解系统,提高广告侧特征 生产与应用效率,目前已完成 60+项特征理解能力建设,覆盖商品、创意、落地页等多个 维度。

2)广告智能创作技术实现多项自动化视频创作能力,支撑多大项产品形态,日均生产数 十万条量级视频广告。 3)广告智能审核涵盖超100项AI审核能力,将以往的"人工审核"方式,进化到“机器主 导+人工配合”的高效方式,为腾讯广告节约人力超千人,有效提升了广告主投放效率, 把控了平台的广告风险,也为用户带来良好的广告体验。 4)广告指纹系统服务腾讯广告投放、广告召回、广告推荐模型及广告效果分析等全链路 环节,有效解决相似广告重复曝光、广告推荐不稳定等问题,改善广告生态,并为广告链 路降本增效作出一定贡献。

对于广告系统,除精准理解广告内容外,下游推荐任务同样重要。腾讯广告精排大模型单 模型推理参数达到千亿级别,序列化后大小可达数百 GB,浮点数计算量最高每秒超过 10 亿次,在行业位于先进水平。在此运算能力支持下,实现了以系统为主导的全域搜索,更 快地搜索并挖掘用户与商品的潜在关系,提升人货匹配效率。腾讯广告精排大模型全流量 上线后,相比以前的小模型算法,已累计给广告主带来 15%的 GMV 提升(截止 2022 年 6 月)。腾讯广告精排大模型也可以作为通用底座,搭建定制化模型,适配各类型应用场景。实际 处理业务中,腾讯广告采用了大模型+定制模型的技术思路,充分发挥广告精排大模型的 强运算能力的同时,快速搭建业务相关的定制化模型,满足广告主差异化、精细化需求。

以某网服广告主为例,得益于广告精排大模型的运算能力,腾讯广告实现快速建模,将定 制模型上线时间从业内普遍的两个月缩短至了 7 天,并在 30 天内完成优化迭代,助力 该网服广告主抢占流量先机,最终买量 ROI 提升了 20%,平均出价和 eCPM 提升了 50%。

4.3.AI+内容服务的探索:2022年以来AI内容生产探索加速,混元大模型已应用于智能写作助手

目前腾讯在 AI+内容的探索主要包括:内容搜索、推荐分发、内容生成等。其中搜索与个 性化推荐技术长期应用于腾讯线上视频、音乐、阅读平台和新闻 app 等,相关技术不断迭 代优化。 在内容生成方面,腾讯的探索包括: 新闻写作机器人:早在 2015 年,腾讯财经已推出自动化新闻写作机器人【Dream Writer】,主笔发布了首篇新闻《8 月 CPI 同比上涨 2.0%创 12 个月新高》,该报道抓取 了国家统计局发布的 CPI 相关数据,同时援引了行业专家和业内人士的分析。

交互翻译:2018 年腾讯 AI Lab 发布了 AI 交互翻译产品【TranSmart】,2020 年开启商 业化。经过五年技术沉淀与两年商业化探索,2022 年【TranSmart】已建设了包含公 有云、私有化部署等服务形态,以及网页端、客户端、浏览器插件等产品形态,提供 的服务包括交互翻译、文档翻译、自动翻译、定制引擎等,并可支持各类计算机辅助 翻译软件(CAT)集成。翻译服务受到了各类垂直行业头部客户的青睐和内外合作伙 伴的广泛认可,包括但不限于:联合国、新华社、央视、CGTN、Memsource、华泰 证券、阅文集团、Denso、富途证券、宝马、腾讯云官网、腾讯会议等。

智能写作助手:2022 年 4 月腾讯 AI Lab 发布智能写作助手【文涌 (Effidit)】,12 月更 新至 2.0 版本。功能包含帮助写作者开阔思路的【文本补全】和【超级网典】、重在 提升创作后的文本水平和质量的【智能纠错】和【文本润色】。【文涌 (Effidit)】的实 现融合了知识抽取、文本理解、文本生成、大规模预训练模型、经典语言模型、搜索 等技术。部分功能的实现使用【混元】系列 AI 大模型作为底层预训练模型。

AI 游戏解说:腾讯 AI Lab 推出业界首个 AI 驱动的游戏解说服务,并于王者荣耀游戏 电竞场景尝试落地。该服务融汇了腾讯 AI Lab 在自然语言处理、机器学习、语音合 成等前沿 AI 技术的深厚技术积淀。可基于玩家实时的游戏局面,通过智能策略理解 局面亮点予以导播切镜,生成符合语境且有趣味性的解说词,实时合成高度拟真、抑 扬顿挫的解说语音。 智能创作助手:3 月 30 日,腾讯正式发布了 AI 智能创作助手“腾讯智影”,提供虚 拟数字人、文本配音、智能去水印、文章转视频、模板创作、在线视频剪辑等功能。 其中,智影数字人能实现“形象克隆”和“声音克隆”,创作者通过输入图片、视频 和音频素材,可生成数字人分身和定制音色,进而快速生成数字人播报视频。

(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3