微软创始人 比尔.盖茨曾在回忆录中提到：第一次是在1980年，当我被介绍给一个图形用户界面时，这是现代操作系统的前身，包括Windows。我与向我展示演示的人坐在一起，他是一位名叫Charles Simonyi的杰出程序员，我们立即开始为可以使用这种用户友好的计算方法所能做的所有事情进行头脑风暴。Charles最终加入了微软，Windows成为微软的骨干，并且我们在演示之后的思考帮助了公司为未来15年制定了议程。

第二个大惊喜是在去年。自2016年以来，我一直在与OpenAI团队会面，并对他们的稳步进展印象深刻。在2022年中期，我对他们的工作非常兴奋，以至于我向他们提出了一个挑战：训练一种人工智能来通过高级生物学考试。使它能够回答它没有专门接受训练的问题。（我选择了AP Bio，因为这个考试不仅仅是关于科学事实的简单复述——它要求你对生物学进行批判性思考。）如果你能做到这一点，那么你就会取得真正的突破。

我对人工智能将对盖茨基金会致力于的问题产生的影响感到兴奋，基金会在未来几个月内将会有更多关于人工智能的声明。世界需要确保每个人——而不仅仅是富人——都能从人工智能中受益。政府和慈善机构将需要发挥重要作用，确保人工智能减少不公平现象，而不是加剧它。这是我自己与人工智能相关的工作的重点。

任何新技术的革新都会让人们感到不安，人工智能也不例外。我理解为什么——它提出了有关劳动力、法律系统、隐私、偏见等方面的难题。人工智能也会出现事实错误和幻觉。在我建议一些缓解风险的方法之前，我将定义我所说的人工智能，并详细介绍它将如何帮助赋予人们工作能力、拯救生命和改善教育。

如何定义人工智能

从技术上讲，人工智能一词指的是创建用于解决特定问题或提供特定服务的模型。像ChatGPT这样的技术就是人工智能，它正在学习如何更好地进行聊天，但不能学习其他任务。相比之下，人工通用智能是指能够学习任何任务或主题的软件。目前，人工通用智能还不存在——计算机行业正在进行激烈的辩论，关于如何创建人工通用智能，以及是否可以创建它。

开发人工智能和人工通用智能一直是计算机行业的伟大梦想。几十年来，问题一直是计算机何时会在除了计算之外的某些方面比人类更出色。现在，随着机器学习和大量计算能力的到来，复杂的人工智能已经成为现实，并且它们将非常快速地得到改进。AI因为难以理解抽象推理而给出错误的数学问题答案。但这些都不是人工智能的根本局限性。开发人员正在解决这些问题，我认为我们将很快看到它们被大部分解决，可能在不到两年的时间内。

其他问题不仅仅是技术问题。例如，使用AI的人类可能会构成威胁。像大多数发明一样，人工智能可以用于善良的目的或恶意的目的。政府需要与私营部门合作，限制风险。

还有可能出现AI失控的情况。机器会否决定人类是威胁，得出结论其利益与我们不同，或者只是不再关心我们？可能会，但这个问题今天并不比过去几个月的AI发展更紧迫。

超级智能人工智能（AGI）将出现在我们的未来。与计算机相比，我们的大脑运作速度极慢：大脑中的电信号速度是硅芯片信号速度的1/100,000。一旦开发者能够概括一个学习算法并以计算机速度运行它——这可能需要十年或一百年——我们就会拥有一个极其强大的AGI。它将能够做到人脑可以做到的一切，但不受记忆容量和操作速度的实际限制。这将是一种深刻的变革。

下一个前沿领域

未来将会有大量公司致力于开发新的 AI 应用以及改进技术本身。例如，一些公司正在开发新的芯片，为人工智能提供所需的大量处理能力。其中一些芯片使用光学开关——实质上是激光器——以减少能量消耗并降低制造成本。理想情况下，创新型芯片将允许您在自己的设备上运行 AI，而不像今天一样在云端运行。我们应该尝试平衡关于 AI 的不良影响的担忧——这是可以理解和有效的——与其改善人们生活的能力。为了最大程度地利用这项卓越的新技术，我们需要在抵御风险和将利益扩展到尽可能多的人之间取得平衡。

GPT模型的持续进化与能力突变：从GPT-1到GPT-4

1、GPT-1：有监督学习和无监督学习的结合，模型的语言泛化能力不够，更接近于处理特定语言任务的专家模型，而非通用的语言模型；

2、GPT-2：舍弃了模型微调，让多个不同的任务在同一个模型上学习，构建了一个泛化能力更强的语言模型，开始让语言模型的通用性得到了更加充分的展现；

3、GPT-3：在训练方法上则采取了In-context学习，参数量相较于GPT-2提升了两个数量级，达到了1750亿，数据集在处理前容量达到了45TB，是真正意义上的超大语言模型。

4、ChatGPT：引入人类反馈的强化学习（RLHF）及近端策略优化算法（PPO）等新的训练方式后，语言生成能力大幅提升，并且涌现出了思维链及逻辑推理等多种能力。

5、GPT-4：在推理能力、文本生成能力、对话能力等方面有了进一步提升的同时，实现了从大语言模型向多模态模型进化的第一步。

未来展望：多模态和AIGC

近年来Google，微软等海外大厂均已经在大模型上展开布局，行业竞争门槛正在迅速提升，头部厂商在算力资源、数据积累等方面的竞争优势将进一步凸显。目前大模型的应用已经不局限于NLP领域，计算机视觉、多模态等领域的大模型开始涌现，而生成算法、大模型与多模态这三大底层技术的突破成为了AIGC的质变的关键。AIGC作为人工智能最重要的演进方向，能够自主生成创造出文字、图片、语音、视频、代码等各种形式的内容，将深度改变办公、电商、娱乐、教育、媒体等各行各业，并引领人工智能实现从感知理解到生成创造的跃迁。

相关标的：ChatGPT及大语言模型受益标的涉及平台、算法、场景、算力四大类厂商：

1.平台：百度、阿里、腾讯、360；

2.应用：金山办公、科大讯飞、光云科技、同花顺、万兴科技、致远互联、福昕软件、漫步者、虹软科技、当虹科技、凌志软件；

3.算法：科大讯飞、拓尔思、海天瑞声、云从科技、商汤科技；

4.算力：寒武纪，海光信息、浪潮信息、紫光股份、中科曙光、优刻得、青云科技。

第一步：预训练初始模型

在GPT3.5的基础上，使用有监督学习方式，微调训练出一个初始模型。训练数据一部分来自于OpenAI公司采集的GPT-3在公测期间用户提供的对话数据，另一部分来自OpenAI雇佣的40名标注师（labeler），由标注师分别扮演用户和AI，人工生成多轮对话数据。预训练的数据量不大，但数据的质量和多样性很高。

第二步：训练奖励模型

奖励模型的训练是ChatGPT的训练流程中最重要的一步，具体方法就是，随机抽取一大批提示（prompt），输入到第一阶段产生的模型中，模型会随机生成 K（4≤K≤9）个输出，然后以两两配对的形式对向标注师展示输出结果，而标注师则在两个结果中选择效果更好的，通过人工打分排序的方式，对于符合人类价值观的内容给予较高的分数，而对人类不喜欢的内容给予较低的分数，最终实现对奖励模型的训练。

第三步：使用强化学习对语言模型进行训练

这一阶段开始应用海量的无标注的数据，所用数据来自于抓取的网页、论坛、百科上的海量数据。将海量数据输入到预训练的模型中，通过第二步训练得到的奖励模型来对输出的内容进行打分，结合近端策略优化（Proximal Policy Optimization，PPO）算法，鼓励模型输出更高质量的内容，从而实现语言模型的训练。