这个我知道，答案都来自报告《2022年全球人工智能产业研究报告》，如果有兴趣了解更多相关的内容，请下载原报告阅读。

基于自注意力机制，有效提高模型训练效率 

由Google的Ashish Vaswani等人和多伦多大学的Aidan N.Gomez于2017年首次提出，是一种基于自注意力机制（在 Transformer模型中起基础作用，可减少对外部信息的依赖,更擅长捕捉数据或特征的内部关系，优化模型训练结果）的深度学习模型， 该模型主要由编码器和解码器构成，模型本身并行度较高，在精度和性能上均要优于传统的循环神经网络（RNN）和卷积神经网络 （CNN）。Transformer模型在简单语言问答和语言建模任务上有着较好表现。Transformer模型仍存在一些不足，如对局部信息的获取能 力弱于RNN和CNN、不能很好表征单词的位置信息、顶层梯度消失等问题。

基于Transformer Encoder构建的预测模型

由Google于2018年提出，是基于Transformer Encoder构建的一种模型。模型基本思想：给定上下文来预测下一个词。BERT模 型架构是由多接口组成的Transformer编码器层，即全连接神经网络增加自注意力机制。对于序列中的每个输入标记，每个接口计算键、 值和查询向量，相关向量用于创建加权表示，合并同一层中所有接口输出并通过全连接层运行。每个层使用跳跃连接进行包装，之后将 层归一化处理。BERT模型传统工作流主要包含预训练和模型微调两部分，其中预训练环节涉及MLM和NSP两个半监督任务；模型微调环节 包含一个或更多全连接层，通常增加到最终编码器层的顶部。BERT模型已集成在谷歌搜索中，并提升10%的查询准确率。

将Transformer模型引入计算机视觉领域，大幅提高图片识别率

由Google公司Alexey Dosovitskiy等人在2021年提出，其原理是将原本用于NLP领域的基于自注意力机 制的Transformer模型应用于计算机视觉领域。相比于传统CNN算法，ViT模型在大数据集上识别率更高、成本更低。ViT模型的基本原理： 1）将图片切分为相同大小的块，每个块可以看做一个“单词”；2）每个块经过线性投射层（全连接层）的操作得到位置编码（图像分 类问题转化为NLP问题）；3）将线性投射后的图像块输入由L层Transformer模型构成的编码器；4）输出结果经过多层感知机（MLP）得 到最终分类结果。目前，ViT已发展出多种改进模型，在计算机视觉物体检测等方面具有很大应用潜力。

旨在对于无标签数据，通过设计辅助任务来挖掘数据自身的表征特性作为监督信息，来提升 模型的特征提取能力，将无监督问题转化为有监督问题的方法。辅助任务是自监督学习最关键内容，目前主要包括自然语言处理NLP和 计算机视觉CV两大类任务。其中，自然语言处理包括单词预测、句子序列预测、词序列预测；计算机视觉包括图像任务、视频任务等。 著名AI科学家Yann Lecun曾经提出，如果将人工智能比作一块蛋糕，蛋糕的大部分是自监督学习，蛋糕上的糖衣是监督学习，蛋糕上的 樱桃是强化学习，自监督学习在人工智能领域占据重要地位。

指经过大规模数据训练且在经微调后即可适应广泛下游任务的模型。随着参数规模不断扩大，AI大模 型在语言、视觉、推理、人机交互等领域涌现出新能力。由于各类AI大模型可有效应用于多种任务，各类AI大模型同质化特征愈发明显。 伴随2017年Transformer模型的提出，深度学习模型参数数量突破1亿个。此后，模型参数数量迅速增长，其中BAGUALU模型于2021年7月 发布，参数规模已达到174万亿个。模型参数规模的增大，有助于进一步提高模型的运算精度。AI大模型的应用向多个应用场景提供预 训练方案，其使用的自监督学习方法也可减少标注数据的使用，降低训练研发成本。具体而言，AI大模型在医疗和生物医药、法律和教 育等领域拥有广阔应用前景。