生成式 AI 始于一个基础模型 – 深度学习模型，是多种不同类型生成式 AI 应用程序的基础。当下最常见的基础模型，是为文本生成应用程序而创建的大型语言模型 (LLM)，但也有用于图像生成、视频生成以及声音和音乐生成的基础模型，还有可以支持多种内容生成的多模态基础模型。

为了创建基础模型，从业者在大量原始、非结构化、未标记的数据上训练深度学习算法，例如，从互联网或其他一些庞大的数据源中挑选出的 TB 级数据。在训练过程中，算法可执行和评估数百万次“填空”练习，尝试预测序列中的下一个元素（例如，句子中的下一个词汇、图像中的下一个元素、代码行中的下一个命令），并不断调整自身，以最小化其预测与实际数据（或“正确”结果）之间的差异。

这种训练的结果是一个由参数 构成的神经网络，即数据中实体、模式和关系的编码表示，可以根据输入或提示自主生成内容。

这是一种计算密集型、耗时且昂贵的训练流程，需要数千个集群图形处理单元 (GPU) 和数周的处理时间，所有这些将花费数百万美元。开源基础模型项目，例如 Meta 的 Llama-2，支持生成式 AI 开发人员避免这一步骤及其成本。