大模型参数高效微调技术实战（一） |
您所在的位置：网站首页 › 微调怎么安装 › 大模型参数高效微调技术实战（一） |
|
随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。 因此，该技术值得我们进行深入分析其背后的机理，之前分享了大模型参数高效微调技术原理综述的文章。下面给大家分享大模型参数高效微调技术实战系列文章，该系列共六篇文章，相关代码均放置在GitHub：llm-action。 大模型参数高效微调技术实战（一）-PEFT概述及环境搭建 大模型参数高效微调技术实战（二）-Prompt Tuning 大模型参数高效微调技术实战（三）-P-Tuning 大模型参数高效微调技术实战（四）-Prefix Tuning / P-Tuning v2 大模型参数高效微调技术实战（五）-LoRA 大模型参数高效微调技术实战（六）-IA3本文为大模型参数高效微调技术实战的第一篇。由于本系列文章主要针对 Huggingface 开源的 PEFT 库进行讲解；因此，本文先对其进行概述以及环境搭建。 PEFT 概述PEFT 是 Huggingface 开源的一个参数高效微调库，它提供了最新的参数高效微调技术，并且可以与 Transformers 和 Accelerate 进行无缝集成。 支持的高效微调技术目前支持的一些高效微调方法如下： LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS Prefix Tuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation 和 P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks P-Tuning: GPT Understands, Too Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning : Infused Adapter by Inhibiting and Amplifying Inner Activations具体可通过 PEFT 的源码看到支持的参数高效微调技术类型枚举。 class PeftType(str, enum.Enum): PROMPT_TUNING = "PROMPT_TUNING" P_TUNING = "P_TUNING" PREFIX_TUNING = "PREFIX_TUNING" LORA = "LORA" ADALORA = "ADALORA" ADAPTION_PROMPT = "ADAPTION_PROMPT" IA3 = "IA3" 支持的模型我们可通过 PEFT 的源码看到支持的任务类型枚举。 class TaskType(str, enum.Enum): SEQ_CLS = "SEQ_CLS" SEQ_2_SEQ_LM = "SEQ_2_SEQ_LM" CAUSAL_LM = "CAUSAL_LM" TOKEN_CLS = "TOKEN_CLS" QUESTION_ANS = "QUESTION_ANS" FEATURE_EXTRACTION = "FEATURE_EXTRACTION"针对不同的任务支持的高效微调方法和模型不一样，下面是 PEFT 针对每项任务列出了支持的高效微调方法和模型。 因果语言建模任务（Causal Language Modeling）因果语言建模任务（CLM），在这种建模方法中，模型试图预测给定上下文中的下一个单词，该上下文通常包括在当前单词之前的所有单词。这种建模方法遵循因果原则，即当前单词只受到其前面单词的影响，而不受后面单词的影响。代表模型有GPT2、Bloom、OPT、GPT-Neo、GPT-J、LLaMA、ChatGLM。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3GPT-2✅✅✅✅✅Bloom✅✅✅✅✅OPT✅✅✅✅✅GPT-Neo✅✅✅✅✅GPT-J✅✅✅✅✅GPT-NeoX-20B✅✅✅✅✅LLaMA✅✅✅✅✅ChatGLM✅✅✅✅✅ 条件生成任务（Conditional Generation）条件生成任务（Conditional Generation），根据给定的输入（可能是文本、图片等）生成符合条件的输出。 与因果语言建模任务不同，条件生成不仅仅关注于给定上下文的连贯性，还关注于满足预定的任务要求。因果语言建模仅关注于根据给定的上下文生成文本序列。 条件生成的应用包括但不限于机器翻译、文本摘要、图像描述等。这些任务通常需要模型在输入和输出之间建立复杂的映射关系。 在这种建模方法中，模型是一个Encoder-Decoder架构，即序列到序列模型（编码器的输出作为解码器的输入），代表模型有BART、T5。 因果语言建模任务与条件生成任务对比： 因果语言建模主要关注于生成连贯、自然的文本，而条件生成关注于生成满足特定条件或任务要求的文本。这两种建模方法在某些场景下可能会互相使用和结合，以实现更复杂的自然语言处理任务。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3T5✅✅✅✅✅BART✅✅✅✅✅ 序列分类任务（Sequence Classification）序列分类（Sequence Classification），对整个句子进行分类。如: 获取评论的情绪，检测电子邮件是否为垃圾邮件，确定句子在语法上是否正确或两个句子在逻辑上是否相关等 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3BERT✅✅✅✅✅RoBERTa✅✅✅✅✅GPT-2✅✅✅✅Bloom✅✅✅✅OPT✅✅✅✅GPT-Neo✅✅✅✅GPT-J✅✅✅✅Deberta✅✅✅Deberta-v2✅✅✅ Token 分类任务（Token Classification）Token 分类任务（Token Classification），对句子中的每个词进行分类。如: 识别句子的语法成分（名词、动词、形容词）或命名实体（人、地点、组织）。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3BERT✅✅RoBERTa✅✅GPT-2✅✅Bloom✅✅OPT✅✅GPT-Neo✅✅GPT-J✅✅Deberta✅Deberta-v2✅ 文本生成图像任务（Text-to-Image Generation）文本生成图像任务（Text-to-Image Generation），通过文本生成符合给定文本描述的真实图像。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3Stable Diffusion✅ 图像分类任务（Image Classification）图像分类任务（Image Classification），根据图像信息中所反映的不同特征，把不同类别的图像区分开来。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3ViT✅Swin✅ 图像生成文本任务（Image to text）图像生成文本任务（Image to text），根据视觉图像输入生成关于图像的自然语言描述，属于多模态大模型。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3Blip-2✅ 语义分割任务（Semantic Segmentation）语义分割任务（Semantic Segmentation），通过使用类标签标记每个像素来识别和定位图像中的对象。 ModelLoRAPrefix TuningP-TuningPrompt TuningIA3SegFormer✅除了以上的任务，PEFT 中还提供了特征抽取任务和问答任务。 特征抽取（Feature extraction），从最初的一组测量数据开始，构建旨在提供信息且非冗余的派生值（特征），通过X，创造新的X'，以促进后续的学习和泛化过程。 问答任务（question answering），试图回答自然语言形式提出的问题，答案有可能来自结构化的数据库中，也可能来自非结构化的文本片段。对 PEFT 进行简单介绍了之后，下面开始进行搭建搭建。 PEFT 运行环境搭建基础环境配置如下： 操作系统: Centos 7 CPUs: 单个节点具有 1TB 内存的 Intel CPU，物理CPU个数为64，每颗CPU核数为16 GPUs: 8 卡 A800 80GB GPUs Python: 3.10 (需要先升级OpenSSL到1.1.1t版本（ 点击下载OpenSSL），然后再编译安装Python)， 点击下载Python NVIDIA驱动程序版本: 515.65.01，根据不同型号选择不同的驱动程序， 点击下载。 CUDA工具包: 11.7， 点击下载 NCCL: nccl_2.14.3-1+cuda11.7， 点击下载 cuDNN: 8.8.1.3_cuda11， 点击下载上面的NVIDIA驱动、CUDA、Python等工具的安装就不一一赘述了。 先创建虚拟环境并激活虚拟环境 peft-venv-py310-cu117： cd /home/guodong.li/virtual-venvvirtualenv -p /usr/bin/python3.10 peft-venv-py310-cu117source /home/guodong.li/virtual-venv/peft-venv-py310-cu117/bin/activate然后，安装Pytorch、DeepSpeed、PEFT、jupyterlab等依赖库。 # 离线安装PyTorchpip install torch-1.13.1+cu117-cp310-cp310-linux_x86_64.whlpip install torchvision-0.14.1+cu117-cp310-cp310-linux_x86_64.whl# 从源码安装PEFTgit clone https://github.com/huggingface/peftcd peftgit checkout 42ab106pip install -e .# 在线安装datasets、jupyterlab、deepspeedpip install datasetspip install jupyterlabpip install deepspeed为了便于运行官方的样例，这里安装了jupyterlab库。由于GPU算力通常在远程服务器，而开发是本地笔记本，因此，需要搭建远程jupyterlab服务，然后在本地访问，具体操作如下所示。 首先，生成配置文件（jupyter_lab_config.py）： > jupyter lab --generate-configWriting default config to: /home/guodong.li/.jupyter/jupyter_lab_config.py然后，对密码进行加密： from jupyter_server.auth import passwd; passwd()之后，修改生成的配置文件（jupyter_lab_config.py）： c.ServerApp.allow_origin = '*'c.ServerApp.allow_remote_access = Truec.ServerApp.ip = '0.0.0.0'c.ServerApp.open_browser = False c.ServerApp.password = '加密后的密码'c.ServerApp.port = 9999最后，在服务器端启动jupyterlab服务。 # jupyter lab --allow-rootnohup jupyter lab --allow-root > jupyterlab.log 2>&1 &至此，PEFT 运行环境搭建完成，可以通过IP+端口进行访问了。 模型准备本系列文章基础模型均采用bloomz-560m，因此，需预先从 Huggingface 模型仓库下载。 git lfs clone https://huggingface.co/bigscience/bloomz-560m基础模型结构如下所示： BloomForCausalLM( (transformer): BloomModel( (word_embeddings): Embedding(250880, 1024) (word_embeddings_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) (h): ModuleList( (0): BloomBlock( (input_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) (self_attention): BloomAttention( (query_key_value): Linear(in_features=1024, out_features=3072, bias=True) (dense): Linear(in_features=1024, out_features=1024, bias=True) (attention_dropout): Dropout(p=0.0, inplace=False) ) (post_attention_layernorm): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) (mlp): BloomMLP( (dense_h_to_4h): Linear(in_features=1024, out_features=4096, bias=True) (gelu_impl): BloomGelu() (dense_4h_to_h): Linear(in_features=4096, out_features=1024, bias=True) ) ) ... (23): BloomBlock( ... ) ) (ln_f): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) ) (lm_head): Linear(in_features=1024, out_features=250880, bias=False)) 结语文本主要对 PEFT 库进行了基本的概述，同时，搭建了运行 PEFT 的开发环境。本系列后续文章将对不同的PEFT技术进行实战。 如果觉得我的文章能够能够给您带来帮助，期待您的点赞收藏加关注~~ |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |