PEFT

• 大模型高效微调PEFT综述-从Adpter、PrefixTuning到LoRA

• 图解大模型微调系列之：大模型低秩适配器LoRA（原理篇）

Adapter tuning

Prompt tuning

在针对下游任务微调时，Prompt Tuning将冻结原始LLM的参数，只学习独立的prompt token参数（参数化的prompt token加上输入的token送入模型进行前向传播，反向传播只更新prompt token embedding的参数）。

Prefix tuning

看到这里可以知道，Prefix-Tuning可以算是Promot Tuning的一个特例（Promot Tuning只在输入侧加入可学习的Prefix Prompt Token，Prefix-Tuning推广到Transformer Layer每一层的K、V上）

Recap LoRA

• 大模型高效微调-LoRA原理详解和训练过程深入分析 - LeonYi - 博客园

why lora work

权重系数$\frac{\alpha }{r}$

$$r

 ### $$\alpha$$   ### Backprop  ### 参数初始化   ### how lora work