跳到主要内容

PEFT

Adapter tuning​

Prompt tuning​

在针对下游任务微调时，Prompt Tuning将冻结原始LLM的参数，只学习独立的prompt token参数（参数化的prompt token加上输入的token送入模型进行前向传播，反向传播只更新prompt token embedding的参数）。

Prefix tuning​

看到这里可以知道，Prefix-Tuning可以算是Promot Tuning的一个特例（Promot Tuning只在输入侧加入可学习的Prefix Prompt Token，Prefix-Tuning推广到Transformer Layer每一层的K、V上）

Recap LoRA​

why lora work​

权重系数​

$$r​

![](./images/image-5.png) ### $$\alpha$$ ![](./images/image-3.png) ![](./images/image-7.png) ### Backprop ![](./images/image-9.png) ### 参数初始化 ![](./images/image-4.png) ![](./images/image-10.png) ### how lora work ![](./images/image-15.png)