AI底层算法

基础网络结构

1. FC
2. CNN
3. RNN,LSTM
4. Self-Attention
5. Manba

网络模块

1. Transformer
2. Res残差
3. Diuffsion-unet
4. Diuffsion-Transformer
5. FlowMatching

生成模型

1. 基础网络结构都可以生成
2. UNet
3. GAN
4. AVE
5. FlowBased
6. Diuffsion

训练技能

1. 激活函数：Relu+leakyRelu 到 GLU 到 Swih 到SwiGLU
2. 归一化：BN， LN， RMS
3. 经验: 要先做BN+Relu。 BN+Relu+Layer
4. 训练方法：Adam