常用开发框架

训练平台

1. Pytorch：模型设计训练
2. verl：常用的RL强化学习训练框架
3. llamafactory：大模型微调平台
4. torchrun+DeepSpeed：分布式训练
5. agent-lightning：Microsoft Agent 统一框架

推理平台

1. onnxruntime：跨平台模型格式
2. ncnn：类似onnxruntime的轻量级框架
3. ggml+llama.cpp+ollama: c++的大模型量化和推理平台