收藏
SEU
邮箱、选课、信息科学与工程学院、办事服务大厅、研究生综合服务系统
科研相关
通信与感知
- 知乎资源:通信感知一体化偏信息论方向、通信 MATLAB 仿真合集、通信感知一体化开源代码和数据论文汇总
- 学者主页:刘凡知乎、刘凡谷歌学术、许威谷歌学术
- 论文池
学术资源
会议与资源
工具与模板
通信之道 289/441
码农
Al工具应用 agent开发 私有大模型部署调优暴露接口解决业务问题
大并发+大数据+大模型
编程工具
比赛平台
Kaggle、阿里云天池比赛、AI Challenger、和鲸HeyWhale
深度学习
学习路线
吴恩达《机器学习》-> 吴恩达《深度学习》->李沐《动手学深度学习》->李宏毅相关课程挑感兴趣的看->李沐《论文精读》,到这一步基本上就知道自己喜欢做什么了,继续去 google 上找自己找感兴趣的相关论文。深度学习用 python 和 C++。
deep learning相关: a.专注于Al Agent:UC Berkeley CS194-196, LLM Agent b.经典bayesian ML(可选):coursera machine learning,Stanford CS229 C.经典deep learning(可选):coursera deep learning,Stanford CS231n
学习资源
顶级的机器学习 Python 库列表、AI Learning、神经网络详细代码、各类 AI 模型详讲、多模态大模型文章梳理、机器学习的学习路径及知识总结
课程资源
李宏毅 2021/2022/2023 春季机器学习课程课件及作业、understanding deep learning
动手学深度学习
其他资源
面试资源
DeepLearning-Interview-Awesome-2024、AIGC 求职
学习笔记
强化学习
Transformer
Transformer 模型详解、分析 transformer 模型、Vision Transformer LLM Diffusion Model 超详细解读、VIT 入门、大模型超详细解读
AI-agent
LLM
0x00 学习路径
本文分为三个章节,各章节的学习目标如下。
- 入门篇:
- 了解大语言模型的基础知识和常见术语。
- 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。
- 面向非专业背景的大模型普及知识。
- 应用篇:
- 可以在本地环境搭建开源模型的推理环境。
- 大语言模型应用开发框架(如 LangChain、Dify等)。
- Prompt 工程、 RAG、Agent 等大模型应用开发范式。
- 深入篇:
- 大模型技术原理、训练微调、数据工程、推理优化等。
- 大模型应用范式(RAG、Agent等)前沿进展。
读者可以根据自己需要选择对应的章节,如对大语言模型的原理不感兴趣,可只关注入门篇和应用篇。 考虑到阅读 背景,本文尽可能提供中文资料或有中文翻译的资料。
标记为【必看】的是我认为只要你对这个主题感兴趣,必须要看的资料。
0x10 入门篇
在入门之前,请申请 OpenAI API,并具备良好的国际互联网访问条件。
推荐注册 https://openrouter.ai/ 可一站式访问大量闭源和开源模型。
- ChatGPT Prompt Engineering for Developers
- 虽然是 Prompt 工程,但是内容比较简单,适合入门者。
- 中英双语字幕: https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese
- OpenAI Quickstart 【必看】
- OpenAI 官方 Quickstart 文档。以及 API Reference
- State of GPT:Andrej Karpathy 做的演示,极好的总结了 GPT 的训练和应用。 【必看】
- Deep Dive into LLMs like ChatGPT: Andrej Karpathy 最新的长达3小 时的入门视频【必看】
0x20 应用篇
- Building Systems with the ChatGPT API
- Langchain
- Langchain 是大语言模型最火的应用框架。即使不使用,也可以借鉴。
- LangChain for LLM Application Development
- dify:开源的应用编排工具。
- GPT best practices:OpenAI 官方出的最佳实践。
- openai-cookbook:OpenAI 官方 Cookbook。
- Brex's Prompt Engineering Guide:Prompt 工程简介
0x30 深入篇
0x31 大模型技术基础方向
- 《动手学深度学习》:配合B站李沐的视频,是我个人认为最好的深度学习入门课程。【必看】
- 深度学习:台湾大学李宏毅:台湾大学李宏毅,讲的很清楚,也比较有趣。
- 3brown1blue 系列视频:动画做的很好,可反复回顾 【必看】
0x32 大模型技术原理方向
- 大语言模型综述【必看】
- 大语言模型迄今为止最好的学术向中文综述。
- 大语言模型【必看】
- 大语言模型迄今为止最好的书籍。
- 大规模语言模型:从理论到实践:另一本不错的中文书籍。
- 清华大模型公开课第二季:系统的了解大模型的历史、原理和前沿进展。【必看】
- GPT,GPT-2,GPT-3 论文精读:GPT 系列模型论文精读
- Llama3.1 论文精读:最好的开源大模型论文精读
- 复杂推理:大语言模型的北极星能力 :略学术,解释大语言模型能力的来源。
- ICML 2024 Tutorial: Physics of Language Models by Zeyuan Allen-Zhu:使用黑盒研究大模型的原理,非常有参考价值。【必看】
0x33 大模型训练微调方向
- Build a Large Language Model (From Scratch):从零构建大模型。【必看】
- LLaMA-Factory:个人最推荐的微调大模型的工具。【必看】
- MAP-NEO:唯一全过程开源的中文大模型(包括数据处理工具、预训练数据、微调数据等)
- The Ultra-Scale Playbook: Training LLMs on GPU Clusters:大规模集群训练大模型的经验,前面部分对模型训练的显存占用、4D并行做了很详细的说明。中文翻译。【必看】
0x34 大模型数据工程方向
- How to Generate and Use Synthetic Data for Finetuning:如何合成微调数据。
- 中文行业预训练语料 IndustryCorpus 2.0:亮点是预训练数据处理流比较科学。数据处理工具 FlagData
0x35 大模型推理优化方向
- Challenges in Deploying Long-Context Transformers: A Theoretical Peak Performance Analysis:大模型推理速度计算和瓶颈分析。【必看】
- A Visual Guide to Quantization:大模型量化解析。
0x36 大模型应用方向
- A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks: Prompt 工程综述
- Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks:高级 RAG 优化方法。
- LLM Powered Autonomous Agents:Agent 早期的很不错的文章。
编程开发
面试资源
后端开发校面试笔记本、互联网 Java 工程师进阶知识完全扫盲、程序员最佳网站列表
剑指 offer
Java 教程
学习教程
廖雪峰、Java 学习路线 1、路线 2、Javaguide、Java 全栈知识体系、算法图解、小崔的刷题笔记、大学四年学习指南
技术博客
通信博士的笔记、沉睡的海洋、哈工大大佬 Pion1eer、Levitate、ziheng's Blog、美团、人工智能教程
实用资源
学习资源
Quantumult X 账号、free-programming-books、Programming Notes for Professionals books
视频资源
工具资源
传输文件(小于 10GB)、github 的推荐、cloudflare tunnel内网穿透、windows docker 里安装并使用 mysql