Kimi K2
Agent RL 相关内容
Introduce
这一部分指出当前 Agent 训练存在核心挑战(后训练挑战:多步推理、长期规划和工具使用等主体能力在自然数据中罕见且扩展成本高昂),引出 Kimi K2 专门设计以应对核心挑战并推动代理能力的边界。
介绍了训练模型之前会有一个大规模的自主数据合成管道,通过模拟和现实环境系统性地生成工具使用示范。该系统构建了多样化的工具、代理、任务和轨迹,以大规模创建高保真、可验证正确的自主交互。
同时秀肌肉(图一展示了 8 个表格,有一半是评估 agent 能力的,可见这个模型对于 agent 能力的重视):

展示的这几个榜单如下
Post-Training
数据合成流水线
Agent 数据合成流水线(开发了一套流水线,能够大规模模拟现实工具使用场景,从而生成数万条多样且高质量的训练样本)

-
工具规格生成:我们首先从现实世界工具和 LLM 合成工具中构建一个大型工具规格库
-
在 Kimi K2 的技术报告中,“工具规格生成”(Tool Spec Generation)是构建智能体(Agent)能力的基石。简单来说,这步工作的目标是给模型准备一本“工具大百科全书”,让它知道世界上有哪些工具、这些工具怎么用。
-
真实工具:3000+ MCP 工具的“实战库”
-
什么是 MCP?:MCP 全称是 Model Context Protocol(模型上下文协议),这是一种标准化的接口协议,由 Anthropic 等公司发起,旨在让 AI 模型更方便地连接外部数据和工具
-
获取方式:团队从 GitHub 仓库中直接抓取了 3000 多个现成的、高质量的工具定义
-
意义:这些工具来自于真实的开发者需求(比如查询实时天气、读写本地文件、调用特定的 API),确保了模型学习到的工具使用逻辑是 符合现实世界规范 的
-
-
合成工具:20,000+ 工具的“演化工厂(由于真实世界的工具虽然真实,但可能在某些领域(如极端边界情况)覆盖不足,团队使用了 LLM 自行生成了海量的“合成工具”)
-
分层领域生成 (Hierarchical Domain Generation):这是一个由面到点的过程
-
第一步:确定大类。比如选定“金融交易”、“ 机器人控制”、“软件应用”等关键类别 ()
-
第二步:细化领域。在每个大类下,进一步演化出更具体的应用场景
-
第三步:合成工具。为每个场景设计具体的工具接口、功能描述以及操作语义
-
-
意义:这种方式产生了超过 20,000 个合成工具,极大地扩展了工具的 多样性,弥补了自然数据稀缺的不足
-
-
来源多样化:为什么需要 23,000 个这么多?
-
互补性:技术报告中的 t-SNE 可视化图表显示,真实工具(MCP)和合成工具在功能分布上是互补的 。真实工具提供真实感,合成工具提供系统性的空间覆盖。
-
泛化能力:只有见过足够多、足够怪的工具(通过合成工具模拟各种失败和边界情况),模型在遇到用户给出的 从未见过的新工具 时,才能根据工具文档准确判断如何调用
-
-
-
-
代理和任务生成:对于从工具库中抽取的每个工具集,我们生成一个使用该工具集的代理及一些相应的任务
-
在 Kimi K2 的数据合成流水线中,智能体与任务生成(Agent and Task Generation) 紧接在“工具仓库构建”之后。如果说工具是“武器”,那么这一步就是为了创造出各式各样的“士兵”(智能体)并给他们布置具体的“战场任务”
-
智能体多样化:创造数千个“数字专家”(为了让模型学会处理各行各业的复杂指令,研发团队不仅仅是把工具丢给模型,而是通过“角色扮演”的方式将工具与特定的专业背景结合)
-
系统提示词(System Prompts)的组合:团队合成了成千上万种不同的系 统提示词,用来定义智能体的身份、语气、专业知识范围和行为准则 ()
-
工具集的差异化分配:从包含 23,000 个工具的仓库中随机采样不同的子集,装备给不同的智能体 ()()()
-
结果:生成了数千个具有独特“行为模式”的智能体 ()。例如:
-
智能体 A 可能是一个 财务分析师,装备了查询股价、读财报和计算收益的工具,其行为模式设定为专业且严谨。
-
智能体 B 可能是一个 智能家居助手,装备了控制灯光、查询天气和播放音乐的工具,其行为模式设定为亲切且高效
-
-
-
基于规则的任务生成:设计“阶梯式”考卷
-
从简单到复杂的演进(Curriculum Design):为每个智能体配置的任务涵盖了不同的难度等级 (单步任务到复杂任务)
-
配备明确的评估准则(Rubrics):这是 Kimi K2 的关键创新。每个任务在生成时,都会自动配一套“评分标准”
-
成功标准:规定最终结果必须达到什么要求(例如,财务报表必须包含特定的百分比数据
-
预期工具使用模式:规定智能体应该按什么逻辑调用工具,不该调用哪些工具
-
评估检查点:在复杂的长任务中设置中间步骤的验证点
-
-
-
-
-
轨迹生成:对于每个代理和任务,我们生成代理通过调用工具完成任务的轨迹。
-
这部分内容描述了 Kimi K2 如何生成能够让模型学习的“实战经验”。在有了工具和任务后,模型需要通过实际的交互来学习如何应对各种复杂情况。
-