01 · 成本
高频任务持续依赖强模型
很多标准化工具调用并不需要每一步都交给最强模型，长期使用会带来不必要的推理成本。
个人 AI 解决方案练习
把强模型 Agent 的能力，
沉淀到更轻量的模型里。
一个面向企业 Agent 的行为蒸馏与小模型定制方案：将强模型驱动的真实执行轨迹转化为训练数据，通过 LoRA 微调、实验管理、Agent 专项评测与模型发布，探索如何把稳定的工具选择与下一步决策能力迁移到更轻量的模型。
个人练习项目。 本页面用于展示我的 AI 解决方案思考、模型定制与 Agent 工程实践，不代表真实商业部署结果。我正在努力成为一名 AI 售前解决方案工程师，重点关注 企业智能体落地。
TRACE → TRAIN → EVAL → DEPLOY
Agent 能力持续优化闭环
01
强模型 AgentClaude / GPT / Gemini 驱动复杂 Agent 行为
02
Agent Trace工具调用、参数、观察结果与下一动作
03
小模型定制LoRA / SFT 学习工具选择与行为模式
04
专项评测Schema、Tool Selection、Next Action
↳
评测通过后发布；新一轮运行 Trace 继续进入训练闭环
01 / 业务问题
企业已经有强模型 Agent，
为什么还要做模型定制？
很多企业 Agent 已经能完成任务，但高频标准任务长期依赖强模型，会带来成本、依赖和行为可控性问题。与此同时，真实 Agent 运行日志本身就是高价值训练数据资产。
02 · 行为固化
Prompt 很难固化复杂工具行为
当企业工具数量越来越多，仅靠 Prompt 描述调用规则会越来越难维护，也难稳定复现历史成功行为。
03 · 数据资产
真实 Agent Trace 没有被持续利用
大量成功执行轨迹往往只用于日志和排障，却没有进一步沉淀成小模型定制和持续优化的数据闭环。
02 / 解决方案架构
把生产 Trace，
变成可训练、可评测、可发布的模型资产。
核心不是“跑一次 LoRA”，而是搭建从数据治理、训练实验、模型选择到 Agent 行为评测与发布的完整流水线。
01
强模型 Agent由 Claude Opus 4.5 驱动的 Coding Agent 生成真实执行轨迹02
Trace 数据治理隐私审核、脱敏、格式标准化、样本构建03
训练数据集6.7K 样本，completion-only masking 聚焦助手与工具调用 token04
LoRA / SFT基于 TRL + PEFT 对 Gemma 4 E2B 进行行为蒸馏05
并行实验Hugging Face Jobs 超参搜索 + Trackio 实验追踪06
Agent 专项评测工具格式、工具选择、下一动作等目标对齐指标07
模型发布
A100 重训练、PEFT Adapter 验证与 Hugging Face Hub 发布
查看模型产物 ↗
Hugging Face JobsTRLPEFTTrackioA100LoRAHub
03 / 方案重点
这个方案真正训练的，
不是“会聊天”，而是“会行动”。
对于 Agent，小模型的关键不是通用问答能力，而是面对当前上下文时，能否做出正确的下一步行为决策。
Agent Behavior
学习工具选择与调用格式
把强模型在真实轨迹中展现出来的 Tool Calling 模式转化为可学习行为。
- 是否需要调用工具
- 应该调用哪个工具
- 工具参数是否符合 Schema
Next Action
学习 Observation 后的下一步动作
不仅学会“调哪个工具”，还要学会拿到工具结果后应该继续搜索、调用其他工具，还是生成最终答案。
- 工具结果是否足够
- 是否继续探索
- 何时结束并回答
04 / Agent 专项评测
不只看 Loss，
更看模型是否真的“学会做 Agent”。
训练损失可以说明优化是否收敛，但真正决定方案价值的是 Tool Schema、Tool Selection 和 Next Action 等行为指标。
Agent 行为评测结果HELD-OUT TRACE EVALUATION
1.48 → 0.72
留出轨迹 Loss
训练目标收敛情况
41.6% → 93.8%
工具调用 Schema 有效率
格式与参数结构是否可执行
25.4% → 69.4%
工具选择准确率
是否选择了正确工具
34.4% → 61.4%
下一动作 Token F1
是否学会正确的后续行为
以上指标来自个人练习项目中的离线评测，用于验证行为蒸馏方案是否有效，不代表真实生产环境中的成本、延迟或商业收益。
公开模型产物
Gemma 4 E2B-it Pi Mono LoRA
最终 LoRA / PEFT Adapter 已发布至 Hugging Face Hub，可查看模型卡、训练配置与评测结果。
05 / 生产落地思路
小模型不是替代强模型，而是承担更适合它的工作。
真正进入企业生产环境后，更合理的方案通常是模型路由：高频、标准化 Agent 行为由小模型承担，复杂长尾任务继续交给强模型。
轻量 Agent 模型
高频、标准化、工具空间稳定的任务，优先走小模型路径。
路由
Frontier Model
复杂、长尾、强推理任务继续由 Claude / GPT / Gemini 等强模型处理。
06 / 业务价值
把 Agent 日志，
从“运行记录”变成“持续优化资产”。
这类方案的核心价值，不是证明“小模型一定比强模型好”，而是给企业多一种可控、可持续的模型定制与成本治理路径。
01
降低强模型依赖
让更适合的小模型承担高频标准化行为，减少所有节点都依赖 Frontier Model 的必要性。
02
固化企业 Agent 行为
把稳定的工具选择和调用模式从 Prompt 层逐步沉淀为模型能力。
03
利用真实 Trace 数据
将生产日志升级为训练资产，用成功行为持续推动下一版模型优化。
04
建立训练评测闭环
让数据、训练、实验、Agent 行为评测与模型发布形成可复用流水线。
一起定制一个 Demo
已经有 Agent Trace？
可以先验证它能否转化为训练数据资产。
如果你希望讨论 Agent Trace 数据治理、小模型微调、工具调用行为蒸馏、模型路由或 Agent 评测体系，可以告诉我你的场景。我会从“数据 → 训练 → 评测 → 部署”的路径尝试拆解。