小黑豆
小黑豆

暂无菜单项

首页/文章/热点资讯/
打开 MD 链接

Hugging Face 测试编程代理适配器:同一个模型,换种训练能少调用多少次工具?

发布于 1天前
1
轮播

编程助手修好了一个问题,你可能只看到最后几行改动。后台却可能先读了许多文件,重复搜索同一个符号,又把相同测试跑了好几遍。11 月 20 日,Hugging Face 公布一组研究结果,尝试让模型适应驱动它工作的代理框架。作者关心两个问题:第一次尝试能否完成任务,以及为这次成功一共付出了多少工具调用。

工具相同,做事的过程也可能不同

这里的框架,也就是文章所说的 harness,负责向模型提供工具、传递执行结果、安排下一轮操作。想象两个助手都能编辑代码,一个收到的是短小的文件差异,另一个每次读到完整的命令输出。即使底层模型相同,它们决定接下来还要查什么时,掌握的信息也不一样。给特定框架训练适配器,正是让模型熟悉自己实际面对的工作环境。

团队围绕 Qwen3.8-27B,比较了原始模型、面向单一框架的专用适配器,以及结合多个框架经验的通用适配器。评估覆盖 pi、Hermes 和 OpenCode,并使用软件修复和终端任务。这个设计允许读者问一个比“哪款模型分数最高”更细的问题:部署环境固定以后,训练模型改变使用工具的习惯,能不能让它少绕路?

先看成功率,再看节省发生在哪里

研究报告称,关闭思考模式时,通用适配器在六组框架与测试集组合上的平均首次通过率由 39.5% 提高到 49.0%,相差 9.5 个百分点。比较双方都能完成的任务时,工具调用次数减少了 53% 至 73%。第二个数字有一个重要范围:它统计的是共同做对的任务。一个助手提前放弃也会少调用工具,所以不能只凭调用数下降判断完成质量。

逐题看会更清楚:在这组关闭思考模式的对比里,适配后模型新做对了 71 项,也失去了原本能通过的 34 项。平均分改善和局部能力退步可以同时发生。如果一家团队恰好经常处理那些退步的任务,公开榜单上的净收益就未必能在自己的仓库重现。

如何把这个发现用于自己的项目

假设团队最常交给助手的是修导出格式、更新依赖和补回归测试,可以各选几道有明确验收条件的旧工单。固定代码版本、权限和工具集,让两个方案独立运行。每项都保留实际执行记录,把成功次数、人工补救时间和工具调用量放在一起看。若只在其中一类任务上反复读错文件,回看轨迹比先换一个更大的模型更能说明问题。

这项工作也提醒做选型的人留意测试设计。作者说明,通用适配器的一个权重选择参考过其中一套终端测试,相应结果可能偏乐观。对维护者而言,最有说服力的补充证据来自一批训练和选择阶段都没见过的真实任务。能在这些任务上用更少步骤交出同样可靠的改动,节省才会落到实际工作里。

来源:Hugging Face 研究报告

支持作者
如果这篇内容对你有帮助,可以请作者喝杯咖啡
0 点赞
0 收藏
分享
0 讨论
反馈
0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结
嗨,下午好!
所有的成功,都源自一个勇敢的开始
创作
社区
购物
会员
近期热门

暂无数据

小黑豆
小黑豆
首页
产品中心优惠
扩展中心
模板中心
小店
AI导航
社区演示
文档中心
构建器夯
追踪 AI 新动态,找到顺手的工具。
从硬件调优到开源实战,跟着教程动手试。
关于帮助文档FAQ协议
小黑豆 © 2026蒙ICP备14001754号-10