深度阅读 数据观察 专业观点 持续更新
READ
DEEPER
最新动态 / FEATURED STORY

当前位置:首页 开元棋牌官网 - 开元官方网站 - Kaiyuan Games 最新动态

同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

开元棋牌官网 - 开元官方网站 - Kaiyuan Games586 阅读约5.5分钟
同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

本篇内容由开元棋牌整理:

我先把账单摆出来。

在GLM-5.

3-Flash上, Pi解决一个任务平均花$0.

29,OpenCode花$3.

35。

差了11.

7倍 。

换到Claude Code,它的单次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。

但得分呢?

在447个SWE-bench Verified任务上, Claude Code和mini-SWE-agent的差距只有两个百分点 ,研究者判定为统计等价。

mini-SWE-agent是什么东西?

大约100行Python,只暴露一个bash工具,没有上下文压缩机制 。

也就是说,你为一个“大厂框架”付的钱,买到的主要是 开场白 ,不是能力。

Harness Leaderboard的数据更直白。

28,849次试验、9个harness、3个开放模型, 换一个harness,每100个任务里有29.

1个结果会翻转;

而同一个harness重跑一遍,也有23.

4个任务会翻转 。

你看到的“得分差”,有将近四分之一是噪声。

但 成本差是实打实的,它不随重跑而消失 。

账单差在哪里:开场白吃掉了一半的钱 成本差距最反直觉的地方,在于 它不是发生在“干活”的过程中,而是发生在你还没开始干活之前 。

同一个模型、同一批任务、同一张价格表,初始固定上下文的长度: Claude Code 16,581 token,OpenCode 7,025 token,mini-SWE-agent 829 token 。

Claude Code的开场白是mini-SWE-agent的 20倍 。

这16,581个token里装了什么?

系统提示词、CLAUDE.

md、自动记忆、MCP工具名和描述、skill定义,全部在 你输入第一句话之前 就已经加载进去了。

这些东西在“构建一个复杂的Agent工作流”时是资产,但在“跑一个边界清晰的编码任务”时是 纯开销 。

你每次调用都在为这16,581个token付钱,无论任务需不需要它们。

about image

Pi的聪明之处不在于它的代码更少,在于它的开场白更克制。

它以49.

4%的解决率、$0.

29的每任务成本,和mini-swe-agent的51.

4%、$0.

53 统计打平,但便宜了大约45% 。

mini-swe-agent用极简的上下文换来了低开销,Pi在低开销的基础上把解决率追到了统计等价的水平。

“便宜”和“能用”在这两个框架上同时成立。

Codex的21个点:不是框架弱,是“咬合”出了问题 Harness Leaderboard里最值得盯的单个案例,是Codex。

同一个Codex,在DeepSeek-V4.

1-Flash上得68.

8%,在GLM-5.

3-Flash上只有47.

4%,相差21个百分点 。

它在DeepSeek上能挤进第一梯队,在GLM上直接掉到中下游。

这不是“Codex好不好”的问题,是 “Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。

8090 Labs在另一组测试里也观察到了同样的现象: GLM-5.

3-Flash在最好的harness里通过率59%,在最差的harness(Codex)里只有24%,差了35个点 ;

而GPT-5.

6 Sol无论换哪个harness,得分只波动6个点。

有些模型“挑框架”,有些模型“不挑”。

GLM是前者,Sol是后者。

对普通开发者的直接含义:你选了一个模型,不代表你选了一个“在所有框架里都一样表现”的模型。

同一个权重,在不同的Agent外壳里,可能是两个完全不同的产品。

Harness Leaderboard的结论写得很干脆: “第一名会随模型变化。

” GLM上mini-swe-agent以62.

1%夺冠,Claude Code 60.

7%并列第四;

换到DeepSeek,Hermes Agent以71.

3%领先,mini-swe-agent 70.

7%紧随其后。

没有“最强框架”,只有“和这个模型咬合最好的框架”。

大厂框架不便宜,也不一定更好:一句被数据反复验证的话 山东大学那组研究的总结,可能是整份榜单里最值钱的一句话: “A vendor’s own harness on its own model buys no score advantage.

” 厂商自己的harness跑自己的模型,买不到分数优势。

这句话不是修辞。

8090 Labs的测试里, 五个harness里有三个来自模型厂商(Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek),没有一个模型在自己的“主场框架”里拿到最好成绩 。

Claude Fable 5.

1在Claude Code里通过率41%,在Codex里是61%, 差了20个点 ;

它在Claude Cod

开元棋牌将持续关注后续动态。

返回资讯列表

分享这篇内容

让更多人看到这篇有价值的行业观察。

TRENDING NOW

热点新闻

查看近期更新内容,快速了解行业动态与用户关注方向。

维尼修斯彻底凉凉?曝皇马教练坦承:没有他 球队全面提升+姆总解放

维尼修斯彻底凉凉?曝皇马教练坦承:没有他 球队全面提升+姆总解放

10月19日,皇马在主场4-1大胜塞维利亚。赛后,皇马跟队记者透露,有皇马教练认为维尼修斯不在的情况下,球队的攻防都变顺了,姆巴佩也得到了解放。维尼修斯归队后估计要坐冷板凳。 维尼修斯本赛季的表现持续低迷。上一场联赛中,他被安排当替补。替补出场后,维尼修斯惹出麻烦。由于在场上揪对手的头发、顶撞裁判,维尼修斯被红牌罚下,且赛后被禁赛4场! 今日的比赛,维尼修斯只能作壁上观。在他缺席的情况下,皇马的进

记者:拉什福德已过巅峰,他的回归是个问题

记者:拉什福德已过巅峰,他的回归是个问题

记者:拉什福德已过巅峰,他的回归是个问题 talkSPORT记者Alex Crook谈拉什福德:我认为他可能已经过了巅峰期了。在滕哈格麾下那个赛季打进那么多进球,让俱乐部决定给他一份巨额高薪合同,而这已经成为俱乐部的一个真正的问题。 自从拉什福德回归后,我本来希望他在巴萨效力的那段时光能激发他的新活力,但说实话,我们并没有看到这种迹象。 我认为卡里克昨天把他放在替补席上是完全正确的。而且比赛最后阶

10小时航班拒让过道座,邻座女子哭了3小时

10小时航班拒让过道座,邻座女子哭了3小时

一趟约10小时的航班上,一位女乘客想让别人把过道座位让出来,好和丈夫坐在一起。对方没同意,她哭了3个小时——这是博主Tomiko Harvey在Instagram两段视频里的说法。 据英国《国际商业时报》报道,Harvey来自弗吉尼亚州里士满,今年55岁。她在配文中说明,自己是从哈萨克斯坦经土耳其航空返程,此前父亲刚刚去世,第一段视频里她看起来疲惫,原因就在这里。伊斯坦布尔到华盛顿的这段航程超过1

邓紫棋:低调结婚!

邓紫棋:低调结婚!

“艺人的私生活,没有回应。” 2026年10月6日,邓紫棋被曝与相恋8年的造型师男友Mark在纽约低调完婚。 经纪公司给出的回应只有这一句。 就这九个字,比任何“是的我们结婚了”都有信息量。 因为此前每一次传婚讯,公司的态度都是正面否认。 2020年传在泰国结婚,经纪人回应“这次传闻实在太好笑”,还转告“G.E.M.还没结婚,大家不用恭喜她了”。 2022年再度传出领证,工作室幽默辟谣:“什么?姐

大马丁:希望像梅西一样在欢呼声中谢幕;终极梦想是赢得欧冠

大马丁:希望像梅西一样在欢呼声中谢幕;终极梦想是赢得欧冠

切尔西门将达米安-马丁内斯接受《埃杜尔兄弟》节目的深度专访。在本次专访的第四部分,达米安-马丁内斯谈到了自己对阿根廷国家队的感情、回归阿根廷联赛的可能性,他还谈到了对梅西告别国家队的感受。最后,他参加了快问快答,谈到了职业生涯梦想、昔日的经典场面和网络上关于自己扑点球的热门梗。 记者:你早已超越了一般俱乐部的门户之见,你是属于全体阿根廷人民的世界冠军。你脑海中有没有闪过这样一个念头:如果回到阿根廷