OpenAI 声称,在最高算力档位下,GPT-6.1 Terra 的单位 token 效率是 Claude Opus 5.5 的三倍多,标准输入输出的价格只有后者的四分之一,按每次任务算的成本约为九分之一。这些说法能不能站住,有人拿三项测试做了实测。
先看官方数据。在 Agents' Last Exam 这个多步电脑操作基准上,Terra 得分 60.0%,每次任务成本 1.01 美元;Opus 得分 63.2%,每次任务 8.82 美元。也就是说,分数差 3.2 个百分点,成本比是 8.73 比 1。按标准未缓存 API 费率,Terra 每百万输入 token 1 美元、输出 5 美元;Opus 5.5 是 4 美元和 20 美元。在同样的输入输出配比下,Terra 要用到四倍的 token 才追平 Opus 的成本。
三项测试怎么设计的
作者此前测过 Terra 与 OpenAI 自家的 GPT-6 Astra,发现 Terra 在大数据集分析这类任务上会漏算总数、给错答案。这次对 Opus 的比较聚焦电脑操作和科学编程,另外加了一项刻意复现「大数据集」的任务,看 Opus 是否也有同样的弱点。
测试在较容易的档位上,两个模型分数接近,于是他把难度往上加、最多重跑三次,最终结果来自最后一版。因为测试是根据早期结果改的,每个最终版本每个模型只跑了一次,所以这些数字不能说明可重复性,也不代表各类工作负载上的平均水平。
该怎么看这组数字
第一,差距在准确率上并不大。3.2 个百分点意味着两者能力接近,真正的分野在成本:同样的活,一个花一块钱,一个花将近九块。
第二,成本和「谁更强」是两件事。厂商的每任务成本估算依赖 token 用量、缓存读写和定价调整,作者强调这些条件一变,结论就会漂移。
第三,测试方式本身有局限。两家把「算力档位」都调到最高,但这不等于双方的推理预算等价;单次运行也不构成统计意义上的比较。对准备选型的团队来说,更稳的做法是拿自己业务里最费钱的那类任务跑一遍,再看单位成本,而不是直接套用基准分数。