在AI模型的较量中，OpenAI和Anthropic的对决堪称经典。当GPT-5在发布会上宣称代码能力全球第一时，一场关于测试数据的争议悄然发酵。这场较量不仅关乎技术实力，更揭示了评测体系的透明度问题。SWE-bench Verified测试中，GPT-5仅完成477道题就获得74.9%的高分，而Claude则完成了全部500道题。这种差异背后，藏着怎样的技术密码？

这场较量始于OpenAI的发布会。奥特曼在台上宣布GPT-5登顶时，却意外搞了一个数学乌龙——52.8＞69.1=30.8。这个看似简单的计算错误，却在社交媒体上引发热议。更引人关注的是，GPT-5在SWE-bench Verified测试中仅完成477道题，却获得了74.9%的高分，这个成绩略高于Claude Opus 4.1的74.5%。但问题在于，这23道未完成的题目，是否影响了最终的排名？

SWE-bench Verified测试集由OpenAI与开发者合作创建，共包含500道真实世界代码难题。这些题目均来自GitHub开源项目，每个样本都包含完整的单元测试和问题描述。测试要求模型不仅要修复bug，还要确保代码修改不会破坏原有功能。这种严格标准下，模型的综合能力被全面检验。

在测试过程中，GPT-5选择了"精选版"的测试题，跳过了23道被认为难以运行的题目。这些题目大多属于SWE-bench Verified中最困难的类别，需要超过4小时才能完成。而Claude则坚持完成了全部500道题，这使得它的成绩包含了对所有难题的考验。这种差异直接导致了最终的得分差距。

第三方分析显示，在"耗时>4小时"的极端困难任务中，大多数模型都无法解决任何一道。只有Claude Sonnet4、o3和GPT4.1能完成部分超过4小时的任务。这些任务对模型的综合能力是严峻考验，而GPT-5的74.9%得分，是在剔除这些"拦路虎"后的结果。

OpenAI的解释是，其基础设施无法运行这23道题目。但这个说法引发质疑——什么样的题目能让年薪上亿的天才团队束手无策？如果将这23道题按0分计入，GPT-4.1的得分将从54.6%降至52.1%。由此推算，GPT-5的74.9%得分若包含全部题目，实际通过率约为71.4%，明显低于Claude Opus 4.1的74.5%。

这场测试的争议点在于评测的透明度和公平性。SWE-bench Verified的评分体系是否客观？OpenAI是否通过选择性测试来掩盖真实差距？这些问题在业界引发广泛讨论。SemiAnalysis指出，要获得更公平的对比，应参考SWE-bench官方排行榜。在无验证子集、工具限制等条件下，Claude 4 Opus的67.6分明显优于GPT-5的65分。

SWE-bench测试集的构建过程也值得玩味。它从GitHub开源项目中选取12个Python存储库，每个样本包含完整的拉取请求和单元测试。测试要求模型不仅要解决问题，还要确保代码修改不会破坏原有功能。这种"双保险"标准，对AI模型提出了更高要求。

在SWE-bench Verified的筛选过程中，OpenAI与93名Python开发者合作，手动筛选测试样本。他们给1699个随机样本打分，只保留清晰明确的题目。这种人工筛选虽然可能导致误删，但提高了数据集质量。最终选取的500道题，成为衡量模型能力的"黄金标准"。

这场较量揭示了AI评测体系的复杂性。当技术实力与测试方法相辅相成时，最终的排名才更具说服力。GPT-5的74.9%得分，是否代表真正的技术突破？还是选择性测试带来的优势？这些问题的答案，或许需要更多实证数据来验证。

从更长远看，这场测试不仅关乎模型性能，更影响着AI工具的市场选择。对于需要AI鞋履或服装工具的用户来说，选择技术实力过硬的模型，才能获得更精准的解决方案。当模型在真实世界代码难题中表现优异时，其在实际应用中的效果也更具保障。

这场关于AI能力的较量仍在继续。随着测试方法的不断完善，我们或许能更清晰地看到技术发展的轨迹。当GPT-5和Claude在SWE-bench测试中展开角逐时，他们不仅在比拼代码能力，更在定义AI技术的未来方向。