OpenAI 团队推出了一个名为 PaperBench 的基准测试，旨在评估AI代理在复制先进 AI 研究方面的能力。该测试要求 AI 代理从头开始复制20篇2024年国际机器学习会议（ICML）中的…

在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。而传统…

在2024年12月19日的发布会上，智源研究院与腾讯宣布推出LongBench v2，这是一个专为评估大语言模型（LLMs）在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动…

最近，微软发布了一个名为 Windows Agent Arena（WAA）的新平台，专门用于测试人工智能助手在真实 Windows 操作系统环境中的表现。这个创新的基准测试工具旨在加速 AI 助手的发…

在自然语言处理领域，长语境理解一直是一个挑战。尽管大型语言模型（LLMs）在多种语言任务上表现出色，但它们在处理超出其上下文窗口大小的文本时常常受限。为了克服这一限制，研究者们一直在努力提升LLMs对…

Anthropic 推出了一个计划，资助开发新类型的基准测试，以评估 AI 模型的性能和影响，包括像其自己的 Claude 这样的生成模型。 Anthropic 在周一发布了这个计划，将向第三方组织发…