StateBench:测试语言模型如何在长文档中追踪状态变化
Allen AI 在 Hugging Face 发布 StateBench 基准,用于评估语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四级难度组织。
Allen AI 在 Hugging Face 发布 StateBench 基准,用于评估语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四级难度组织。
Collinear AI 发布 CWE-bench v2,公开 100 道任务供任何人运行和评测模型,覆盖 91 种 CWE,评分完全程序化、结果可复现。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用任何客户数据。
Google 扩展 Earth AI 地理空间推理智能体的早期访问,在 Ask Google Earth 中开放深度分析预览,并向开发者提供实验性 Agent-to-Agent API 和 Planetary Prediction Engine 预览。
推荐理由:原文给出四组基准对比与合作伙伴实测,可据此判断专用地理工具与前置规划对空间推理的实际增益。
GitHub 发布开源代码评审基准 ReviewBench,基于 1.039 亿条 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR 和人工校验的多来源 golden set。