SemiAnalysis 发布 GDPx 基准,无 AI 智能体得分超过 12%
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,没有模型总分超过 12%。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,没有模型总分超过 12%。
Allen AI 在 Hugging Face 发布 StateBench 基准,用于评估语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四级难度组织。
Collinear AI 发布 CWE-bench v2,公开 100 道任务供任何人运行和评测模型,覆盖 91 种 CWE,评分完全程序化、结果可复现。
研究人员构建 Realtime-Bench,用 50 个交互式游戏与网页任务评测模型在实时决策场景下的表现,GPT-6 Astra(high)在 wall clock 设置下通过率最高,仅 36%,而暂停时钟下高推理模型可达 70% 至 80%。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用任何客户数据。
Google 扩展 Earth AI 地理空间推理智能体的早期访问,在 Ask Google Earth 中开放深度分析预览,并向开发者提供实验性 Agent-to-Agent API 和 Planetary Prediction Engine 预览。
推荐理由:原文给出四组基准对比与合作伙伴实测,可据此判断专用地理工具与前置规划对空间推理的实际增益。
Jack Clark 在 Import AI 476 中汇总多项进展:Scale AI 与 Elorian 发布 Humanity's Sixth Sense 基准,人类 pass@1 为 93.1,最好的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
GitHub 发布开源代码评审基准 ReviewBench,基于 1.039 亿条 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR 和人工校验的多来源 golden set。