Dharma-AI 发布 2B 参数文档字段抽取模型 Dharma Field Extractor
Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,可从任意类型文档中按指定 schema 抽取字段并输出结构化 JSON,支持开放式与 schema 指定两种请求方式。
推荐理由:原文给出了与四家前沿模型在同一基准上的质量与成本对比,读者可据此判断专用小模型在字段抽取任务上的取舍。
Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,可从任意类型文档中按指定 schema 抽取字段并输出结构化 JSON,支持开放式与 schema 指定两种请求方式。
推荐理由:原文给出了与四家前沿模型在同一基准上的质量与成本对比,读者可据此判断专用小模型在字段抽取任务上的取舍。
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线睡眠阶段之间交替,把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与 RL 模仿学习(LTI)的知识播种以及突触剪枝完成记忆巩固,再通过随机专家选择、梯度筛选的合成样本和 RL 精修进行自我提升。
微软研究院 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 KLS 猜想,证明在高维对数凹分布下,最佳超平面切割与任意形状最佳切割的差距不超过一个与维度无关的固定常数。研究采用人机协作的智能体搜索流程,探索了约 100 条候选路径,由研究者评估、剪枝并决定方向;同期另有独立团队给出完整证明,并有 Lean 4 形式化验证发布。
推荐理由:微软研究员与合著者借助人机协作的智能体搜索证明 KLS 猜想,读者可了解 AI 在数学发现中的具体分工。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程,在笔记本上每秒证明 720 万至 870 万条处理器指令。在 15 个基准程序上,它平均比现有最快的 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性只依赖 SHA-256、SHA-3 等标准哈希函数,不需要椭圆曲线、格密码、可信设置或未证明的纠错码猜想。
推荐理由:微软研究院的 zkVM 把证明速度提升到此前同类系统的 10 至 39 倍,且只依赖标准哈希函数,读者可据此判断可验证计算的工程可行性。
Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M、209M 四个尺寸,最大版本在 GIFT-Eval、TIME 和 fev-bench 三个公开基准上排名第一,参数规模为前代 SOTA 的三分之二。
推荐理由:Mistral 首次进入时间序列基础模型,209M 参数在三个公开基准上排名第一,并给出四个尺寸与 CPU 推理延迟,便于对照现有方案。
Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。
推荐理由:官方给出 1 万亿参数、520 亿激活的规格与多项基准,可据此判断开源权重模型在企业与安全场景的位置。
Berkeley Sky Lab 与 IBM Research 在 K-Search 进化式内核搜索框架上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
伯克利 AI 研究提出 ABBEL 框架,将 LLM 的交互摘要建模为自然语言"信念状态"并对其内容做监督评分,从而在长程任务中替代完整交互历史作为工作上下文。在协作编码基准 CollabBench 上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也明显低于全上下文设置。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本正快速趋近于零,GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
伯克利 AI 研究团队综述并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部预设,未教会模型自适应行为。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让世界模型的长时程规划更稳健。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型“状态-输入”梯度脆弱等问题。