LLM 可直接读写神经网络权重,Weight Space Programming 绕过自动研究环节
Latent Space 的 AINews 汇总介绍 Takehi 等人的 Weight Space Programming 研究,前沿 LLM 可在不跑梯度下降和训练循环的情况下,按自然语言目标检查和编辑神经网络权重张量。
Latent Space 的 AINews 汇总介绍 Takehi 等人的 Weight Space Programming 研究,前沿 LLM 可在不跑梯度下降和训练循环的情况下,按自然语言目标检查和编辑神经网络权重张量。
研究人员构建 Realtime-Bench,用 50 个交互式游戏与网页任务评测模型在实时决策场景下的表现,GPT-6 Astra(high)在 wall clock 设置下通过率最高,仅 36%,而暂停时钟下高推理模型可达 70% 至 80%。
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线睡眠阶段之间交替,把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与 RL 模仿学习(LTI)的知识播种以及突触剪枝完成记忆巩固,再通过随机专家选择、梯度筛选的合成样本和 RL 精修进行自我提升。
微软研究院 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 KLS 猜想,证明在高维对数凹分布下,最佳超平面切割与任意形状最佳切割的差距不超过一个与维度无关的固定常数。研究采用人机协作的智能体搜索流程,探索了约 100 条候选路径,由研究者评估、剪枝并决定方向;同期另有独立团队给出完整证明,并有 Lean 4 形式化验证发布。
推荐理由:微软研究员与合著者借助人机协作的智能体搜索证明 KLS 猜想,读者可了解 AI 在数学发现中的具体分工。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程,在笔记本上每秒证明 720 万至 870 万条处理器指令。在 15 个基准程序上,它平均比现有最快的 zkVM 快 10 至 39 倍,证明验证耗时约 12 毫秒。其安全性只依赖 SHA-256、SHA-3 等标准哈希函数,不需要椭圆曲线、格密码、可信设置或未证明的纠错码猜想。
推荐理由:微软研究院的 zkVM 把证明速度提升到此前同类系统的 10 至 39 倍,且只依赖标准哈希函数,读者可据此判断可验证计算的工程可行性。
Jack Clark 在 Import AI 476 中汇总多项进展:Scale AI 与 Elorian 发布 Humanity's Sixth Sense 基准,人类 pass@1 为 93.1,最好的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
Berkeley Sky Lab 与 IBM Research 在 K-Search 进化式内核搜索框架上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
伯克利 AI 研究提出 ABBEL 框架,将 LLM 的交互摘要建模为自然语言"信念状态"并对其内容做监督评分,从而在长程任务中替代完整交互历史作为工作上下文。在协作编码基准 CollabBench 上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也明显低于全上下文设置。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让世界模型的长时程规划更稳健。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型“状态-输入”梯度脆弱等问题。