Import AI 475:群体扩展、Google DeepMind 为生物数据加水印与 AI 科学经济
Toby Ord 分析认为 AI 智能体群体(swarm)是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但因并行可将任务时间减半,且随规模扩大存在收益递减。
Toby Ord 分析认为 AI 智能体群体(swarm)是一种新的推理扩展方式,4 智能体群体达到同等性能需约两倍 token,但因并行可将任务时间减半,且随规模扩大存在收益递减。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本正快速趋近于零,GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
伯克利 AI 研究团队综述并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部预设,未教会模型自适应行为。