智能免费之后:为智能体、由智能体、属智能体的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本正快速趋近于零,GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本正快速趋近于零,GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
伯克利 AI 研究团队综述并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部预设,未教会模型自适应行为。