The Decoder· Matthias Bastian·· 14 小时前AI 评分71
百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基础模型
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布开源基础模型 ERNIE-5.5-Flash-Base，采用 MoE 架构，总参数 2800 亿，每次输入激活 140 亿。该模型刻意不做微调和后训练，预训练使用 33.5 万亿 token，训练上下文最长 128,000 token，设计上支持微调与推理时最长 100 万 token 上下文。
来源：The Decoder · the-decoder.com