跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分67

百度发布 280B 参数开源基础模型 ERNIE-5.5-Flash-Base

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 导读

百度发布 ERNIE-5.5-Flash-Base,这是一款不含微调或后训练的开源基础模型,后训练版本预计随后推出。模型采用 MoE 架构,总参数量为 280B,每次输入激活 14B;预训练使用 33.5 trillion tokens,训练上下文长度最高为 128,000 tokens,微调和推理时设计支持最高 1 million tokens 的上下文。

来源:The Decoder · the-decoder.com