IT之家2月15日消息，京东昨天在Hugging Face平台开源了JoyAI-LLM-Flash大模型，拥有3B激活参数以及48B总参数，在20万亿文本Token上进行预训练，擅长前沿知识理解、推理能力、编程、智能体等方面。
据介绍，这款模型拥有全新优化框架FiberPO，能够将纤维丛理论(fiber bundle theory)引入强化学习，并在训练中使用Muon优化器，通过微调SFT、DPO以及强化学习(RL)进一步训练。
同时，这款模型结合了Muon优化器以及稠密MTP(Multi-Token Prediction)，解决了传统模型规模扩展时不稳定的问题，相比非MTP版本吞吐量提升1.3x-1.7x。
IT之家附该模型详细参数如下：
项目参数架构混合专家模型(MoE)总参数量48B激活参数量3B层数(含Dense)40Dense层数量1注意力隐藏维度2048MoE隐藏维度768多头注意力数量32专家个数256每Token专家数8共享专家数1词表大小129K上下文长度128K注意力机制MLA激活函数SwiGLU卓信宝配资提示：文章来自网络，不代表本站观点。
