【小红书开源首个大模型，11万亿非合成训练数据】金十数据6月9日讯，社交平台小红书，开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型（MoE），在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据，这在现阶段的开源大模型中非常罕见，看来小红书也得益于自己庞大的语料库出手就是阔啊。所以，在中文测试中dots.llm1的性能非常强，以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.532B和72B。
免责声明：投资有风险，本文并非投资建议，以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请，作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考，不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证，投资者应自行研究并在投资前寻求专业建议。