小紅書開源首個大模型 預(yù)訓(xùn)練未使用合成數(shù)據(jù)

小紅書開源首個大模型 預(yù)訓(xùn)練未使用合成數(shù)據(jù)

【小紅書開源首個大模型 預(yù)訓(xùn)練未使用合成數(shù)據(jù)】《科創(chuàng)板日報》10日訊，小紅書開源了首個大模型dots.llm1，小紅書方面告訴《科創(chuàng)板日報》，dots.llm1是一個1420億參數(shù)的混合專家模型（MoE），在推理過程中僅激活140億參數(shù)，能保持高性能的同時大幅度降低訓(xùn)練和推理成本。此外，dots.llm1.ins在預(yù)訓(xùn)練階段使用了11.2萬億的非合成數(shù)據(jù)，最終性能與阿里Qwen3-32b相比，在中英文、數(shù)學(xué)、對齊任務(wù)上表現(xiàn)接近。（記者 張洋洋）