为了给传闻中参数规模超 5 万亿的下一代超大模型铺路，字节跳动的大模型部门 Seed 近期完成了新一轮深度的组织架构调整。此次调整打破了以往按模态和研究方向划分的传统模式，将原先分散的团队重新整合，全…

近日，来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型（LLMs）训练的新发现:并不是预训练的数据越多，模型的表现就越好。相反，他们指出，过度的预训练可能会导致…