商汤科技联合南洋理工大学 S-Lab 发布行业首个原生多模态架构 NEO,并同步开源2B 与9B 两款模型。新架构摒弃“视觉编码器 + 投影器 + 语言模型”的传统三段式方案,从注意力机制、位置编码到语义映射全部重写,官方称在同等性能下数据需求仅为业界平均的1/10,首次实现“像素到 Token”的连续映射。

据商汤技术负责人介绍,NEO 通过原生图块嵌入层直接读取像素,取消独立图像 Tokenizer;三维旋转位置编码(Native-RoPE)在同一向量空间内同时表达文本与视觉时空频率;多头注意力采用“视觉双向 + 文本自回归”混合计算,空间结构关联得分提升24%。实测显示,在0.6B-8B 参数区间内,NEO 在 ImageNet、COCO 与 Kinetics-400上取得 SOTA,边缘设备推理延迟低于80毫秒。

GitHub 已公开模型权重与训练脚本,商汤计划明年第一季度开源3D 感知与视频理解版本。业内人士认为,NEO 的“深层融合”路线有望结束多模态“拼积木”时代,为终端小模型提供新的性能基线。
.png)
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则