内容持续更新中
大模型服务的主战场,正在从单轮聊天转移到检索增强问答、多文档摘要和长程Agent。这类新负载有一个共同特征:一条请求的prompt往往由几十到上百个语义独立的片段拼接而成,检索到的文档、技能说明、记忆…