内容持续更新中
最近，DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源，但并不会直接向公众开放完整的代码库。相反，他们选择与现有的开源项目 vLLM 合作，致力于分享核心的优化成果。这一举动旨在解决开…
近日，初创公司 Pipeshift 推出了一款全新的端到端平台，旨在帮助企业更高效地训练、部署和扩展开源生成式 AI 模型。该平台不仅可以在任何云环境或本地 GPU 上运行，还能够显著提升推理速度和降…
最近，魔搭社区与 vLLM 和 FastChat 展开合作，联合为中国开发者提供更快更高效的 LLM 推理和部署服务。开发者可以使用 vLLM 作为 FastChat 中的推理引擎，提供高吞吐量的模型…
