SALMONN框架通过整合不同听觉编码器和激活调整阶段，取得了竞争性的通用听觉性能。其多模态架构为大型语言模型提供了直接理解和处理通用音频输入的能力，展示了在多种任务中的竞争性性能。

快手首席执行官程一笑表示，今年初，快手启动了新的 AI 战略，并设定了战略目标，希望确保自己在可能到来的新技术突破中保持国内领先地位。快手已开始研发超千亿规模的语言大模型和多模态大模型。此外，快手推出…

近日,上海人工智能实验室(上海AI实验室)推出首个图文混合创作大模型书生·浦语灵笔(InternLM-XComposer)。浦语灵笔能进行流利的中英文图文对话,准确理解图像内容,更解锁了“一键生成”图…

9月25日,OpenAI为旗下热门对话AI ChatGPT推出了语音交互和图片识别等多模态功能。新功能支持用户通过语音对话以及上传图片进行交互,可实现语音识别、文本识别、物体检测等功能。多模态版Cha…

OpenAI 最新发布的 DALL-E 3 文图生成模型,与 ChatGPT 实现了深度融合,理解复杂语言指令的能力得到大幅提升。DALL-E 3 在遵循提示生成连贯细节的能力上,明显超过了早期版本甚…

面壁智能发布了千亿多模态大模型 “Luca”，Luca 具备多项语言模型能力和强大的多模态处理能力。Luca2.0 已开启公测，为用户提供更多智能对话助手功能。

文章介绍了字节跳动推出的 BuboGPT 模型，该模型支持文本、图像、音频三种模态的多模态联合理解，并首次引入视觉定位技术，能够精确定位图像中的对象。研究人员通过采用多模态指令调整的训练方案，使得 B…