在当今 AI 技术日益成熟的背景下,香港中文大学的 MMLab 团队与北航、上交等高校的研究者们携手推出了一个革命性的工具 —— 结构化图像生成编辑系统。这一系统的推出,标志着 AI 在生成图表和数据可视化方面迈出了重要一步。尽管现有的 AI 生成模型如 FLUX.1和 GPT-Image 在自然图像的生成上表现优异,但在结构化图像如图表和公式方面却频频出错,数据的准确性与逻辑性常常得不到保证。
团队分析指出,结构化图像的生成与编辑存在三大核心需求:精准的文本渲染、复杂的布局规划,以及多模态推理能力。这些能力对教育、科研和办公领域来说至关重要。然而,目前的技术手段未能满足这些需求,现有数据集主要集中于自然图像,缺乏严格对齐的结构化样本。
为了打破这一瓶颈,研究团队在数据、模型和评估三个层面进行了全面的创新。首先,在数据层面,他们构建了一个包含130万条代码对齐的结构化样本库,使用可执行绘图代码生成高质量的图像样本,并确保每个样本都有详尽的思维链标注。其次,在模型层面,团队设计了一种轻量级的视觉语言模型(VLM)整合方案,结合了结构化与自然图像的生成能力。最后,他们还推出了新的评估基准 StructBench 和指标 StructScore,确保生成的图像在准确性上得到了有效验证。
通过这一系列创新,研究团队不仅提升了 AI 对结构化图像的理解与生成能力,还在多个开源模型的对比中展现出显著优势。该系统的发布,不仅填补了结构化视觉生成领域的空白,也为多模态 AI 的发展提供了重要的技术支撑。未来,这一工具将广泛应用于教育、科研和办公领域,助力 AI 真正成为有效的生产力工具。
论文地址:https://arxiv.org/pdf/2510.05091
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则