多模态

研究领域

研究 Idea

MLLM / VLM

1. 视觉语言大模型统一表示学习
2. 多模态大模型视觉—语言深度融合
3. 面向复杂视觉任务的 MLLM 能力增强
4. 高分辨率视觉输入的多模态建模
5. 多图像理解与跨图像推理
6. 通用视觉语言基础模型构建

多模态理解与生成统一模型

1. 多模态理解与生成统一架构
2. Any-to-Any 多模态统一建模
3. 视觉理解与视觉生成联合学习
4. 统一多模态模型中的理解—生成协同
5. Omni-Modal Foundation Model
6. 视觉、语言、音频统一建模

Vision Tokenizer

1. 面向 MLLM 的高效视觉 Tokenizer
2. 高分辨率视觉动态 Token 压缩
3. 语义感知视觉 Token 选择
4. 统一理解与生成的视觉 Tokenizer
5. 视频 Tokenizer 与时空信息压缩
6. 自适应视觉 Token 分配

Multimodal Reasoning

1. 多模态大模型复杂链式推理
2. 基于强化学习的多模态推理能力增强
3. 视觉推理中的自反思与自纠错
4. Multimodal Test-Time Scaling
5. 多图像复杂推理
6. 多模态可验证推理

Spatial Reasoning

1. 视觉语言模型三维空间推理
2. 面向复杂场景的空间关系理解
3. 多模态模型空间认知能力增强
4. 视频中的时空推理
5. 空间推理 × 具身智能
6. 3D场景中的多模态空间问答

Video MLLM / 长视频理解

1. 面向长视频的多模态大模型理解
2. 长视频高效 Token 压缩
3. 视频事件定位与时序推理
4. 长视频问答与复杂推理
5. Streaming VLM 实时视频理解
6. Agent 驱动的视频理解与关键帧选择

Multimodal RAG

1. 多模态 RAG 与跨模态知识检索
2. 图像—文本联合检索增强生成
3. Agentic Multimodal RAG
4. 多模态多跳检索与推理
5. 面向长文档的图文联合 RAG
6. 多模态知识库构建与可信问答

Multimodal Agent

1. 面向复杂环境的多模态智能体
2. 视觉感知驱动的 Agent 自主决策
3. 多模态 Agent 长时记忆与推理
4. 多模态 Agent 工具调用
5. 多模态 Agent × Reinforcement Learning
6. 视觉搜索与自主交互 Agent

多模态安全与幻觉

1. 多模态大模型幻觉检测
2. 视觉幻觉的定位与自纠错
3. 基于外部知识的 MLLM 事实增强
4. 多模态模型可信推理
5. 多模态 Reward Model
6. 多模态大模型安全对齐