大语言模型

研究领域

研究 Idea

大模型推理 Reasoning

1. 基于强化学习的大语言模型复杂推理能力增强
2. 基于可验证奖励的复杂推理模型训练
3. 大语言模型多步推理与自验证方法
4. 面向复杂任务的长链推理与动态思考
5. 基于自我反思的大模型推理纠错
6. 大语言模型推理轨迹自动生成与优化

Test-Time Scaling / 推理时计算

1. 面向复杂任务的 Test-Time Scaling 方法
2. 基于任务难度的动态推理计算分配
3. 大语言模型推理时搜索与候选答案选择
4. 基于验证器的推理时计算优化
5. 高效长链推理与动态 Early Exit
6. 小模型 Test-Time Compute Scaling

RAG / 知识增强

1. 面向复杂知识任务的检索增强生成
2. 基于知识图谱与 RAG 的大模型知识增强
3. 面向长文档的高效检索与上下文压缩
4. 基于自适应检索的大模型事实性增强
5. 多跳检索与复杂知识推理
6. Self-RAG 与动态检索决策

Long Context / 长上下文

1. 面向超长文本的大语言模型上下文建模
2. 长上下文中的信息检索与关键内容定位
3. 基于 KV Cache 优化的长上下文高效推理
4. 长文本推理中的上下文压缩
5. 面向长程任务的动态稀疏注意力
6. 长上下文大模型记忆能力增强

大模型预训练与持续预训练

1. 面向领域大模型的 Continual Pretraining
2. 高质量预训练数据筛选与数据配比优化
3. 领域知识注入与持续预训练
4. 低资源领域的大模型预训练
5. 预训练数据质量评估与自动清洗
6. 大模型数据课程学习与能力涌现

大模型后训练 Post-Training

1. 基于强化学习的大模型后训练
2. 面向复杂推理的 SFT + RL 联合训练
3. 偏好优化与大模型能力对齐
4. 基于奖励模型的大模型后训练
5. Self-Play 驱动的大模型能力提升
6. 高质量合成数据驱动的后训练

Efficient LLM / AI Infra

1. 大语言模型低比特量化与高效部署
2. 大模型结构化剪枝与模型压缩
3. 面向端侧部署的大模型知识蒸馏
4. KV Cache 压缩与长文本推理加速
5. 大语言模型 Speculative Decoding 推理加速
6. 大模型稀疏化与高效推理