🕸️

第一章   GNN + 大模型

图神经网络与大语言模型结合，按 LLM 角色分为「增强器」与「预测器」两大范式
1.1   LLM 作为增强器（LLM as Enhancer）
LLM 在此范式中负责生成、扩充或优化图节点特征，为 GNN 的下游任务提供更丰富的语义表示。
#01
LLMRec: Large Language Models with Graph Augmentation for Recommendation
推荐系统图增强
📄 arXiv:2311.00423 💻 GitHub
#02
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning
文本图学习
📄 arXiv:2308.02565
#03
One for All: Towards Training One Graph Model for All Classification Tasks
通用图模型分类
📄 arXiv:2310.00149
#04
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications
图预训练
📄 arXiv:2306.02592
#05
Prompt-based Node Feature Extractor for Few-shot Learning on Text-Attributed Graphs
少样本Prompt
📄 arXiv:2309.02848
1.2   LLM 作为预测器（LLM as Predictor）
LLM 直接接受图结构信息并输出预测结果，探索语言模型理解与推理图问题的潜力边界。
#06
GraphGPT: Graph Instruction Tuning for Large Language Models
指令微调图理解
📄 arXiv:2310.13023 💻 GitHub 🌐 项目主页
#07
Can Language Models Solve Graph Problems in Natural Language?
图问题求解能力评估
📄 arXiv:2305.10037 💻 GitHub
#08
GPT4Graph: Can Large Language Models Understand Graph Structured Data? An Empirical Evaluation and Benchmarking
基准测试实证评估
📄 arXiv:2305.15066
🔍

第二章   LLM + RAG 创新思路

检索增强生成领域 9 种最新创新方向，覆盖自适应检索、自我反思、领域专用微调及安全攻防
来源说明：深度之眼整理出品
2.1   核心技术方向
#01
Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases
幻觉抑制领域专用
📄 arXiv:2403.10446 💻 GitHub
#02
Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
自适应检索问题复杂度
📄 arXiv:2403.14403 💻 GitHub
#03
RAFT: Adapting Language Model to Domain Specific RAG
领域微调RAFT框架
📄 arXiv:2403.10131 💻 GitHub
#04
RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model
自动驾驶多模态
📄 arXiv:2402.10828 💻 GitHub
#05
DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of Large Language Models
动态检索实时需求感知
📄 arXiv:2403.10081 💻 GitHub
#06
SELF-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
自我反思按需检索
大型语言模型仅依赖内部参数知识时容易产生事实错误。SELF-RAG 引入自反思检索增强生成框架，通过按需检索与自我反思标记（Reflection Token）机制，使 LLM 能够自适应地检索段落，并对检索内容和自身输出进行质量评估。 实验表明，SELF-RAG（7B / 13B）在开放域问答、推理、事实验证等多项任务上显著优于最先进的基线，兼顾多功能性与生成准确性。
📄 arXiv:2310.11511 💻 GitHub
2.2   安全与信息精炼
#07
PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models
安全攻击知识投毒
📄 arXiv:2402.07867 💻 GitHub
#08
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation
无监督训练信息精炼
📄 arXiv:2402.18150 💻 GitHub
#09
ARM-RAG: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation
辅助推理记忆智能增强
📄 arXiv:2311.04177
📈

第三章   大模型 + 时间序列

探索 LLM 在时序预测、跨域建模方面的新范式，覆盖通用领域与垂直行业应用
3.1   通用时序预测
#01
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
重编程范式
📄 arXiv:2310.01728
#02
OFA: One Fits All — Power General Time Series Analysis by Pretrained LM
NeurIPS 2023通用预训练
📄 arXiv:2302.11939 💻 GitHub
#03
PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting
Prompt 学习
📄 arXiv:2210.08964
#04
TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting
生成式预训练Prompt
📄 arXiv:2310.04948
#05
TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series
文本原型对齐
📄 arXiv:2308.08241
#06
LLM4TS: Two-Stage Fine-Tuning for Time-Series Forecasting with Pre-Trained LLMs
两阶段微调
📄 arXiv:2308.08469
#07
Large Language Models Are Zero-Shot Time Series Forecasters
零样本预测
📄 arXiv:2310.07820 💻 GitHub
3.2   特定领域应用
#08
（交通）Leveraging Language Foundation Models for Human Mobility Forecasting
交通预测人类移动
📄 arXiv:2209.05479
🎯

第四章   大模型 + 小样本学习

以少量样本激活 LLM 强大的迁移与泛化能力，覆盖具身智能规划、低资源语言等场景
原文档标题为"12种大模型+小样本创新思路"，当前可提取内容包含 2 篇详细介绍，原文档可能含更多条目待完善。
#01
LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
ICCV 2023具身智能少样本规划
核心思路：基于 LLM 的具身代理规划器，仅使用 <0.5% 训练数据即可媲美全量数据基线。

创新点：
  • 少样本学习：不到 0.5% 训练数据，性能与全数据训练的基线相当
  • 物理基础规划：将环境中观测到的物体列表注入提示，增强 LLM 对物理环境的感知
  • 动态再规划：执行中根据环境反馈动态调整计划，提升复杂场景适应性
  • 真实环境验证：在 ALFRED 数据集上验证，覆盖多种部分可观察场景
📄 ICCV 2023 论文 💻 GitHub
#02
LLMs Are Few-Shot In-Context Low-Resource Language Learners
低资源语言上下文学习跨语言
研究目标：缩小高资源与低资源语言间的性能差距，探究 LLM 在 25 种低资源语言和 7 种较高资源语言上的跨语言上下文学习能力（X-ICL）。

核心创新：提出查询对齐（Query Alignment）作为上下文标签对齐（Label Alignment）的更有效替代方案，为低资源语言上下文学习提供深入见解。
📄 arXiv:2403.16512 💻 GitHub
🗺️

第五章   时空预测 + 大模型

将 LLM 能力融入时空图与时序知识图谱，覆盖动作识别、股票预测、轨迹挖掘、知识图谱补全等方向
原文档标题为"26种时空预测+大模型"，当前可提取内容包含 7 篇论文（视频任务子章节未展开），整理来源：深度之眼。
5.1   时空图（Spatial-Temporal Graph）
论文名称研究方向论文链接
Language knowledge assisted representation learning for skeleton-based action recognition 骨架动作识别 arXiv:2305.12398
ChatGPT Informed Graph Neural Network for Stock Movement Prediction 股票预测 arXiv:2306.03763  |  GitHub
Large Language Models for Spatial Trajectory Patterns Mining 轨迹挖掘 arXiv:2310.04942
5.2   时序知识图谱（Temporal Knowledge Graph）
论文名称研究方向论文链接
Pre-trained language model with prompts for temporal knowledge graph completion 知识图谱补全 arXiv:2305.07912
Knowledge graph completion models are few-shot learners: An empirical study of relation labeling in e-commerce with LLMs 电商关系标注少样本 arXiv:2305.09858
Temporal knowledge graph forecasting without knowledge using in-context learning 上下文学习预测 arXiv:2305.10613
🤖

第六章   大模型 + 强化学习

探索 LLM 在强化学习中的多种功能角色，覆盖表征提取、自然语言翻译、决策辅助等创新思路
来源说明：深度之眼整理出品
6.1   LLM 作为信息处理者（LLM as Information Processor）
在富含文字和视觉信息的环境中，深度强化学习通常需要同时学习多模态信息处理和决策控制策略，导致学习效率大幅下降。LLM 可从以下两个维度介入，改善 RL 智能体的训练效率与泛化能力。
6.1.1   有效表征提取，加速下游神经网络学习
#01
History Compression via Language Models in Reinforcement Learning
历史压缩RL
📄 arXiv:2205.12258 💻 GitHub
#02
Semantic HELM: A Human-Readable Memory for Reinforcement Learning
语义记忆可读性
📄 arXiv:2306.09312 💻 GitHub
#03
Learning Transferable Visual Models from Natural Language Supervision（CLIP）
视觉-语言OpenAI · CLIP
📄 arXiv:2103.00020 💻 GitHub
#04
Representation Learning with Contrastive Predictive Coding
对比学习表征学习
📄 arXiv:1807.03748 💻 GitHub
#05
Efficient Policy Adaptation with Contrastive Prompt Ensemble for Embodied Agents
策略适应具身智能NeurIPS 2023
📄 NeurIPS 2023
#06
ReCoRe: Regularized Contrastive Representation Learning of World Model
世界模型正则化对比学习
📄 arXiv:2312.09056
6.1.2   自然语言翻译：规范化任务语言，过滤无效信息
#07
Natural Language conditioned Reinforcement Learning with Inside-out Task Language Development and Translation（TALAR）
NL条件RL任务语言
TALAR 在训练集上的任务成功率达 99.9%，在测试集上比 One-hot、Bert-binary、Bert-continuous 基线分别高出 30.7%、14.3%、23.5%，展示了将不规范自然语言指令翻译为规范任务语言的显著优势。
📄 arXiv:2302.09368 💻 GitHub
#08
STARLING: Self-supervised Training of Text-based Reinforcement Learning Agent with Large Language Models
自监督训练文本RL
📄 arXiv:2406.05872 💻 GitHub
#09
Grounding Language to Non-Markovian Tasks with No Supervision of Task Specifications
语言基础非马尔科夫任务
📄 论文 PDF
#10
Learning Rewards from Linguistic Feedback
奖励学习语言反馈
📄 arXiv:2009.14715