[LG]《Fine-Tuning Dynamics of In-Context Factual Recall in Transformers》R Huang, E Nichani, J D. Lee, R Ge [Duke University & Princeton University & UC Berkeley] (2026)

在上下文学习中，模型如何调取参数记忆仍是黑箱。过去理论只看提示内信息，本质上绕开了“先识别关系、再取事实”的链条。

本文的核心洞见是：把事实回忆看作关系推断后的记忆寻址。由此，成对注意上下文样例，使隐藏关系被锁定，答案才能从MLP记忆中读出。

这项工作留下的是IC-recall这把解剖刀。它打开了分析“提示+参数知识”协同的新门，但尚未跨过真实预训练模型与端到端训练的门槛。

arxiv.org/abs/2605.27774 机器学习 人工智能 论文 AI创造营