LLM训练

记录一个关于推理与训练的地形类比：模型参数像初始地形，prompt 影响局部路径，训练则在长期上塑造地貌与变化规则。

整理反向传播的 Loss、梯度、链式法则、优化器更新，以及 LLM 训练中常见的显存优化方法。

整理长上下文退化的含义、位置偏置、长距离泛化、训练分布、检索与推理差异，以及 Agent 场景中的 context rot。