LLM训练

从数据、预训练、持续训练到后训练、部署与持续学习，梳理大模型训练与交付的完整流程。

结合公开资料整理当前大模型训练数据从哪来、怎么处理，以及预训练、后训练和闭源蒸馏几条常见路径。

记录一个关于推理与训练的地形类比：模型参数像初始地形，prompt 影响局部路径，训练则在长期上塑造地貌与变化规则。

整理反向传播的 Loss、梯度、链式法则、优化器更新，以及 LLM 训练中常见的显存优化方法。

整理长上下文退化的含义、位置偏置、长距离泛化、训练分布、检索与推理差异，以及 Agent 场景中的 context rot。