https://www.caulif.com/categories/%E6%A8%A1%E5%9E%8B%E4%B8%8E%E8%AE%AD%E7%BB%83/Recent content in 模型与训练 on caulif的个人博客Hugo -- 0.154.5zh-CNSun, 11 Oct 2026 13:44:17 +0800https://www.caulif.com/posts/llm%E8%AE%AD%E7%BB%83%E5%85%A8%E6%B5%81%E7%A8%8B-v1/Sat, 05 Sep 2026 00:00:00 +0800https://www.caulif.com/posts/llm%E8%AE%AD%E7%BB%83%E5%85%A8%E6%B5%81%E7%A8%8B-v1/从数据、预训练、持续训练到后训练、部署与持续学习，梳理大模型训练与交付的完整流程。https://www.caulif.com/posts/llm%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E6%80%8E%E4%B9%88%E6%9D%A5%E7%9A%84/Thu, 03 Sep 2026 00:00:00 +0800https://www.caulif.com/posts/llm%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E6%80%8E%E4%B9%88%E6%9D%A5%E7%9A%84/结合公开资料整理当前大模型训练数据从哪来、怎么处理，以及预训练、后训练和闭源蒸馏几条常见路径。https://www.caulif.com/posts/deepseek%E7%B3%BB%E5%88%97%E7%AC%94%E8%AE%B0v2%E5%88%B0v4/Thu, 06 Aug 2026 00:00:00 +0800https://www.caulif.com/posts/deepseek%E7%B3%BB%E5%88%97%E7%AC%94%E8%AE%B0v2%E5%88%B0v4/按版本整理 DeepSeek V2—V4 的架构与训练变化，比较 MLA、MoE、多 Token 预测等方法解决的问题与取舍。https://www.caulif.com/posts/bait-llm-backdoor-detection/Tue, 14 Jul 2026 00:00:00 +0800https://www.caulif.com/posts/bait-llm-backdoor-detection/整理 BAIT 如何通过反演攻击目标扫描大语言模型后门，附论文组会汇报与逐页讲解材料。https://www.caulif.com/posts/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/Fri, 26 Jun 2026 00:00:00 +0800https://www.caulif.com/posts/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/整理反向传播的 Loss、梯度、链式法则、优化器更新，以及 LLM 训练中常见的显存优化方法。https://www.caulif.com/posts/lora%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/Thu, 18 Jun 2026 00:00:00 +0800https://www.caulif.com/posts/lora%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/整理 LoRA 的低秩适配原理、训练与推理流程、常见插入位置、核心超参数，以及 QLoRA、AdaLoRA、DoRA 等变体。https://www.caulif.com/posts/transformer%E5%AD%A6%E4%B9%A0%E8%AE%B0%E5%BD%95/Wed, 28 Jan 2026 16:34:21 +0800https://www.caulif.com/posts/transformer%E5%AD%A6%E4%B9%A0%E8%AE%B0%E5%BD%95/基于 llama2.c 的 run.c 源码注释，梳理 Decoder-only Transformer 的推理流程、RoPE、Attention、FFN、采样和 BPE。