LLM 训练全流程
从数据、预训练、持续训练到后训练、部署与持续学习,梳理大模型训练与交付的完整流程。
从数据、预训练、持续训练到后训练、部署与持续学习,梳理大模型训练与交付的完整流程。
结合公开资料整理当前大模型训练数据从哪来、怎么处理,以及预训练、后训练和闭源蒸馏几条常见路径。
记录 Fate 论文对 LLM Offloading 的观察,以及 MoE 卸载领域的几个主流方向。
记录梁文锋投资者交流会读后感,以及对 CoT、Agent、持续学习与自迭代演进阶梯的理解。
从向量检索的退潮谈 RAG 的技术主导权变化,以及 Agentic Search 和 Context Engineering 的新位置。
ds 论文记录(v2-v4)
昨晚到今天初步体验了 grok4.5,感觉很好用,grok build 也还挺好用。
记录一个关于推理与训练的地形类比:模型参数像初始地形,prompt 影响局部路径,训练则在长期上塑造地貌与变化规则。
从 speculative decoding 的验证机制讲起,整理 DeepSeek DSpark 在 draft 和 verify 两个阶段的关键改动。
对腾讯 agent.qq.com 邮箱的一点产品观察:Agent-first mail 的身份、分发方式、邮箱能力,以及目前看起来还差一点的地方。
没有找到匹配的文章。