LLM Offloading 与 Fate 论文

记录 Fate 论文对 LLM Offloading 的观察,以及 MoE 卸载领域的几个主流方向。

约 5 分钟caulif 浏览

RAG简评

从向量检索的退潮谈 RAG 的技术主导权变化,以及 Agentic Search 和 Context Engineering 的新位置。

约 1 分钟caulif 浏览

DSpark

从 speculative decoding 的验证机制讲起,整理 DeepSeek DSpark 在 draft 和 verify 两个阶段的关键改动。

约 19 分钟caulif 浏览

RAG

整理 RAG 的核心思路、离线索引与在线问答流程,以及 Retrieval-Augmented Generation 论文中的检索器和生成器架构。

约 3 分钟caulif 浏览

GGUF与量化

从 GGUF 文件结构、内存映射、张量卸载和量化格式入手,整理本地大模型文件与推理优化的基础概念。

约 8 分钟caulif 浏览