技术

BAIT 论文组会汇报。

整理反向传播的 Loss、梯度、链式法则、优化器更新，以及 LLM 训练中常见的显存优化方法。

整理 LoRA 的低秩适配原理、训练与推理流程、常见插入位置、核心超参数，以及 QLoRA、AdaLoRA、DoRA 等变体。

记录 page-annotator 的想法、标注交互设计和模型测试过程。

从 GGUF 文件结构、内存映射、张量卸载和量化格式入手，整理本地大模型文件与推理优化的基础概念。

基于 llama2.c 的 run.c 源码注释，梳理 Decoder-only Transformer 的推理流程、RoPE、Attention、FFN、采样和 BPE。