标签
推理优化
共 2 篇文章
2026-03-25
AI原理图解
图解 KV Cache 优化：大模型推理加速的核心技术
深入理解 Transformer 推理中的 KV Cache 机制，掌握 PagedAttention、Prefix Caching 等 2026 年最新优化技术，实现 2-5 倍推理加速。实战演示 vLLM、Continuous Batching、KV 量化等核心技术。
2026-03-22
AI原理图解
图解思维链蒸馏（CoT Distillation）：如何让 3B 小模型学会 70B 大模型的推理能力，2026 最新结构化蒸馏与自适应课程实战
思维链蒸馏（CoT Distillation）是 2026 年大模型压缩的核心技术。本教程从零实现完整的 CoT 蒸馏流程，包括 Struct-SQL 结构化推理模板、自适应课程学习、LoRA 高效微调。实战证明：2000 条样本 + 单卡 H200 训练 30 分钟，3B 模型即可在 Text-t...