11. LLM 推理 on NPU¶
在 NPU 上部署 Qwen2.5(默认 7B-Instruct, BF16),实现全链路本地化 RAG。0.5B 也可通过 --llm-model 切换。
文件¶
| 文件 | 说明 |
|---|---|
01_llm_inference_on_npu.md |
LLM 推理部署文档(自回归原理、ChatML、采样策略) |
02_fp16_nan_debug.md |
Qwen2.5-7B FP16 NaN 诊断报告(含 BF16 解决方案) |
llm_inference.py |
LLM 推理脚本(infer / chat / benchmark,含 NPU 检查) |
关键发现¶
- Qwen2.5-7B-Instruct 在 BF16 下推理正常(HBM ~15 GB),与 FP16 内存相同但数值稳定
- FP16 下 NaN 根因:深层激活值 + 大 head_dim(128)→ Q·K^T 点积超 FP16 最大值(65504)
- BF16 的 8 位指数(同 FP32)完美解决,当前 CANN 8.0.1 + torch_npu 2.1.0 栈已原生支持
--local模式已与 RAG pipeline 集成,全链路(embedding + FAISS + LLM)均在 NPU 上运行