模型的下一步，
需要多少顯存？

GB 採十進位；權重 = 參數量 × 精度 bytes；KV Cache = 2 × 層數 × KV Heads × Head Dim × 上下文長度 × Batch Size × 2 bytes。Cache 固定採 FP16。

推論 activation 以權重的 20% 估算；LoRA 微調啟用 Gradient Checkpointing 時為 25%，停用時為 60%。LoRA Rank 8／16／32／64 對應 2%／4%／6%／8% 的估算比例，LoRA 狀態 = 參數量 × 比例 × 2 × 13 bytes。框架固定預留 1.5 GB。微調模式也計入 KV Cache，並不等於實際訓練時的 cache 行為。

自訂模型以參數量近似推算架構，無法取代模型設定檔。

LoRA 比例與 activation 均為粗估。不同框架、模型架構、量化及最佳化器會影響實際用量。INT8／INT4 微調需相容的量化 LoRA 工具鏈。本工具不估算訓練時間，也不執行訓練工作。