@NathMath 永远的开源者
Updated 2025-03-27
This document is licensed under the Apache 2.0 License
都看到这了,求各位观众老爷点一个免费的关注。UP会不停更新的。
UP的主页 https://space.bilibili.com/303266889
快速跳转
资源页面 https://truthful-busby-322.notion.site/NathMath-LLM-18e45165050a80408586c3f2bf93ce68?pvs=73
答疑页面 https://truthful-busby-322.notion.site/NathMath-LLM-18f45165050a80a58cbbdbcdf8d08ec5?pvs=73
小马拉小车,大马拉大车,赛马🐎……是马娘 您可以自行尝试或者参考如下表:
显存 | 内存 | 纯GPU快速推理 | CPU+GPU混合推理上限 | R1深度思考模型(更慢) |
---|---|---|---|---|
4G | 24G | 7B Q4 | 32B Q4 | 8B Q4 |
6G | 24G | 8B Q4 | 32B Q4 | 8B Q4 |
8G | 24G | 9B Q4 | 32B Q4 | 8B Q6 |
12G | 32G | 14B Q4 | 32B Q6 | 8B Q8 |
16G | 32G | 14B Q6 | 32B Q8 | 32B Q3 |
24G | 48G | 32B Q4 | 70B Q4 | 32B Q4 |
32G | 64G | 32B Q6 | 70B Q6 | 32B Q6 |
48G | 80G | 32B Q8 | 90B Q4 | 32B Q8 |
80G | 128G | 70B Q4 | 90B Q6 | 70B Q4 |
400G | 1024G | 671B Q4 | 1130B Q4 | 671B Q4 |
AMD显卡 | - | - | - | - |