@NathMath 永远的开源者

Updated 2025-03-27

This document is licensed under the Apache 2.0 License

0) 认准开源免费UP主的主页,其他全是盗版

image.png

都看到这了,求各位观众老爷点一个免费的关注。UP会不停更新的。

UP的主页 https://space.bilibili.com/303266889

快速跳转

资源页面 https://truthful-busby-322.notion.site/NathMath-LLM-18e45165050a80408586c3f2bf93ce68?pvs=73

答疑页面 https://truthful-busby-322.notion.site/NathMath-LLM-18f45165050a80a58cbbdbcdf8d08ec5?pvs=73

1) 有关部署的答疑

1. 我该选择什么大小的模型?

小马拉小车,大马拉大车,赛马🐎……是马娘 您可以自行尝试或者参考如下表

显存 内存 纯GPU快速推理 CPU+GPU混合推理上限 R1深度思考模型(更慢)
4G 24G 7B Q4 32B Q4 8B Q4
6G 24G 8B Q4 32B Q4 8B Q4
8G 24G 9B Q4 32B Q4 8B Q6
12G 32G 14B Q4 32B Q6 8B Q8
16G 32G 14B Q6 32B Q8 32B Q3
24G 48G 32B Q4 70B Q4 32B Q4
32G 64G 32B Q6 70B Q6 32B Q6
48G 80G 32B Q8 90B Q4 32B Q8
80G 128G 70B Q4 90B Q6 70B Q4
400G 1024G 671B Q4 1130B Q4 671B Q4
AMD显卡 - - - -

2. 我该选择什么前后端组合?