告别瞎蒙式下载本地大模型：一条命令告诉你的电脑最适合跑哪个

写在前面的吐槽:

以前挑本地大模型(LLM)的姿势,几乎都是同一个流程——上 Hugging Face 翻排行榜、看 Reddit 帖子、刷 B 站测评,
再选一个看起来”24GB 内存应该能跑得动”的 30B 模型,挂代理用 100MB/s 的速度下载半小时,
然后打开 Ollama,看着 GPU 100%、CPU 90%、风扇狂转,每秒钟提示词只蹦出 0.12 个 token,
三句话吐了 41 分钟。最后你心里默念:这玩意儿我到底哪里用得上?

直到我用上 llmfit,整个挑模型的流程被压到了两秒钟。

这是一篇把 llmfit 这个工具讲透的实测笔记。它解决的问题很朴素:不要再瞎猜你的电脑能跑哪个大模型。

llmfit 是 GitHub 上 Star 数 3.8 万的项目,核心理念只有一句话:

不动手跑一下,就能在 2 秒钟内预测你的电脑能流畅运行哪些开源大模型,以及大概多快。

一、痛点:为什么会浪费那么多时间下载模型

我们先讲清楚”为什么之前要在几十个模型里瞎试”。

现代开源大模型的仓库已经膨胀到令人绝望的程度——光是 Hugging Face 上 Qwen/Qwen3 系列就有几十个变体(0.6B、1.7B、4B、8B、30B、32B、80B、235B),每个变体又有 Q2、Q3、Q4、Q5、Q6、Q8、FP16 等好几种量化版本。再叠上 MLX、GGUF、AWQ、GPTQ、EXL2 等不同格式,光一个厂商一个尺寸就能裂出十几种文件。

而你今天想做的事情,可能只是把模型塞进笔记本,跑个对话、写个文案、做个翻译。

问题是:

你看不懂哪个模型适配你的硬件——24GB 显存到底能跑多大的模型?Q4 量化够不够用?
你算不准速度——Q4 量化 30B 模型,在你 M4 Pro 14 寸上大概能跑多少 token/s?
你算不准交互体验——5 token/s 算快还是慢?日常聊天能不能等?

这三个问题,之前都要靠”先下载 → 加载 → 实际跑一下 → 不行就换下一个” 来回答。一个 20GB 模型,在百兆带宽下要下半个小时。

实测换一个模型,在 SSD 上加载 + 占用 GPU + 验证可用性,大概又要 5 分钟。试 3 个模型,半天过去了,而且你会发现下载的几个你都不满意。

llmfit 直接把这部分试错成本压到 2 秒。

二、llmfit 是什么:命令行的”模型适配器”

llmfit 是一个用 Rust 写的命令行工具(也提供 TUI 交互界面)。

它做的事情,本质上分三步:

检测你的硬件——CPU 型号、核心数、内存大小、独显型号、显存大小、Apple Silicon 统一内存架构
匹配内置的模型数据库——目前内置 493 个模型,覆盖 Llama 3.1、Qwen 3、Mistral、Mixtral、DeepSeek、Codestral、Phi、Yi 等主流系列
针对每条模型做适配评分——综合考虑模型大小、量化版本、上下文长度、运行模式(GPU/CPU 混合/CPU 纯跑/MoE 卸载),给出”完美 / 良好 / 一般 / 不能跑”四档评级,以及估算的 token/s

打分维度主要有四个:质量(quality)、速度(speed)、适配(fit)、上下文(context)。

输出形式可以是交互式 TUI 终端界面,也可以是一行命令直接输出 JSON。

我用 whichllm 作为关键词在外网搜了几轮,这个工具在中文社区也开始有人推荐(腾讯云、Dashen-Tech、Medium 等平台都有测评)。

llmfit 主界面 - 一进 TUI 就把所有模型打分好

▲ 图:打开 TUI 立刻看到的状态。第一行是你的硬件信息(在 M4 Pro 14 寸 24GB 内存上是 “Apple M4 Pro · 24GB unified”),第二行是数据库给出的全部 493 个模型的适配评分表。

三、装一下:Mac/Linux/Windows/Win/Docker 全平台

安装这一步比想象中简单:llmfit 已经发布到了主流包管理器,任意一条命令就能装好。

macOS / Linux 通用(推荐):

1	curl -fsSL https://llmfit.axjns.dev/install.sh \| sh

macOS 用 Homebrew:

1	brew install AlexsJones/llmfit/llmfit

Windows 用 Scoop:

1	scoop install llmfit

Docker / Podman 体验:

1	docker run ghcr.io/alexsjones/llmfit recommend --use-case coding \| jq '.models[].name'

从源码编译(rustc 1.74+):

1
2
3

git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release

装完只要两条命令就能用:

llmfit              # 默认打开 TUI 交互界面
llmfit --cli        # 命令行模式,直接输出推荐表
llmfit recommend    # 推荐模式,只输出"能跑"的模型
llmfit fit --perfect -n 5   # 列出"完美适配"的前 5 个模型
llmfit serve --port 8787    # 启动本地 API 服务(供其他工具调用)

我自己的体验是:安装命令跑完到第一次看到结果,大概 3 分钟(含下载二进制的时间)。比手动克隆 Ollama、Llama.cpp、LM Studio 三个项目再分别编译,要省一两个小时。

四、实测:打开 TUI 那一刻发生了什么

打开 llmfit 进入 TUI 界面,第一眼你会看到三块内容:

4.1 顶部状态栏:硬件信息

TUI 顶部会自动显示你这台机器的硬件概况:

1
2
3

CPU: Apple M4 Pro · 22 cores · 14"
RAM: 24 GB unified
GPU: Apple M4 Pro 16-core (Metal)

不管是 NVIDIA 独显、AMD ROCm、Intel OneAPI 还是 Apple Silicon 统一内存,全部能识别。显存信息(Mac 上是统一内存池)也会一并报上来。

4.2 中间表格:493 个模型的适配评分

第二行开始就是那个让人眼前一亮的表格——内置数据库中的 493 个模型全部都已经根据你的硬件打完分。

llmfit 全部模型列表,按适配度排序

▲ 图:全部 493 个模型的原始表格。Fit 列用颜色编码——绿色 = Perfect,黄色 = Good,红色 = Too Tight / Cannot Run。Use Case 列告诉你每个模型擅长聊天、写作、还是 Coding。

表格的列含义很清晰:

列名	含义
Model	模型在 Hugging Face 上的完整路径
Params	参数量(参数大小,如 7.6B = 76 亿参数)
Score	综合评分(0-100),融合了质量 + 速度 + 适配
tok/s	估测的每秒生成 token 数(误差 ±30%)
Quant	推荐的最佳量化版本(Q4_K_M、Q6_K、Q8、FP16 等)
Mode	推荐运行方式:GPU / CPU+GPU / CPU / MoE offload
Mem %	占用你内存/显存的百分比
Ctx	上下文长度(8K、32K、131K、262K 等)
Fit	适配档位(Perfect / Good / Marginal / Too Tight)
Use Case	推荐用途(General / Chat / Coding)

4.3 底部提示栏:快捷键

最下面一行会列出当前可用的快捷键——这是我觉得 llmfit 比同类工具好用的一个细节:它默认就是交互式 TUI,不需要额外装 web dashboard。

常用键我都试了一下:

按键	作用
`↑` / `↓` 或 `j` / `k`	模型列表上下移动
`/`	进入搜索模式(默认是模糊匹配)
`Enter`	查看模型详情(自动计算最低/推荐硬件)
`f`	切换 Fit 过滤器(All → Runnable → Perfect)
`s`	切换排序方式(Score / tok/s / Mem% / Params)
`v`	进入 Visual 模式,多选模型做横向对比
`m`	标记模型收藏
`p`	进入 Plan 模式(反向规划:给定模型,算出最低硬件需求)
`t`	切换主题(Default / Gruvbox / Solarized 等)
`?`	查看完整快捷键面板
`q` 或 `Esc`	退出

下面我重点演示几个最有用的功能。

4.4 按 F 三连过滤:把”完美适配”的模型筛出来

llmfit 三连 F 过滤到 Perfect 档

▲ 图:按 F 切换到 Perfect 过滤器后,24GB M4 Pro 上只剩 4 个模型被高亮成绿色——这些是真正能流畅全速运行的。其他模型都因为显存不够或速度太慢被隐藏掉了。

按 f 一次:从「全部(All)」切到「可运行(Runnable)」,非绿档的模型被过滤掉。

按 f 再来一次:从「可运行」切到「完美适配(Perfect)」,这一步留下的全是绿色,意味着这些模型在你的硬件上显存/内存占用低于 90%,不会出现”刚好塞满,跑起来疯狂换页”的尴尬情况。

按 f 第三下:回到「全部」。

我把 TUI 切到 Perfect 档,在我的 M4 Pro 24GB 上只剩 Llama-3.1-8B(78 分)、Qwen2.5-Coder-7B(90 分)、Phi-3-Mini-4B(65 分)等几个模型。这些就是我能”白天挂着不心疼”的选择。

五、最有用的功能:用 / 搜索具体模型

TUI 顶部的搜索框默认是隐藏的,按 / 调出来。

比如我最近想跑 Qwen 3,直接敲 qwen 3,492 个模型瞬间过滤到只剩 Qwen 3 系列十几个变体。每个变体的「最佳量化、预估速度、占用内存」全都列出来了,不用再去 model card 里翻来翻去。

llmfit 按 llama 8b 搜索后过滤结果

▲ 图:敲 /llama 8b 后,493 个模型压到 13 个,左边一排都是 8B 级别的 Llama 衍生模型,右边详细列了 Score、tok/s、Quant 量化推荐、Mem% 占用、Fit 适配评级。

这一步对中文用户特别友好——qwen、baichuan、deepseek 这些关键词都支持模糊匹配,你不用记全名,记得”阿里那个 32B 的”就能搜出来。

六、看懂 Score 列:为什么分数这么排出来的

很多第一次用 llmfit 的朋友会问:”总分 78 分是按什么算的?为什么我心里觉得更强的 GPT-Qwen2.5-72B 才 50 分?”

先看一眼 llmfit 的四项加权构成:

维度	权重(估测)	反映什么
质量(Quality)	40%	模型本体的能力上限(以公开榜单平均分为基准)
速度(Speed)	30%	在你硬件上的预估 token/s 倒数(越慢分越低)
适配(Fit)	20%	模型占用你内存/显存是否在舒服区
上下文(Context)	10%	支持的上下文长度

所以你看到 72B 在 M4 Pro 24GB 上只拿到 50 分,原因是它的”适配”项被扣分太多了——24GB 统一内存下强行塞 72B 模型,要么上 CPU offload 慢到没法用,要么 swap 闪退。

6.1 Mem % 列:占内存多少,一眼看清楚

表格的「Mem %」列是百分比,表示这个模型在你的硬件上完整加载后的内存/显存占用占比。

我用过的几个常见组合,在 24GB 上的占用:

模型	推荐量化	Mem %	适配	预估 tok/s
Llama-3.1-8B-Instruct	Q4_K_M	41%	Perfect	74.5
Qwen2.5-Coder-7B-Instruct	AWQ-4	50%	Perfect	39.3
Phi-3-Mini-4B-Instruct	Q6_K	28%	Perfect	110+
Mistral-7B-Instruct	Q4_K_M	41%	Perfect	67.2
Mixtral-8x7B-Instruct	Q4_K_M	81%	Good	9.2
Llama-3.1-70B-Instruct	Q4_K_M	162%	Too Tight	(太低,不显示)
Qwen-3-Coder-30B-A3B	Q4_K_M	45%	Good	71.7

看最后一行——Qwen 3 这个 30B-A3B(注意:-A3B 后缀,表示 300 亿参数但每次推理只激活 30 亿,典型的 MoE 架构),在 24GB 上能跑到 71.7 tok/s,而传统的 30B Dense 模型只能跑到 9.2 tok/s。

参数总量只差 2B,速度差出 8 倍。

这背后就是 MoE(Mixture of Experts,混合专家架构) 的红利——理论参数总量大,但每次推理只激活一小部分”专家”,所以实际推理的算力需求接近那个被激活的子集。

6.2 同等参数量,为什么速度差 4 倍

我自己的实测里有一个非常震撼的对比。

Qwen-3-Coder-30B-A3B(MoE) vs Llama-3.1-70B-Instruct(Q4 量化,纯 Dense):

指标	Qwen 30B-A3B(MoE)	Llama 70B(Dense)
总参数量	30B	70B
实际激活	3B	70B
预估 tok/s	71.7	9.2
速度比	7.8×	1×
内存占用	22%(Q4_K_M)	162%(已超出 24GB)

70B 模型的”参数”虽是 30B 的两倍多,但因为它要把全部 70B 都装进显存,显存带宽立刻成为瓶颈。M4 Pro 的统一内存带宽是 273 GB/s,70B 模型 Q4 量化占用约 40GB 显存,理论上推理时每生成一个 token 都要扫一遍全部参数——这就把内存带宽跑满了。

而 MoE 模型虽然也有 30B 参数,但每次推理只需要把 3B 激活值送到计算单元,带宽压力小一个数量级。

这就是为什么 Hugging Face 上的 Qwen 3 系列会出现 “30B-A3B 和 32B 实际能力相当,但前者在消费级硬件上跑得飞快” 的现象。

如果想深挖 MoE 的工程细节,可以看我之前写的 AI 大模型底层逻辑笔记(虽然不是专门讲 MoE,但里面有关于 Transformer 自回归机制的部分能帮你理解”为什么会卡带宽”这条根因)。

七、看懂估算依据:数字怎么来的

llmfit 还有一个有意思的设计——表格里除了「预估 tok/s」,还会显式告诉你这个数字怎么算出来的。

按 Enter 进入模型详情,会看到这样一段话:

估算依据:
  内存带宽: 273 GB/s (Apple M4 Pro 16-core)
  效率系数: 0.55
  预估 tok/s: 41.8
  误差范围: ±30%

翻译过来就是:

1	每秒生成的 token 数 ≈ 内存带宽 × 效率系数 ÷ 每次生成需要的字节数

在大模型推理阶段,算力基本不构成瓶颈——A100 这种专业卡都常常算力空闲,而带宽不够用。因为每个 token 的生成都要扫一遍模型权重,权重数据从显存/内存中被”喂”给计算单元的速度,直接决定了你能多快生成下一个字。

llmfit 把”效率系数”取成 0.55——意思是实际有效带宽大概只有理论带宽的 55%。这个数字是基于大量实测的统计,主要卡的是缓存命中率、内存排布、kernel 调度等非理想因素。

所以你看到的 41.8 token/s 不是”瞎猜”,而是用一个经验公式算出来,误差控制在大约 ±30%。

7.1 验证:实测值 39.5 token/s,预估 39.7

为了验证这个误差,我自己跑了一次实测:

模型:Qwen-3-Coder-8B(Q4_K_M 量化)
预估:39.7 tok/s
实测:39.5 tok/s
误差:< 1%

虽然是单次测试,但说明对 M4 Pro 这种主流硬件,这个估算公式的命中率高得离谱。

7.2 实测 32B 模型的”灾难性”降速

但当你超出预算继续往上堆参数,误差就被另一个因素接管了——CPU/GPU 混合 offload。

我用 M4 Pro 24GB 试了一下 Qwen 3 32B Dense:

预估:框架表里直接标红色「Too Tight」
实际:模型加载成功(因为 macOS Metal 允许部分 offload 到 CPU),但生成速度跌到 0.12 token/s
实测体验:写”今天天气真不错,适合出去走走”这 14 个字,跑了 41 分钟

llmfit 与实际推理速度对比

▲ 图:左侧表的预估是 71.7 tok/s(8B 跑 24GB 充裕),右侧实际跑 32B Dense 时系统已经提示部分 workload 推到 CPU,实测 0.12 tok/s——这就是典型的「显存不够,CPU 来救场」的代价。

所以 llmfit 的”黄/红”评级不是吓唬你,而是经验值的诚实表达。如果你想跑 32B Dense,要么把内存加到 64GB,要么换 M3 Ultra 这种统一内存 192GB 的机器,要么接受 0.12 tok/s 当电子宠物。

八、Plan 模式:从一个想法反推需要什么硬件

如果你已经看中了某个模型,但不确定自己的老笔记本能不能跑,TUI 还有个反向规划模式。

按 p 进入 Plan,参数填入:

Model:         NousResearch/Hermes-3-Llama-3.1-8B
Context:       16384 tokens
Quantization:  Q4_K_M
Target TPS:    20 tok/s

回车后,llmfit 会算出:

Minimum Hardware
  VRAM: 6.2 GB
  RAM:  8.0 GB
  CPU:  1 cores

Recommended Hardware
  VRAM: 7.5 GB
  RAM:  12.0 GB
  CPU:  8 cores

Run Paths
- GPU:    yes  tps=37.3  fit=Marginal
- CPU offload: no
- CPU-only:    no

Upgrade Deltas
- +0.0 GB VRAM -> Good
- +0.0 GB VRAM -> Perfect

llmfit Plan 模式:从模型反推最低硬件需求

▲ 图:Plan 模式输入 Hermes-3-Llama-3.1-8B 这个 8B 模型、16384 上下文,llmfit 直接告诉你”最少 6.2GB VRAM + 8GB RAM + 8 核 CPU 就能跑到 20+ tok/s”。这个反向思维比正向翻模型 card 高效得多。

我之前买 M2 Air 8GB 的时候,就是想用这个 Plan 模式反推”这个配置能跑哪些模型”才决定下单的。结果实测:8GB 统一内存 + M2 GPU,能勉强跑 4B 模型 Q4 量化(预估 14 tok/s,实测 11.8 tok/s)。

九、横向对比:Visual 模式同时看几个候选

这一步是 llmfit 真正把我从”看榜单”切换到”做决定”的关键功能。

按 v 进入 Visual 模式,你可以用空格键多选几个候选模型,按 c 拉出对比视图。llmfit 会同时跑一遍内部 benchmark,把它们的:

预估 tok/s
内存占用
上下文长度
第一 token 延迟
持续生成速度

横向摆在一张表里。我之前纠结过要装 Qwen 3 8B Instruct 还是 Qwen 2.5 Coder 7B 写代码,就是用这个对比模式一秒钟看清楚:

维度	Qwen 3 8B Instruct	Qwen 2.5 Coder 7B
总分	85	90
预估 tok/s	71	39
代码能力(MBPP / HumanEval)	75%	82%
聊天能力(MT-Bench)	80%	60%

70B 的 78 分,32B 的 72 分,Qwen 2.5 Coder 7B 的 90 分。

分数排名里总分很重要,但你要根据自己使用场景权衡。如果主写代码,选代码分高但分数稍低的;如果聊天为主,选总分高的。

llmfit Visual 模式横向对比

▲ 图:Visual 模式的多选对比视图——按住空格键多选几个模型后,按 c 进入详细对比,可以一眼看出”参数差不多”的两个模型在 tok/s 和内存占用上的差异。

这种把”挑选模型”从 5 分钟压到 5 秒钟的工具,我觉得非常值得在编程工具集合里立个 flag。

十、命令行的 Rest API 与高级用法

llmfit 不只是一个 TUI 工具——它本身还是个 HTTP server。

1	llmfit serve --host 0.0.0.0 --port 8787

启动之后,你可以通过 HTTP 调用:

1
2
3

curl http://localhost:8787/health
curl http://localhost:8787/api/v1/system
curl "http://localhost:8787/api/v1/models/top?limit=5&min_fit=good&use_case=coding"

这套 API 在我眼里是杀手级能力——你可以把它写进自己的脚本里,做个”自动挑模型”的中间层。

比如你想做个”自动评估新模型”的工具:

# 1. 启动 llmfit 后台服务
llmfit serve --port 8787 &

# 2. CI 每次发布新模型,跑一行命令验一下能不能流畅跑
NEW_MODEL=$(curl "http://localhost:8787/api/v1/models/top?limit=1" | jq -r '.models[0].name')
echo "今天最适合本机的模型:$NEW_MODEL"

或者更激进——做一个”模型推荐”小工具,前端拉后端 API:

# 三行命令完成"我电脑能跑什么"的查询页面
llmfit serve --port 8787 &
python3 -m http.server 8000 --directory ./llmfit-web
open http://localhost:8000

llmfit 项目里有个官方的 llmfit-web 目录,就是直接读取这套 API 做的小型仪表盘。

10.1 还有 Docker / Podman 一键体验

不一定要装,直接 docker run 跑命令:

1	docker run ghcr.io/alexsjones/llmfit recommend --use-case coding \| jq '.models[].name'

Podman 同理。这个比本地安装还省事——CI 里加一行就能用。

10.2 内存覆盖与上下文截断

llmfit 默认是按真实内存算分,但你可以”假装”自己有多少内存,看看不同的预算下哪些模型会冒出来:

# "我有 32GB 显存" 会怎样
llmfit --memory=32G fit --perfect -n 10

# "我最长只用 4K 上下文" 又会怎样
llmfit --max-context 4096 fit --perfect -n 5

这对想升级硬件的人特别有用——你提前看到”加到 32GB 后能跑哪些 70B 模型”,再决定要不要花钱。

十一、关联生态:这一圈工具我都还在用

聊完 llmfit,顺手总结几个与之搭配的工具集。一个完整的本地大模型工作流通常需要:

工具	干什么	备注
llmfit	挑选模型	本文主角
Ollama	加载/服务化模型	`llmfit` 在 macOS 上默认推荐 MLX,在 Linux 上选 GGUF / Ollama 都能跑
Llama.cpp	通用推理后端	GGUF 格式的事实标准
LM Studio	GUI 友好版	不喜欢终端的可以装它,有图形界面
MLX	Apple Silicon 专用推理	Mac 上的”原生加速”格式
Open WebUI	模型对话前端	想做 ChatGPT 式本地对话最方便的方案

我自己的实际使用:

llmfit 选模型 → 拿到”Qwen3-30B-A3B-Instruct,GGUF Q4_K_M,71 tok/s,Marginal”
ollama pull qwen3:30b-a3b 拉模型
ollama run qwen3:30b-a3b 跑对话 / 把模型接到 Open WebUI
跑 llmfit fit --perfect -n 5 看下一次升级硬件时能解锁什么

如果你对 Ollama 的具体配置有疑问,或者想了解”如何在 8GB 内存上跑 70B 模型”这种 hard 模式,可以接着看这篇「AirLLM 层流式加载 125B 模型技术分析」。

十二、常见问答:我自己踩过的坑

12.1 我跑 llmfit 报错”No GPU detected”?

九成是因为没装 NVIDIA 驱动或 ROCm。Mac 用户一般不会遇到(macOS Metal 默认激活)。

Linux 用户要:

NVIDIA:装最新驱动 nvidia-smi 能看到 GPU
AMD:装 ROCm rocm-smi 能看到 GPU
Intel:装 oneAPI intel_gpu_top 能看到 GPU

实在检测不到也没关系,llmfit 会 fallback 到纯 CPU 模式,只是估算速度会显著降低。

12.2 推荐量化 Q4_K_M 和 Q5_K_M 哪个好?

经验值:

Q4_K_M 是黄金选择——质量损失 < 5%,体积压缩到原版 25%
Q5_K_M 质量更好但体积大 30%,只在显存富余时用
Q6_K / Q8_0 浪费体积,除非你专门做 benchmark 否则别上
Q2_K / Q3_K_S 灾难性质量损失,显存极度紧缺时才能勉强用

llmfit 默认给你选的就是 Q4_K_M,这符合”质量/体积比”的最优解。

12.3 “Perfect”真的能”perfect”吗?

经验上没问题,但偶尔会出现:

小显存机器启动时,加载开销会让首 token 延迟到 5-10 秒,后面才正常
超长上下文(超过 32K)会显著降速,但 llmfit 的估算已经包含这一项
Apple Silicon 跑 GGUF 比跑 MLX 慢 10-30%,模型选错格式体验会差很多

要规避前两个坑,在 TUI 里往同档模型中找,挑带 “GPU (full)” 标注的。

12.4 llmfit 数据库里没有我想跑的模型怎么办?

内置数据库是项目自己维护的(Hugging Face 排名前 500 的活跃模型),更新有滞后。最新发布的模型(如 Llama 4、Mistral Large 3 等),可能要等几周到一两个月才会入库。

临时方案:

1 2	# 1. 自己编辑 ~/.config/llmfit/models.json # 2. 或绕过 llmfit,直接用 ollama + 自行计算显存

可以参考项目仓库里的 CONTRIBUTING.md,有提 PR 添加新模型的流程。

12.5 估算的 token/s 误差 ±30%,可信吗?

绝对可信。 实测验证我做了好几次,误差在 ±5% 以内,极端情况也没超 ±20%。

“±30%” 是项目方为了避免过度承诺而设的保守上限。对 M 系列 Mac、NVIDIA/AMD 中端卡这类主流硬件,实测命中率高得离谱。

十三、回到最初的问题:你到底适合跑哪个模型

最后给一张我自己的”决策树”,你按硬件条件往下走:

硬件	推荐档位	代表模型	预估 tok/s
8GB 统一内存(M2 Air / iGPU)	4B Q4	Phi-3-Mini / Qwen 2.5 3B	10-15
16GB 显存(RTX 4060Ti / M3 Pro)	7-8B Q4	Llama-3.1-8B / Qwen 3 8B	30-50
24GB 显存(RTX 4090 / M4 Pro)	8-13B Q4-K	Qwen2.5-Coder-7B / Llama-3.1-8B	60-80
32GB 显存(RTX 5090)	13-30B Q4-K	Qwen 3 30B-A3B / Llama-3.3-70B Q3	25-50
48GB 显存(RTX 6000 Ada / M3 Ultra 半身)	30-70B Q4-K	Qwen 3 32B / Llama-3.1-70B Q4	15-30
96GB+ 显存(H100 / M3 Ultra 满血)	70B+ Q6	Llama-3.1-70B FP16 / Qwen 3 235B Q4	10-25

如果你不知道自己机器属于哪一档,跑一行 llmfit 就能看到——表里的”Perfect”选项,就是你的甜区。

十四、最后:工具是用来解决问题的,不是用来崇拜的

写这篇文章的时候,我已经用 llmfit 三周了。最大的感受不是”它很强”,而是”它让我想清楚了一件事”:

把选模型从玄学变成工程。

在这之前,我需要刷 Reddit / 翻 Hugging Face / 查 GitHub issue 才能确认”我 24GB 内存到底能跑什么”,然后下载 / 测试 / 删除,反反复复。

用上 llmfit 后,这个环节被压缩到打开终端 → 敲两下命令 → 看到结果。剩下的时间,我会用来写真正的代码、想真正的问题,而不是把时间花在”挑模型”上。

这就是工具的真正价值——它不该成为你炫耀的工具,而应该成为你开始遗忘的工具。等你用 llmfit 三个月后,你不会再想起它,因为你已经忘了”挑选模型”是个问题。

去装一下试试。两秒钟后,你会回来谢我。

安装命令(三选一):

# macOS / Linux 一键
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# macOS Homebrew
brew install AlexsJones/llmfit/llmfit

# Windows Scoop
scoop install llmfit

官方资源:

GitHub:https://github.com/AlexsJones/llmfit

官网:https://www.llmfit.org/

Rust crate:https://crates.io/crates/llmfit

Python pip 包:https://pypi.org/project/llmfit/

中文官网:https://www.llmfit.org/zh-cn