Strata 实测：64G 内存 + 16G 显卡本地跑 125B 千亿大模型，速度 30 token/s
大模型圈有一个流传很久的梗：“我家显卡只有 8G，能跑什么模型？”
过去这个问题的答案相当残酷——8B 要 16G，70B 要 80G，125B 干脆属于服务器。但最近冒出来的开源项目 Strata 把这套心智模型掀了：它利用显存、内存、SSD 的三级调度，让一台 i5-12400 + 64G 内存 + 16G 5060Ti 的普通电脑，实测跑起了 125B 千亿参数的 MoE 大模型，输出速度稳定在 30+ token/s，上下文开到 128K。
我在这台机器上完整跑了一遍从下载到对话的流程，把 Strata 的原理、硬件门槛、四个引擎版本的差异，以及用 AI 编程助手替代手敲命令的部署方法都整理了出来。结论先给：这套方案对”想玩千亿模型但只有游戏卡”的人是真门槛降低了一截，但对磁盘和内存的要求一点没松。
一、实测环境：配置真的很普通
先说结论的前提——这台机器没有任何服务器级配置：
| 硬件 | 实测配置 | 说明 |
|---|---|---|
| CPU | i5-12400 | 普通桌面级，没有 AVX-512 |
| 内存 | 64 GB | 硬门槛，官方最低要求就是 64G |
| 显卡 | RTX 5060 Ti 16 GB | 8G 卡也能试，但上下文要调小 |
| 模型体积 | 78 GB | IQ3 量化后的实际占用 |
| 上下文 | 128K | 跑 Agent 完全够用 |
| 输出速度 | 30+ token/s | 峰值约 30 tok/s，开录屏后略降 |
几个值得注意的细节：
显存占用是真的顶满了。 任务管理器里 5060 Ti 的”专用 GPU 内存”常年贴着 14.6/16 GB，利用率 95%。这意味着 Strata 把显存当缓存用，不是独占——剩下的部分在内存和 SSD 里。
8G 显卡属于”能尝试”而非”官方保证”。 项目 README 里官方口径是 12GB 显存起步，8GB 是社区实验方案。显存小不是不能跑，但上下文长度和速度都要打折。
上下文开到 128K 是可以跑的。 这个数字对实际使用的意义在于：本地跑 Agent、跑长文档分析、跑一整个代码仓库的问答，都不用再担心上下文被截断。
模型本体 78G。 你硬盘至少得给它留出 100G 余量，官方建议约 80GB 可用空间。
二、Strata 到底做了什么：三级调度
Strata 是 Niko1221 写的开源 MoE 推理框架，MIT 协议，跑的是 Qwen 团队的 Qwen3.8-Flash-Next（125B MoE）。
关键前提是 MoE（混合专家）架构。这个模型由 24,576 个小专家组成，但生成每个 token 只需要调用其中约 10 个——绝大多数专家在绝大多数时刻是”睡着的”。
Strata 的做法就是围绕这个稀疏性做文章：
| 硬件层 | 存什么 | 特点 |
|---|---|---|
| 显存 | 最常被激活的注意力头 + 高频专家 | 常驻，速度最快 |
| 系统内存 | 全部 24,576 个专家 | 按需调用，CPU 同时参与计算 |
| SSD | 大体积的查找表 | 只存索引，NVMe 下读取 >1000 tokens/s |
打个比方：厨房里常用的刀和锅放在灶台上（显存），全部食材放冰箱（内存），调料清单放柜子（SSD）。做菜时需要什么就去对应的地方取，而不是把整个厨房塞进灶台。
官方还做了两个优化：
预测式稀疏路由。 提前 1-2 个 token 预测哪些专家层会被调用，提前排队通过 PCIe 做 DMA 传输，等真用上的时候已经在显存里了。
先猜后验（Guess, then check）。 用一个小模型先猜接下来几个词，大模型一次性批量校验。答案不变，官方数据是快 1.6–1.8 倍。
长文本按大块读取（一次最多 8,192 tokens），所以 32K 的文档灌进去也就十几秒。
这套思路和 AirLLM 的分层流式加载 是同一个方向——都不追求”把整个模型塞进显存”，而是让模型在整台机器上流动。区别在于 AirLLM 是按层流式，Strata 是按专家流式，后者在 MoE 模型上粒度细得多，所以速度差距明显。
三、四个引擎版本，别下错
项目提供 4 个安装包，选错会直接跑不起来：
| 版本 | 适配对象 | 说明 |
|---|---|---|
strata-windows-x64.zip |
RTX 30/40/50 系 | 默认选这个，通用最新版 |
strata-windows-x64-cuda12.zip |
较老的 NVIDIA 卡 | 走 CUDA 12 运行时，兼容老驱动 |
strata-windows-x64-hip.zip |
AMD 显卡 | ROCm / HIP 后端 |
| 源码编译 | Intel Arc 等 | 需在 Linux 上从源码构建 |
几点更新动态值得留意：
- 项目在 7 天内从 19K star 继续往上走，作者更新频率极高（发布当天就有新版本）
- AMD 显卡、Intel Arc 显卡从前几天的”不支持”变成现在全部加入
- 官方兼容列表里，P100 16G、3060 12G 都能跑 IQ3_XXS 量化
选型建议： NVIDIA 30 系以上直接下默认包；老 NVIDIA 卡下 CUDA 12 包；AMD 卡下 HIP 包；Intel Arc 需要自己编译。
四、模型选型：按内存对号入座
官方给的对应关系很清晰：
| 你的内存 | 推荐量化 | 理由 |
|---|---|---|
| 32 GB | Coder | 砍掉一半专家的编程特化版，32G 装得下 |
| 48 GB | IQ2_XS / Q2_0 | 再大的就装不下了 |
| 64 GB | IQ2_XS（推荐）/ IQ3_XXS / IQ3_S | 所有尺寸都装得下，IQ3_S 最好也最慢 |
| 96 GB+ | IQ3_S 或 UD-IQ4_XS | 留足空间同时开别的程序 |
几个特殊版本：
- Swift 1.5：思考时间更短的微调版，答案来得更快，质量差不多
- Coder：SWE-bench Verified 达到完整模型的 91%，但中文和 CJK 明显弱
- Unsloth UD-IQ4_XS：接近 4bit，94GB 下载量；内存不足 80G 时会从 SSD 读，边答边读会变慢
- 无审查版本：OrcaRouter 的 IQ3_XXS 不在安装器菜单里，需要手动配置
量化选型的取舍说白了就是：压得越狠跑得越快，脑子越笨。 IQ2_XS 在 48G 机器上是唯一选项，别纠结；64G 机器直接上 IQ3_XXS 是个甜点。
五、部署：用 AI 编程助手替代手敲命令
这是我觉得 Strata 最被低估的一点——它专门为 AI 编码助手写了安装文档。
手动流程大概是这样：
- 下载 Strata 项目，解压到一个大硬盘分区（模型 78G，预留 100G）
- 下载模型文件，和项目放同一个文件夹
- Windows 双击
START-HERE.bat，Linux 跑./setup.sh - 安装器依次问：选哪个模型、上下文多长、要不要读图
- 每次直接按回车用推荐值，下载约 70GB 权重
- 启动后浏览器打开
http://127.0.0.1:8080
而 AI 一键流程只需要一句话。把这段贴给 Claude Code / Cursor / Codex / WorkBuddy：
1 | Set up Strata on this PC for me: https://github.com/Niko1221/Strata |
Agent 会自己检查显卡、内存、磁盘，挑一个装得下的模型，装好、启动、然后告诉你怎么连应用。
实测下来的体感差异很明显。 手动装要判断该下哪个包、模型文件放哪、路径带不带空格；Agent 直接读文档把这些全处理掉了。如果你机器里有多个模型，还能直接跟它说”给我加个模型切换入口”，几分钟后聊天页面右上角就多了一个下拉框——把模型列表（coder-iq1_m 54.4GB / iq2_xs 63.4GB / iq3_s 78.1GB / iq3_xxx 70.9GB）直接嵌进 UI。
六、接入 Agent 和其他应用
Strata 默认开在 8080 端口，提供 OpenAI 和 Anthropic 兼容接口：
| 用途 | 地址 |
|---|---|
| OpenAI 兼容 | http://127.0.0.1:8080/v1 |
| Anthropic 兼容 | http://127.0.0.1:8080/v1/messages |
| Responses API（Codex CLI） | http://127.0.0.1:8080/v1/responses |
API Key 随便填，模型名随便填。
我把它接进 WorkBuddy 让它生成了一张网页——排版、配色、响应式布局都在水准线上。这是判断本地模型”能不能用”的最好标尺：能写出结构完整、样式干净的 HTML/CSS，说明它的代码能力已经过了”能干活”这条线，而不是只能玩玩具。
值得注意的是 12G 显存跑视频生成模型 那类本地部署之所以还停留在折腾命令行，很大程度上就是没有把”让 Agent 来装”这条路径写进文档。Strata 这么做，等于把门槛从”会配环境”降到了”会说话”。
七、几个必须提前知道的坑
首次启动会卡死 1-3 分钟。 Strata 要往内存里加载 35-55GB，还会锁一部分给显卡。这期间电脑可能无响应，别关窗口。最长的一次就是首次。
默认一次只处理一个请求。 其他请求排队。要并发就设 "parallel": 2，但 12G 卡上每个回答都会变慢。
超长首条消息按分钟计。 大约每 30,000 tokens 需要 1 分钟读入。后续追问是秒级响应。
磁盘读闪烁 + 巨慢 = 内存不够。 关掉浏览器（内存大户），或者换小一号的量化。
端口 8080 被占用 = Strata 已经在跑了。 找它的窗口就行。
还有一条安全提醒：如果你要用 START-HERE.bat --host 0.0.0.0 从手机或别的电脑访问，务必设置 API key。默认只监听 127.0.0.1 就是为了这个。
八、8G 显卡到底能不能跑
这是被标题党带偏最多的问题，说清楚：
官方最低要求是 12GB 显存 + 32GB 内存。 8GB 显卡是社区实验方案，项目文档里明确列为”Older GPUs”实验性内容。
能不能跑取决于整机，不只是显存。 因为 Strata 会大量吃系统内存、CPU 和 SSD，显存小只是”GPU 缓存少一点”，内存和磁盘跟上依然能启动——代价是速度和稳定性。
我的建议是：
- 手头有 12G+ 卡的：直接上，别犹豫
- 只有 8G 卡的：可以用，但按”实验”心态对待，先降上下文（试试 32K 而不是 128K），用
BENCH.bat跑个 5-10 分钟基准看看实际速度 - 内存不足 64G 的：优先选 Coder 版本，它砍掉了一半专家
九、和 AirLLM 怎么选
两款思路相近但目标不同：
| 维度 | Strata | AirLLM |
|---|---|---|
| 流式粒度 | 按专家（MoE 专用） | 按层（通用） |
| 速度 | 30–100+ token/s | 慢（逐层搬运） |
| 支持模型 | Qwen3.8-Flash-Next 125B + DeepSeek-V2-Lite | 支持更多，包括 DeepSeek-V3 671B |
| 安装 | 一键脚本 / AI 助手 | Python 环境手动配置 |
| 适合 | MoE 模型的日常对话和 Agent | 验证”能不能跑起来” |
如果你的目标是”让 125B MoE 模型在游戏卡上流畅对话”，选 Strata。如果你想验证某个超大稠密/混合模型到底能不能启动，AirLLM 的覆盖更广。
十、上手路径总结
1 | # 方式一：让 AI 帮你装（推荐） |
几个入口：
总结
Strata 真正的价值不是”小显卡跑超大模型”这个口号，而是给出了一套把显卡、内存、CPU、SSD 组合成一条流水线的工程方案。三级调度 + 预测式路由 + 先猜后验，三个优化叠在一起，才让 125B MoE 模型在 5060 Ti 上跑出 30+ token/s 这个数字。
但也别被标题带偏——它降低的是显存门槛，不是内存和磁盘门槛。 64G 内存、100G 硬盘是硬要求，首启卡死 1-3 分钟是必经历的。这些成本一分都不会少。
对拥有普通游戏显卡、又想在本地跑千亿模型的人来说，这大概是目前最值得动手试的开源方案了。如果你也在折腾本地部署，可以看看 AirLLM 的分层流式方案 和 12G 显存跑视频生成模型的工程拆解，三者思路各有不同，对比着看收获更大。
你最想用本地大模型做什么？写代码、跑 Agent 还是处理敏感文档？评论区聊聊，我会挑有代表性的问题实测一下。