MultimodalFlow
EN
← 返回博客

Qwen3.8-Max 能在 Jetson Thor 上跑吗？最新 2.4T 模型与边缘硬件实测边界

Qwen3.8-MaxQwen3-8BJetson Thor边缘推理大模型SGLangllama.cpp本地部署

2026 年 8 月 13 日，我查了一轮 Qwen 最新发布：现在最容易混淆的两个名字是 Qwen3.8-Max 和 Qwen3-8B。

结论先放前面：

问题结论
最新 Qwen 3.8 是什么？指向 Qwen3.8-Max，官方介绍为 2.4T 参数旗舰模型
能不能在 Jetson AGX Thor 本地跑？目前不能按常规本地权重方式跑，Thor 的 123 GB 统一内存装不下 2.4T 级模型
Thor 能测什么？可以测 Qwen3-8B、Qwen3.6-27B、Qwen3.6-35B-A3B 这类公开权重或已有量化模型
这篇文章的定位不是伪造 Qwen3.8-Max 本地跑分，而是给出 Thor 上的可行边界和复现方案

这点很重要。**Qwen3.8-Max 是前沿旗舰，不是 8B 小模型。**如果把“3.8”看成“3 代 8B”，就会把模型规模判断错两个数量级。

最新信息：Qwen3.8-Max 不是 Qwen3-8B

Qwen 官方页面把 Qwen3.8-Max 描述为 Qwen 系列目前最强模型，基于 Qwen 3.5 架构扩展到 2.4 trillion parameters，重点提升 coding、work 和复杂任务能力。官方研究页同样把它列为 Qwen3.8-Max，并强调它面向代码与协作场景。

公开资料里，Qwen3.8-Max 更接近云端 frontier model：参数量巨大，具体本地权重包、量化格式、推理框架支持和硬件需求还不是像 Qwen3-8B 那样清晰。

而 Qwen3-8B 是另一回事。Hugging Face 上的 Qwen/Qwen3-8B 是 Apache 2.0 开源权重，模型卡写明：

  • 参数量：8.2B
  • 非 embedding 参数：6.95B
  • 层数：36
  • GQA：32 个 Q heads、8 个 KV heads
  • 原生上下文：32,768 tokens
  • YaRN 扩展：可到 131,072 tokens
  • 支持 thinking / non-thinking 模式切换
  • 支持 Transformers、vLLM、SGLang、llama.cpp、Ollama、LM Studio 等路线

所以如果你的目标是“在 Thor 本地跑一个 Qwen 3 系列模型”，正确对象通常是 Qwen3-8B 或 Qwen3.6-35B-A3B；如果你的目标是“测试最新 Qwen3.8-Max”，那更像是在测 API 或远程服务，而不是测 Thor 本地推理。

Thor 真机环境

我这次先连到两台 Thor 机器确认环境，未中断已有服务：

设备状态
thorNVIDIA Thor，CUDA 13.0，Linux 6.8.12-tegra，系统内存 122 GiB
thor-jdNVIDIA Thor，CUDA 13.0，Linux 6.8.12-tegra，系统内存 122 GiB

thor 上已有模型：

/home/nvidia/models/LocateAnything-3B
/home/nvidia/models/Qwable-v1
/home/nvidia/models/Qwen2.5-1.5B-Instruct
/home/nvidia/models/Qwen2.5-14B-Instruct
/home/nvidia/models/Qwen2.5-7B-Instruct
/home/nvidia/models/Qwen3.6-35B-A3B
/home/nvidia/models/Qwen3.6-35B-A3B-FP8

thor-jd 上已有模型：

/home/nvidia/models/Qwable-v1
/home/nvidia/models/Qwen2.5-7B-Instruct
/home/nvidia/models/Qwen3-Coder-30B-A3B-Instruct
/home/nvidia/models/Qwen3-Coder-30B-A3B-Instruct-FP8

两台机器都没有 Qwen3.8-Max 本地权重。更关键的是，即使权重开放，2.4T 级 MoE 模型也不能简单理解为“下载到 Thor 然后 llama-bench 一跑”。

为什么 Qwen3.8-Max 不适合 Thor 本地推理

Jetson AGX Thor 的优势是统一内存和低功耗。它可以让 30B、35B 级模型在边缘设备上稳定运行，尤其适合：

  • 本地代码助手
  • 机器人感知与语言控制
  • 工业现场私有问答
  • 无公网或低带宽环境下的本地 agent

但 Qwen3.8-Max 的规模完全不同。

粗略估算一下，只看权重：

精度2.4T 参数理论权重体积
BF16 / FP16约 4.8 TB
FP8约 2.4 TB
INT4约 1.2 TB
2-bit 极低量化约 600 GB

这还没有算 KV cache、运行时 workspace、专家路由、框架开销和分布式通信。Thor 的 123 GB 统一内存，适合 7B 到 70B 左右的本地部署探索，不适合 2.4T 级旗舰模型单机本地加载。

即使 Qwen3.8-Max 是 MoE，推理时只激活一部分专家，也不代表未激活权重可以不存在。除非框架支持非常激进的专家按需加载、远程专家、分层存储或多节点切分，否则权重驻留仍然是第一道硬墙。

可以在 Thor 上测的替代对象

如果目标是“看 Qwen 新模型在 Thor 上的实际速度”，我建议分成三档：

模型本地可测性适合问题
Qwen3-8B高Thor 跑 Qwen3 thinking 模式有多快
Qwen3-Coder-30B-A3B高，如果已有权重边缘代码模型吞吐和 agent 体验
Qwen3.6-35B-A3B-FP8已有本地环境35B MoE 在 Thor 上是否能长期服务
Qwen3.8-Max低更适合 API 质量评测，不适合 Thor 单机本地跑分

站内之前已经在 Thor 上测过 Qwen3.6-35B-A3B-FP8：SGLang 服务运行时系统内存约 101 GB，短提示词生成速度约 14.6 t/s，首 token 延迟热启动约 0.101s。这说明 Thor 已经能把 35B MoE 推到实时交互级别。

但从 35B 到 2.4T，不是“再慢一点”的差别，而是硬件形态变化：后者需要多卡服务器、分布式推理和高带宽互联。

Qwen3-8B 在 Thor 上的复现路线

如果你要在 Thor 上做一个真实、可复现的 Qwen 3 小模型测试，建议测 Qwen3-8B 的 GGUF 版本。它和 Qwen3.8-Max 不是同一个模型，但它能回答一个很实际的问题：Thor 跑 Qwen3 系列 8B dense model 到底快不快。

方案一：llama.cpp

cd ~/llama.cpp

# 准备 GGUF 后运行。模型文件名按实际下载版本调整。
LD_LIBRARY_PATH=build/bin build/bin/llama-bench \
  -m /home/nvidia/models/qwen3-8b/qwen3-8b-instruct-q4_k_m.gguf \
  -ngl 999 \
  -fa 1 \
  -p 128,512,2048 \
  -n 128,256 \
  -r 3

建议记录：

指标用途
pp128 / pp512 / pp2048看 prompt 预填充速度
tg128 / tg256看真实生成速度
TTFT看交互延迟
内存占用判断长上下文余量
温度和功耗判断能否 24 小时在线

方案二：SGLang

python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3-8B \
  --host 0.0.0.0 \
  --port 30000 \
  --reasoning-parser qwen3

然后用 OpenAI-compatible API 测：

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-8B",
    "messages": [
      {"role": "user", "content": "用 Python 写一个快速排序，并解释时间复杂度。/no_think"}
    ],
    "max_tokens": 512
  }'

Qwen3-8B 的一个重点是 thinking / non-thinking 模式切换。做速度测试时要把这两个模式拆开，否则 thinking token 会让吞吐和延迟看起来“不稳定”。

如果一定要测 Qwen3.8-Max，应该怎么测

Qwen3.8-Max 现在更适合做 API 质量评测，不是 Thor 本地硬件 benchmark。合理测试方式是：

  1. 用同一组 coding / agent / 长文档任务调用 Qwen3.8-Max API。
  2. 同时在 Thor 本地跑 Qwen3-8B、Qwen3-Coder-30B-A3B 或 Qwen3.6-35B-A3B。
  3. 比较任务完成率、工具调用稳定性、首 token 延迟、总耗时、每次任务成本。
  4. 明确拆开“模型能力”和“部署形态”：Qwen3.8-Max 测的是云端 frontier 能力，Thor 测的是本地可控部署。

这个对比比强行写“Qwen3.8-Max 在 Thor 上多少 t/s”更有价值。

我的判断

Qwen3.8-Max 的意义在于：Qwen 系列已经继续往 frontier model 推进，2.4T 参数说明阿里仍在做最大模型竞争。但对边缘部署工程师来说，它短期内不是替代 Thor 本地模型的东西。

Thor 的甜点区仍然是：

  • 8B：高速、多路并发、实时工具链
  • 30B-A3B：代码和 agent 能力与速度平衡
  • 35B-A3B / 35B FP8：单机边缘大模型上限探索
  • 70B 量化：可跑，但要非常关注 KV cache 和框架支持

Qwen3.8-Max 如果开放权重，真正适合的第一批硬件也会是多卡服务器，而不是 123 GB 统一内存的 Thor。Thor 更适合做“前沿模型蒸馏后的小型本地版本”承载平台。

一句话总结：Qwen3.8-Max 值得关注，但不要把它当成 Thor 本地推理模型；Thor 上真正应该测的是 Qwen3-8B、Qwen3-Coder-30B-A3B 和 Qwen3.6-35B-A3B。

资料来源

  • Qwen 官方博客：https://qwen.ai/blog?id=qwen3.8
  • Qwen 官方研究页：https://qwen.ai/research
  • Qwen3-8B Hugging Face 模型卡：https://huggingface.co/Qwen/Qwen3-8B
  • Qwen3 官方发布博客：https://qwenlm.github.io/blog/qwen3/
  • Ollama Qwen3:8B 页面：https://ollama.com/library/qwen3:8b

Thor 环境探测时间：2026 年 8 月 13 日。本文未声称完成 Qwen3.8-Max 本地权重推理，因为当前 Thor 设备和公开权重条件不支持这种测试。