MultimodalFlow
EN
← 返回博客

Jetson AGX Thor LLM 推理测试（2026）：Qwen3.6-35B 和 Qwen2.5-1.5B 真机数据

JetsonLLM测试结果边缘推理QwenSGLangllama.cppThor

本文所有数据均来自 Jetson AGX Thor Developer Kit 真机测试，非合成数据，非厂商规格表——直接用 curl 和 llama-bench 对运行中的模型发起测试。

测试环境

| 设备 | NVIDIA Jetson AGX Thor Developer Kit | |---|---| | CUDA 版本 | 13.0 | | 计算能力 | 11.0 | | 统一显存 | 125,771 MiB（约 123 GB）| | 系统总内存 | 122 GB | | JetPack / 内核 | 6.8.12-tegra | | 存储 | 936 GB NVMe | | GPU 温度（空闲）| 59°C |

模型一：Qwen3.6-35B-A3B-FP8（SGLang）

部署方式

35B 模型以持久化 SGLang 服务方式运行：

python3 -m sglang.launch_server \
  --model-path /models/Qwen3.6-35B-A3B-FP8 \
  --host 0.0.0.0 \
  --port 8080 \
  --served-model-name qwen3.6 \
  --trust-remote-code

使用 FP8 量化版本。得益于 123 GB 统一内存，模型完整加载无需卸载——服务运行时系统内存占用约 101 GB。

测试结果

生成速度（输出 token/秒，3次平均）：

| 测试场景 | 提示词 Token 数 | 输出 Token 数 | 耗时 | 速度 | |---|---|---|---|---| | 短提示词 | 24 | 200 | 13.69s | 14.6 t/s | | 长提示词 | 268 | 300 | 20.37s | 14.7 t/s |

首 Token 延迟（TTFT，流式，3次测试）：

| 次数 | TTFT | |---|---| | 冷启动（首次请求）| 0.282s | | 预热后（第2次）| 0.101s | | 预热后（第3次）| 0.101s | | 平均值 | 0.161s |

内存占用：

| 指标 | 数值 | |---|---| | 服务空闲时系统内存 | ~65 GB | | 模型加载后系统内存 | ~101 GB | | 模型内存占用（FP8，35B）| ~36 GB | | 剩余可用内存 | ~21 GB |

14.6 t/s 意味着什么

人类阅读速度约为 3–5 token/秒。14.6 t/s 大约是人类阅读速度的 3 倍——用于实时对话、Copilot 工具和 Agent 工作流，体验流畅没有卡顿感。

对比参考：云端 GPT-4o 通常能达到 40–80 t/s，但需要网络连接，数据离开设备，且按 token 计费。Thor 以 14.6 t/s 换来完全本地执行，数据不出设备。

模型二：Qwen2.5-1.5B Q4_K_M（llama.cpp CUDA）

部署方式

LD_LIBRARY_PATH=build/bin ./build/bin/llama-bench \
  -m /models/qwen2.5-1.5b/qwen2.5-1.5b-instruct-q4_k_m.gguf \
  -ngl 999 -fa 1 \
  -p 128,512 -n 128,256 \
  -r 3

全部层卸载到 GPU（-ngl 999），开启 Flash Attention（-fa 1）。

测试结果

| 模型 | 大小 | 后端 | Flash Attn | 测试场景 | 速度（t/s）| |---|---|---|---|---|---| | Qwen2.5-1.5B Q4_K_M | 1.04 GiB | CUDA | ✓ | 预填充 128t | 3,639.6 ± 403.6 | | Qwen2.5-1.5B Q4_K_M | 1.04 GiB | CUDA | ✓ | 预填充 512t | 4,298.3 ± 158.5 | | Qwen2.5-1.5B Q4_K_M | 1.04 GiB | CUDA | ✓ | 生成 128t | 106.8 ± 6.4 | | Qwen2.5-1.5B Q4_K_M | 1.04 GiB | CUDA | ✓ | 生成 256t | 112.8 ± 0.1 |

结果分析

107–113 t/s 的生成速度约为人类阅读速度的 22–30 倍，适用于：

  • 语音转文字实时管道（转录速度必须跟上语速）
  • 高吞吐量分类或信息抽取任务
  • 延迟要求极低的多轮对话场景

512 token 上下文的预填充速度达到 4,298 t/s，意味着长提示词的处理时间不超过 120ms——对绝大多数应用几乎无感知。

Thor vs Orin：能力对比

实验室同时部署了一台 Jetson AGX Orin Developer Kit（100.97.175.73），规格对比如下：

| 规格 | Thor | Orin | |---|---|---| | CUDA 版本 | 13.0 | 12.6 | | 计算能力 | 11.0 | 8.7 | | 统一显存 | 123 GB | 61 GB | | 系统内存 | 122 GB | 61 GB | | 最大模型规模（FP16）| ~600亿参数 | ~300亿参数 | | 最大模型规模（Q4）| ~2300亿参数 | ~1150亿参数 |

Thor 2 倍的内存优势是核心差距。35B FP8 模型在 Orin 上无法不卸载地完整加载，而在 Thor 上加载后还剩 21 GB 余量。

对于 13B 以下的模型，Orin 仍然是性价比很强的选择。Qwen2.5-7B Q4_K_M 可以完整加载到 Orin 的 61 GB 统一内存，生成速度约为 28–35 t/s。

核心结论

面向边缘 AI 部署的关键判断：

  1. 35B+ 模型已可本地部署 — Thor 的 123 GB 统一内存让完整推理模型在无网络环境下本地运行成为现实。

  2. FP8 量化是最佳平衡点 — Qwen3.6-35B-A3B-FP8 以 14.6 t/s 的速度运行，占用约 36 GB——大约是 BF16 版本的一半。

  3. 小模型速度极快 — 1.5B 模型 107+ t/s，完全满足实时应用对速度的要求。

  4. 35B 模型 TTFT 低于 0.2s — 0.16s 的平均首 Token 延迟对边缘硬件来说非常出色，用户感知不到任何等待感。

  5. SGLang 在 Tegra 平台上已具生产级稳定性 — SGLang 服务自 5 月 25 日持续运行，调度器累计运行 9,781 CPU 小时，未见异常。

复现测试

# Qwen2.5-1.5B via llama.cpp
cd ~/kwkthor/llama.cpp
LD_LIBRARY_PATH=build/bin build/bin/llama-bench \
  -m /home/nvidia/models/qwen2.5-1.5b/qwen2.5-1.5b-instruct-q4_k_m.gguf \
  -ngl 999 -fa 1 -p 128,512 -n 128,256 -r 3

# Qwen3.6-35B via SGLang API
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.6","messages":[{"role":"user","content":"你好"}],"max_tokens":100}'

本文测试数据采集于 2026 年 6 月 1 日，硬件为实际运行设备。不同 JetPack 版本、SGLang 版本或散热状态下结果可能存在差异。