MultimodalFlow
← 返回博客

Edge AI 实验室周报:双 Thor 网络、模型可运行性与自动化测试

Edge AIJetson ThorLLM Benchmark实验室周报自动化

这一周没有追求再堆一组孤立跑分,而是把过去几次实验串成一条更稳定的工作流:先判断问题值不值得测,再把硬件边界测清楚,最后把证据整理成可重复运行的记录。

下面是本周最值得保留的三条结论。

1. 端口数量不是系统带宽

两台 Jetson AGX Thor 通过四路 10GbE 直连时,每条链路单独运行都能达到约 9–10 Gbps;多链路并发后,总吞吐却停在约 12 Gbps。

这类结果提醒我们,规格表上的接口数量只描述了外部能力,不能证明 SoC 内部存在同样数量的独立数据通路。正确的验证顺序是:单链路、单链路多流、双链路并发、全链路并发,再结合 CPU、时钟和功耗数据缩小瓶颈范围。

完整数据与部署影响见:双 Jetson AGX Thor 四路 10GbE 直连实测。

2. “能不能跑”要拆成三个问题

面对一个新模型,第一反应不应该是直接下载权重。至少先回答:

  1. 权重和运行时显存是否放得下;
  2. 推理框架是否已经支持模型结构与量化格式;
  3. 即使能够加载,速度是否达到真实任务可以接受的范围。

Jetson Thor 与 RTX 3090 的对比尤其说明了这一点。同样的模型在不同精度、运行时和内存架构下,数字不能直接横向解释。跑分表必须同时记录量化方式、上下文、并发、首 token 延迟和生成吞吐。

相关实测见:Qwen3.8-27B:RTX 3090 与 Jetson Thor 对比。

3. 自动化负责发现,人负责结论

实验室已经具备一个最小自动化闭环:定期发现近期模型候选、生成候选清单、触发 RTX 3090 冒烟测试,并根据结构化结果生成中英文草稿。

自动化最适合处理重复劳动,但不应该自动把“成功下载”“能够加载”升级成性能结论。Thor 测试、异常解释和最终发布仍保留人工审核,尤其是在框架尚未完整支持模型的时候。

下周验证清单

  • 复测双 Thor 多链路在不同功耗模式和 MTU 下的表现;
  • 给模型候选加入“框架支持状态”和“预估显存”预筛选;
  • 统一 3090 与 Thor 的 benchmark 输出字段;
  • 把失败实验也纳入索引,避免重复踩坑。

周报的目标不是制造更新频率,而是让实验记录持续形成一套可查询、可比较、可复现的证据库。