精选文章
Qwen3 30B vs Gemma 4 26B RTX 3090 全显存实测
在 RTX 3090 全显存状态下,对 Qwen3 30B 和 Gemma 4 26B 进行头对头实测。Ollama API 真实数据 —— 生成速度、预填充速度、哪个模型在各场景胜出。
Jetson Thor vs Jetson Orin 64GB:本地 LLM 真机测试笔记
Jetson Thor 与 Jetson Orin 64GB 的本地 LLM 实测对比:Qwen 模型、SGLang、Ollama、响应耗时、tokens/s 与实际部署建议。
LocateAnything-3B 实测:RTX 3090 vs Jetson AGX Thor
在 RTX 3090 工作站和 Jetson AGX Thor 边缘设备上对 NVIDIA LocateAnything-3B 视觉语言模型进行真实硬件测试,记录推理速度、显存占用和部署结论。
最新文章
查看全部文章 →Qwen3.8-27B 实测:RTX 3090 跑 Q4 拿 58 tok/s,Jetson Thor 跑 BF16 只有 4.1 tok/s
同一个 27B 模型,两台机器给出 14 倍的速度差。本文用 RTX 3090(Ollama Q4_K_M)和 Jetson AGX Thor(vLLM BF16)的实测数据,拆解这个差距里有多少来自量化、多少来自内存带宽,以及 Thor 在并发下扳回了什么。
2×Jetson Thor 跑 DeepSeek-V4-Flash-NVFP4:QSFP28 互联前置测试与真实阻塞点
尝试评估 nvidia/DeepSeek-V4-Flash-NVFP4 是否能在两台 Jetson Thor 上运行。本文记录 QSFP28 链路、SGLang/vLLM 容器、权重访问方式、磁盘空间和多节点启动前置条件,结论是当前环境尚未达到下载和启动 V4-Flash 的最低条件。
DeepSeek 最近开源的 V4-Flash-0731,Jetson Thor 能跑吗?284B MoE 的边缘部署边界
DeepSeek 最近开放权重的 DeepSeek-V4-Flash-0731 是 284B 参数、13B 激活、1M 上下文的 MoE 模型,MIT License。本文基于官方模型卡和 Thor 真机环境,分析它为什么不是 Jetson Thor 单机本地模型,并给出可测替代方案。
DeepSeek V4 Flash NVFP4 在 2×Jetson Thor 上的调试记录 1:SGLang 走到 DeepGEMM 前
记录 nvidia/DeepSeek-V4-Flash-NVFP4 在两台 Jetson Thor 上的第一轮真实调试:QSFP28、模型下载、SGLang nightly、KV cache 补丁、Docker runtime 修复,以及最终卡在 DeepGEMM HyperConnection 不支持 Thor sm110。
Qwen3.8-Max 能在 Jetson Thor 上跑吗?最新 2.4T 模型与边缘硬件实测边界
Qwen3.8-Max 是阿里 Qwen 系列最新旗舰,官方称 2.4T 参数,主打代码与复杂办公任务。本文基于公开资料和 Jetson Thor 真机环境,说明它为什么不是 Thor 本地推理模型,并给出可复现的 Qwen3-8B / Qwen3.6 Thor 测试路线。
Jetson T2000 vs T3000 vs Orin:2026 边缘 AI 硬件选型指南
NVIDIA Jetson T2000、T3000、AGX Thor 与 Orin 系列该怎么选?结合 TensorRT Edge-LLM、VLM、机器人和本地大模型部署需求,给出 2026 年边缘 AI 硬件选型建议。
MiniMax H3 在 Jetson AGX Thor 上的早期公开 Benchmark:FL2VA、Ref2VA 与 INT8 ConvRot 测试方案
基于 Thor-JD 真机建立 MiniMax H3 公开 benchmark:覆盖 FL2VA、Ref2VA、T2VA、INT8 ConvRot、生成耗时、输出有效性、显存/内存容量和复现实验脚本。
Jetson AGX Thor 官方 LLM 跑分可信吗?我在真实部署环境复测了一次
NVIDIA 官方已经公布 Jetson AGX Thor 上 Llama、Qwen、DeepSeek 与 Qwen2.5-VL 的 vLLM tokens/s 数据。本文在一台真实运行模型服务、检索服务和桌面环境的 Thor 测试机上复测 Qwen2.5-7B,解释官方 benchmark 与真实部署环境为什么会有差距。
Jetson AGX Thor + Orbbec 3D 相机:本地多模态机器人巡检系统开发实战
基于 NVIDIA Jetson AGX Thor、Orbbec Gemini 345Lg / RealSense D435i、点云、YOLO、VLM、RAG 和本地 LLM 的 3D 机器人巡检项目复盘。
应用场景
工业质检
使用热成像相机与 RGB 相机融合检测焊接缺陷、布料瑕疵与产品表面问题。
机器人感知
基于立体深度估计与点云的实时三维环境感知,支持移动机器人导航。
热成像融合
将热红外与可见光图像融合用于夜间目标检测与温度异常预警。
边缘 AI 部署
在 Jetson AGX Thor、Jetson Orin 等边缘设备上部署 TensorRT 优化的推理流水线。
实时点云可视化
使用 Three.js 与 WebGL 将深度传感器数据以三维点云形式实时呈现。
本地 GPU 推理
在消费级 GPU(RTX 3090 等)上以 Ollama 或 llama.cpp 运行大型语言模型。