Jetson Device Skills 正式上线：AGX Orin 64GB 安装与真机测试

NVIDIA 本月悄悄上线了一件重要的东西：jetson-device-skills——一个开源的 Agent Skill 目录，能将 Claude Code、Codex、Cursor 直接接入 Jetson 设备级工作流。这是 JetPack 7.2 整体发布的一部分，同期还带来了 NemoClaw 在 Jetson 上的落地。但这个 skills repo 也可以在 JetPack 6.x 硬件上干净安装。

本文介绍这些 skills 的实际内容、安装方式，以及在 Jetson AGX Orin 64GB（JetPack 6.4）上的真机基准测试结果。

什么是 Jetson Device Skills？

Agent skills 是结构化的 SKILL.md 文件加上辅助脚本，编码智能体（Claude Code、Cursor、Codex 或 NemoClaw/OpenClaw）可以自动发现并调用。Jetson Device Skills 仓库提供九个设备端 skill：

Skill	功能
`jetson-diagnostic`	只读健康快照：设备标识、内存、GPU、温度、功耗、存储、服务状态
`jetson-memory-audit`	DRAM/NvMap 用量测量，含回收前后验证
`jetson-headless-mode`	禁用桌面和后台守护进程，释放内存
`jetson-inference-mem-tune`	选择推理运行时（vLLM / SGLang / llama.cpp / TRT-ELLM）及内存参数
`jetson-llm-serve`	适配 Jetson 的 vLLM 和 SGLang 容器部署方案
`jetson-llm-benchmark`	针对 vLLM、llama.cpp 和 Ollama 输出结构化 JSON 基准数据
`jetson-package`	GHCR + Jetson AI Lab PyPI 索引与通用 ARM wheel 的选型指导
`jetson-speculative-decoding`	vLLM 上 EAGLE-3 及草稿模型投机解码指导
`jetson-print-device-info`	精简基线快照（模组型号、L4T 版本、内核、功耗模式）

仓库中还包含 jetson-perf-investigator 子智能体，将 diagnostic → memory-audit → inference-mem-tune 串联为一套完整诊断工作流。

配套仓库 jetson-bsp-skills 负责设备烧录前的 BSP 定制和载板调试，与本仓库（运行时设备）各司其职。

背景：JetPack 7.2 与 NemoClaw

JetPack 7.2 是 NVIDIA 面向边缘 Agentic AI 的生产级发布，三件事同期落地：

NemoClaw — NVIDIA 的 Agentic AI 框架，通过单条 bash 脚本部署，借助 OpenShell 在 Docker 内运行并实现策略级安全管控。
Jetson Device Skills — 赋予 NemoClaw 及其他编码智能体 Jetson 设备原生知识的 skill 层。
硬件增强 — Jetson Thor 支持 MIG、AGX Orin 32GB 开启 Super Mode（+20% TOPS）、官方支持 Yocto Project。

本文测试设备运行的是 JetPack 6.4（R36.4.4），尚未升级到 7.2。skills repo 在 6.x 上安装和运行均正常——该设备已提前单独部署了 NemoClaw。

测试环境

规格	数值
设备	NVIDIA Jetson AGX Orin 开发者套件
统一内存	62.8 GB（64 GB SKU）
JetPack	R36.4.4（JetPack 6.4）
CUDA	12.6
TensorRT	10.3.0
操作系统	Ubuntu 22.04.5 LTS
Docker	29.5.2
NvPModel	MAXN（最大性能）
存储	937 GB NVMe（已用 9%）
Claude Code	2.1.196

测试时设备已运行 NemoClaw/OpenShell（已在线 6 天），以及用于向量检索的 Qdrant 和 Meilisearch，Ollama 0.30.10 已拉取 qwen2.5:7b 和 nomic-embed-text。

安装步骤

第一步 — 安装 Claude Code（如未安装）

JetPack 6.x 不预装 Claude Code，但可通过 nvm 使用 Node.js：

source ~/.nvm/nvm.sh
npm install -g @anthropic-ai/claude-code
claude --version
# 2.1.196 (Claude Code)

第二步 — 克隆并安装 skills

git clone --depth 1 https://github.com/NVIDIA-AI-IOT/jetson-device-skills.git ~/jetson-device-skills
cd ~/jetson-device-skills
./install.sh --targets claude

安装程序在 ~/.claude/skills/（每个 skill 一个符号链接）和 ~/.claude/agents/（perf-investigator 子智能体）中创建链接：

Mode: symlink
Targets: claude
Source: /home/nvidia/jetson-device-skills

[claude] Skills → /home/nvidia/.claude/skills
  ✓ jetson-diagnostic
  ✓ jetson-headless-mode
  ✓ jetson-inference-mem-tune
  ✓ jetson-llm-benchmark
  ✓ jetson-llm-serve
  ✓ jetson-memory-audit
  ✓ jetson-package
  ✓ jetson-print-device-info
  ✓ jetson-speculative-decoding
  ✓ claude verified (9 skills visible)

[claude] Agents → /home/nvidia/.claude/agents
  ✓ jetson-perf-investigator.md

Done.

如需安装到 NemoClaw/OpenClaw：

./install.sh --targets nemoclaw --nemoclaw-sandbox jetson-skills

实测：jetson-diagnostic

jetson-diagnostic skill 运行 scripts/snapshot.sh，调用 tegrastats、nvpmodel、free、df 和 /sys/kernel/debug/nvmap，输出统一 JSON。本设备以普通用户运行，nvmap 字段需要 sudo，故 gpu_source 为 "none"：

{
  "sku": "orin-agx",
  "generation": "orin",
  "variant": "orin-agx-64gb",
  "mem_total_gb": 61,
  "l4t_version": "36.4.4",
  "product_model": "nvidia jetson agx orin developer kit",
  "memory_kb": {
    "total": 64348488,
    "available": 46242404,
    "free": 8227216,
    "cached": 36332936,
    "swap_total": 32174208
  },
  "thermal_c": {
    "cpu-thermal": 61.3,
    "gpu-thermal": 55.8,
    "soc1-thermal": 59.0
  },
  "power": {
    "nvpmodel_id": 0,
    "nvpmodel_name": "MAXN"
  },
  "top_processes": [
    { "pid": 4082, "pss_kb": 985988, "cmd": "gnome-software" },
    { "pid": 3194602, "pss_kb": 761363, "cmd": "python" },
    { "pid": 1870, "pss_kb": 726851, "cmd": "python" }
  ],
  "gpu_source": "none"
}

gpu_source: "none" 在 Orin 上是正常现象——nvgpu 驱动通过 /sys/kernel/debug/nvmap/iovmm/clients 暴露 GPU 内存，需要 root 权限。Jetson Thor 使用统一的 nvidia.ko 驱动，nvidia-smi 完整可用，gpu_source 将为 "nvidia-smi:compute-apps"。

内存快速摘要命令：

bash ~/jetson-device-skills/skills/jetson-diagnostic/scripts/mem_summary.sh
# RAM  used 16.9 / 61.4 GiB (27.5%)  |  GPU  (needs sudo)  |  swap  0.0 / 30.7 GiB

实测：jetson-llm-benchmark（Ollama）

jetson-llm-benchmark skill 将 vllm bench serve、llama-bench 和 Ollama REST API 封装为统一的结构化 JSON 测试框架。设备已运行 Ollama + qwen2.5:7b，直接测试：

bash ~/jetson-device-skills/skills/jetson-llm-benchmark/scripts/bench_ollama.sh \
  --model qwen2.5:7b \
  --num-prompts 5 \
  --input-len 128 \
  --output-len 256

输出：

{
  "skill": "jetson-llm-benchmark",
  "runtime": "ollama",
  "model": "qwen2.5:7b",
  "sku": "orin-agx",
  "variant": "orin-agx-64gb",
  "l4t": "36.4.4",
  "container": "native/ollama",
  "config": {
    "input_len": 128,
    "output_len": 256,
    "num_prompts": 5,
    "concurrency": 1
  },
  "metrics": {
    "ttft_ms_p50": 42.37,
    "ttft_ms_p99": 42.94,
    "itl_ms_p50": 41.04,
    "itl_ms_p99": 41.28,
    "tpot_ms_p50": 41.04,
    "throughput_tok_s": 24.4,
    "e2e_latency_ms_p50": 3001.13
  },
  "warnings": []
}

基准数据汇总

指标	数值
模型	Qwen2.5 7B（Ollama native，4-bit）
TTFT p50	42.37 ms
TTFT p99	42.94 ms
逐 token 延迟 p50	41.04 ms
吞吐量	24.4 tok/s
端到端延迟 p50	3,001 ms（128 输入 / 256 输出）

TTFT 表现出色——p99 也在 43 ms 以内。24.4 tok/s 已进入流畅交互区间。端到端延迟反映的是 256 token 输出的总耗时，更短的回复将按比例加快。

需要注意的是，测试时设备处于轻负载状态，gnome-software 占用约 986 MB PSS，两个 Python 进程各占约 700–900 MB。在无头生产环境下（使用 jetson-headless-mode 关闭 gdm3 和辅助守护进程），内存压力和热负荷均会降低，吞吐量有进一步提升空间。

JetPack 7.2 带来了哪些变化

特性	JetPack 6.x	JetPack 7.2
NemoClaw	手动 Docker 部署	单命令 `install.sh`
Jetson Device Skills	从 GitHub 安装	随系统内置，自动发现
AGX Orin 32GB TOPS	200	241（Super Mode，+20%）
Jetson Thor MIG	不支持	支持
Yocto Project	社区维护	官方支持
GPU 内存查询	`nvmap`（nvgpu，需 root）	`nvidia-smi` 完整可用（仅 Thor）

skills 本身与 JetPack 版本无关——九个 skill 在 6.x 和 7.x 上均可使用，因为它们会主动探测运行时环境，而非假设特定软件栈。

实践建议

选择哪个智能体运行时： 对于复杂的多步骤 Jetson 工作流（诊断 → 调优 → 基准测试），Claude Code 是能力最强的选项。NemoClaw/OpenClaw 更适合无法使用云端模型 API Key 的离网部署场景。

gpu_source: "none" 问题： 在 Orin 系列设备上，若需要逐进程 GPU 内存统计，请始终以 sudo 运行基准和诊断脚本。否则 nvmap.top_clients 为空，jetson-inference-mem-tune 无法准确估算可用 GPU 余量。

基准测试前开启无头模式： jetson-headless-mode skill 可禁用 gdm3 和多个后台守护进程。本设备中 GNOME Shell 单独占用约 241 MB PSS，gnome-software 约 986 MB。基准测试前关闭这些进程，可获得更干净的数据和更多模型可用内存。

结论

Jetson Device Skills 是一个实用的接口层，弥合了通用编码智能体与 Jetson 硬件专属操作之间的鸿沟。安装只需三条命令，诊断 JSON 可直接用于自动化流水线，基准测试框架输出结构化数据，无需解析屏幕输出即可跨次对比。AGX Orin 64GB 通过 Ollama 运行 Qwen2.5 7B，实测 24.4 tok/s、42 ms TTFT——这是一台 60W 边缘设备能交出的扎实成绩单。

测试于 2026-06-30，Jetson AGX Orin 64GB · JetPack R36.4.4 · CUDA 12.6 · Ollama 0.30.10 · Claude Code 2.1.196 · jetson-device-skills v0.0.x。