Huggingface
NVIDIA NeMo Evaluator introduces agent skills that allow developers to configure and run complex LLM evaluations through natural language conversations instead of manual YAML editing.
AI 生成摘要
NVIDIA NeMo 評估器推出了代理技能，讓開發者能透過自然語言對話來配置並執行複雜的大型語言模型評估，無需再手動編寫繁瑣的 YAML 檔案。
基於 NVIDIA NeMo Evaluator 函式庫構建，它允許開發者直接在 Cursor 或任何其他偏好的代理式（agentic）開發工具中配置、執行和監控評估。這一切都透過與代理（agent）互動完成，無需手動建立 YAML 檔案或執行 shell 命令。
執行單次 LLM 評估意味著需要做出數十個相互關聯的決策：
每個選擇都會衍生出子選擇。使用 vLLM？配置張量並行（tensor parallelism）。執行推理模型？解析思考標記（thinking tokens）。多節點 SLURM？設置 HAProxy 負載平衡。其結果是處理複雜 YAML 配置的額外負擔，這些配置容易出錯且難以調試。
這種配置負擔將簡單的評估變成了不必要的複雜程序。
Agent skills（代理技能）已成為賦予代理深厚領域專業知識的標準方式。一個「技能」將指令、腳本和資源封裝到可移植的資料夾中，任何相容的代理都可以發現並使用。
在程式碼助手領域，生態系統已經爆炸式增長，涵蓋了從 Git 工作流到 API 整合的所有內容。nel-assistant 是一種代理技能，可將 Cursor、Claude Code、Codex 和其他代理式開發工具轉變為評估專家。你不再需要手動編寫 YAML，而是進行對話。該技能會研究模型卡（model cards）以尋找最佳溫度、top_p 值和上下文長度，並針對你的特定 GPU 設置識別最佳張量並行度。
一次對話。零手動 YAML 調試。生產級配置。
該技能首先提出五個針對性問題以建立上下文：
根據這些回答，它會調用：
這會將模組化 YAML 模板深度合併為經過測試、符合架構的片段，這些片段組合成結構有效的配置，並最大限度地減少語法錯誤。有了該技能，代理永遠不會生成自由格式的 YAML，從而消除了語法錯誤。
接下來，代理會自動分析模型卡並應用最佳配置參數。
為代理提供 HuggingFace 句柄 NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 或檢查點路徑，它會使用網路搜尋來提取：
開發者不再需要搜尋模型卡來尋找正確的設置。代理會讀取模型詳情並自動應用正確的參數。
如果沒有這項技能，這通常意味著要在 Hugging Face、部落格文章和文件之間來回切換。這很耗時且會打斷專注力。有了這項技能，設置在幾秒鐘內即可完成。
該技能會識別 YAML 中剩餘的 ??? 值：
你可以進行互動式操作：
代理建議採用三層階段式部署：空跑（Dry run）、冒煙測試（Smoke test）和完整執行（Full run）。
提交後，可以直接在 Cursor 中使用狀態、詳細指標和即時日誌命令來監控進度。你永遠不必離開你的開發環境！
nel-assistant 不是從頭開始生成 YAML，而是合併用於執行、部署、基準測試和導出的模組化模板。這種深度合併確保了結構的有效性。
通用的 LLM 會幻覺出 YAML 語法。它們會混淆不相容的後端，發明不存在的標誌。
nel 技能的 build-config 不是從頭開始生成 YAML，而是合併模組化模板：
深度合併 = 結構有效性。當你組合預先驗證的片段時，不可能產生無效的 YAML。
nel-assistant 使用 build-config 來合併經過測試的模板。每個配置在構造上都是結構有效的。代理像類型安全的編譯器一樣組合 YAML，而不是像文本生成器。
LLM 評估已經涉及重要的決策——選擇基準測試、解釋結果和比較模型。配置應該支持該過程，而不是減慢它的速度。
nel-assistant 技能使其變得隱形。你用自然語言描述你的需求，代理處理其餘部分：研究模型卡、生成配置、驗證設置、分階段部署和監控進度。
不再有 200 行的 YAML 檔案。不再需要翻閱文件。不再有語法錯誤。
只需：「在這些基準測試上評估這個模型。」
nel-assistant 技能是開源的，並隨 NVIDIA NeMo Evaluator 26.01+ 一起發布。歡迎在 GitHub 上貢獻！
· 註冊或登入以發表評論