能做什么
这是用 lm-eval-harness 给大模型跑学术基准的评测技能。它支持 MMLU、GSM8K、代码生成等六十多个标准任务,同题同评分口径,结果可复现、可横向比较。装好工具、选好任务清单和模型后一条命令全部跑完,得分和样本落成本地文件;训练途中可定期跑小任务盯进度,也能一次评测多个模型出对比表。
适用平台
纯文本技能,无自带脚本;需安装 lm-eval 包,本地评测需 GPU,接口评测需自备 OpenAI 或 Anthropic 密钥。
来源与安全
本条目来自 Hermes Agent 官方可选技能库,随原文档一并上架。2026-11-12 安全审查:从 HuggingFace 下载模型与数据集,并可将评测请求发往 OpenAI、Anthropic 等官方接口,判定留意(正当)。(本站审查为技能上架时审查,非持续性监控,来源非本站可控,调用技能请自行甄别)
广告

