开通会员

(11932期)Skill Evaluator – AI 技能质量把关专家

10.0 综合评分
13.1 kB 文件大小
2026-10-07 更新时间

AI 技能质量把关专家 Clawdbot 技能质量评估器,结合 ISO 25010、OpenSSF 等框架,通过自动化检测 + 25 项人工评分,为技能发布前提供可量化的质量把关。 使用说明 核心功能 skill-evaluator 是一款面向 Clawdbot 生态的专业技能审计工具,采用「自动化检测 + 人工评分」双轨模式,在技能发布前完成质量、可靠性与就绪度的全面评估。其评估框架融合 ISO 25010 软件质量标准、OpenSSF 安全最佳实践、Shneiderman 交互设计八法则以及面向 AI Agent 的新型启发式指标,形成 8 大类别、25 项具体准则的评分体系。 自动化检测层 通过 eval-skill.py 脚本执行 6 类结构性检查:文件结构合规性、YAML frontmatter 完整性、描述质量、脚本语法、依赖审计及凭据扫描。支持 JSON 输出便于 CI/CD 集成,verbose 模式供深度调试。 人工评估层 依据 references/rubric.md 对 25 项准则逐项 0-4 分评分,涵盖: 功能适合性:完整性、正确性、适当性 可靠性:容错性、错误报告、可恢复性 性能/上下文:Token 成本、执行效率 AI 可用性:可学习性、一致性、反馈、错误预防 人类可用性:可发现性、容错性 安全性:凭据管理、输入验证、数据安全 可维护性:模块化、可修改性、可测试性 Agent 专用:触发精准度、渐进披露、可组合性、幂等性、逃生舱 评分解读与行动指南 | 分数段 | 结论 | 行动 ||--------|------|------|| 90-100 | 优秀 | 放心发布 || 80-89 | 良好 | 可发布,记录已知问题 || 70-79 | 可接受 | 修复 P0 阻塞项后发布 || 60-69 | 需改进 | 修复 P0+P1 后发布 || <60 | 未就绪 | 需重大重构 | 显著优点 框架权威:直接引用 ISO 25010、OpenSSF 等工业标准,避免主观臆断 量化决策:100 分制评分 + 三级优先级(P0/P1/P2)让发布决策有据可依 双轨互补:自动化抓结构性问题,人工审设计质量,覆盖全面 生态整合:输出 EVAL.md 标准化报告,便于版本追踪与团队协作 局限与注意事项 安全深度有限:基础安全扫描(凭据、注入)仅覆盖常见风险,高危场景需配合 SkillLens 进行专项审计 评分主观性:人工评分依赖评估者经验,建议多人交叉评审或建立校准样本 维护成本:25 项准则需持续跟进框架更新(如 OpenSSF 版本迭代) Python 依赖:自动化脚本需 Python 3.6+ 及 PyYAML,对纯 Node.js 环境不够友好 适用人群 技能开发者:自检代码质量,提前发现阻塞性问题 平台审核员:建立标准化准入门槛,降低生态风险 技术管理者:量化团队交付质量,追踪改进趋势 开源贡献者:为第三方技能提交客观评估报告 常规风险 | 风险类型 | 说明 | 缓解措施 ||----------|------|----------|| 误报漏报 | 自动化扫描无法识别逻辑漏洞 | 强制人工代码走读 || 评分漂移 | 不同评估者标准不一致 | 建立评分校准机制 || 工具依赖 | eval-skill.py 本身存在 bug | 版本锁定 + 回归测试 || 安全盲区 | 高级威胁(如供应链投毒)未覆盖 | 结合 SkillLens 等专业工具 | 原始说明 Evaluate Clawdbot skills for quality, reliability, and publish-readiness using a multi-framework rubric (ISO 25010, OpenSSF, Shneiderman, agent-specific heuristics). Use when asked to review, audit, evaluate, score, or assess a skill before publishing, or when checking skill quality. Runs automated structural checks and guides manual assessment across 25 criteria.

开通会员
安全无毒 已通过安全检测,请放心下载 无毒 无插件 人工检测

AI 技能质量把关专家

Clawdbot 技能质量评估器,结合 ISO 25010、OpenSSF 等框架,通过自动化检测 + 25 项人工评分,为技能发布前提供可量化的质量把关。

使用说明

核心功能

skill-evaluator 是一款面向 Clawdbot 生态的专业技能审计工具,采用「自动化检测 + 人工评分」双轨模式,在技能发布前完成质量、可靠性与就绪度的全面评估。其评估框架融合 ISO 25010 软件质量标准、OpenSSF 安全最佳实践、Shneiderman 交互设计八法则以及面向 AI Agent 的新型启发式指标,形成 8 大类别、25 项具体准则的评分体系。

自动化检测层

通过 eval-skill.py 脚本执行 6 类结构性检查:文件结构合规性、YAML frontmatter 完整性、描述质量、脚本语法、依赖审计及凭据扫描。支持 JSON 输出便于 CI/CD 集成,verbose 模式供深度调试。

人工评估层

依据 references/rubric.md 对 25 项准则逐项 0-4 分评分,涵盖:

  • 功能适合性:完整性、正确性、适当性
  • 可靠性:容错性、错误报告、可恢复性
  • 性能/上下文:Token 成本、执行效率
  • AI 可用性:可学习性、一致性、反馈、错误预防
  • 人类可用性:可发现性、容错性
  • 安全性:凭据管理、输入验证、数据安全
  • 可维护性:模块化、可修改性、可测试性
  • Agent 专用:触发精准度、渐进披露、可组合性、幂等性、逃生舱

评分解读与行动指南

| 分数段 | 结论 | 行动 |
|——–|——|——|
| 90-100 | 优秀 | 放心发布 |
| 80-89 | 良好 | 可发布,记录已知问题 |
| 70-79 | 可接受 | 修复 P0 阻塞项后发布 |
| 60-69 | 需改进 | 修复 P0+P1 后发布 |
| <60 | 未就绪 | 需重大重构 |

显著优点

  1. 框架权威:直接引用 ISO 25010、OpenSSF 等工业标准,避免主观臆断
  2. 量化决策:100 分制评分 + 三级优先级(P0/P1/P2)让发布决策有据可依
  3. 双轨互补:自动化抓结构性问题,人工审设计质量,覆盖全面
  4. 生态整合:输出 EVAL.md 标准化报告,便于版本追踪与团队协作

局限与注意事项

  • 安全深度有限:基础安全扫描(凭据、注入)仅覆盖常见风险,高危场景需配合 SkillLens 进行专项审计
  • 评分主观性:人工评分依赖评估者经验,建议多人交叉评审或建立校准样本
  • 维护成本:25 项准则需持续跟进框架更新(如 OpenSSF 版本迭代)
  • Python 依赖:自动化脚本需 Python 3.6+ 及 PyYAML,对纯 Node.js 环境不够友好

适用人群

  • 技能开发者:自检代码质量,提前发现阻塞性问题
  • 平台审核员:建立标准化准入门槛,降低生态风险
  • 技术管理者:量化团队交付质量,追踪改进趋势
  • 开源贡献者:为第三方技能提交客观评估报告

常规风险

| 风险类型 | 说明 | 缓解措施 |
|———-|——|———-|
| 误报漏报 | 自动化扫描无法识别逻辑漏洞 | 强制人工代码走读 |
| 评分漂移 | 不同评估者标准不一致 | 建立评分校准机制 |
| 工具依赖 | eval-skill.py 本身存在 bug | 版本锁定 + 回归测试 |
| 安全盲区 | 高级威胁(如供应链投毒)未覆盖 | 结合 SkillLens 等专业工具 |

原始说明

Evaluate Clawdbot skills for quality, reliability, and publish-readiness using a multi-framework rubric (ISO 25010, OpenSSF, Shneiderman, agent-specific heuristics). Use when asked to review, audit, evaluate, score, or assess a skill before publishing, or when checking skill quality. Runs automated structural checks and guides manual assessment across 25 criteria.

免责声明

本站提供的资源转载自国内外各大媒体和网络,仅供试玩体验;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该游戏内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。

上一篇 (11933期)Beszel Check – 轻量家庭服务器监控 下一篇 (11931期)Skanetrafiken Trip Planner – 斯科讷实时公交·跨境哥本哈根

玩家评论

10 /10
0 人评分 · 0 条评论
写下我的评测

还没有玩家留言,来抢沙发吧~