上一篇
(11933期)Beszel Check – 轻量家庭服务器监控
下一篇
(11931期)Skanetrafiken Trip Planner – 斯科讷实时公交·跨境哥本哈根
AI 技能质量把关专家 Clawdbot 技能质量评估器,结合 ISO 25010、OpenSSF 等框架,通过自动化检测 + 25 项人工评分,为技能发布前提供可量化的质量把关。 使用说明 核心功能 skill-evaluator 是一款面向 Clawdbot 生态的专业技能审计工具,采用「自动化检测 + 人工评分」双轨模式,在技能发布前完成质量、可靠性与就绪度的全面评估。其评估框架融合 ISO 25010 软件质量标准、OpenSSF 安全最佳实践、Shneiderman 交互设计八法则以及面向 AI Agent 的新型启发式指标,形成 8 大类别、25 项具体准则的评分体系。 自动化检测层 通过 eval-skill.py 脚本执行 6 类结构性检查:文件结构合规性、YAML frontmatter 完整性、描述质量、脚本语法、依赖审计及凭据扫描。支持 JSON 输出便于 CI/CD 集成,verbose 模式供深度调试。 人工评估层 依据 references/rubric.md 对 25 项准则逐项 0-4 分评分,涵盖: 功能适合性:完整性、正确性、适当性 可靠性:容错性、错误报告、可恢复性 性能/上下文:Token 成本、执行效率 AI 可用性:可学习性、一致性、反馈、错误预防 人类可用性:可发现性、容错性 安全性:凭据管理、输入验证、数据安全 可维护性:模块化、可修改性、可测试性 Agent 专用:触发精准度、渐进披露、可组合性、幂等性、逃生舱 评分解读与行动指南 | 分数段 | 结论 | 行动 ||--------|------|------|| 90-100 | 优秀 | 放心发布 || 80-89 | 良好 | 可发布,记录已知问题 || 70-79 | 可接受 | 修复 P0 阻塞项后发布 || 60-69 | 需改进 | 修复 P0+P1 后发布 || <60 | 未就绪 | 需重大重构 | 显著优点 框架权威:直接引用 ISO 25010、OpenSSF 等工业标准,避免主观臆断 量化决策:100 分制评分 + 三级优先级(P0/P1/P2)让发布决策有据可依 双轨互补:自动化抓结构性问题,人工审设计质量,覆盖全面 生态整合:输出 EVAL.md 标准化报告,便于版本追踪与团队协作 局限与注意事项 安全深度有限:基础安全扫描(凭据、注入)仅覆盖常见风险,高危场景需配合 SkillLens 进行专项审计 评分主观性:人工评分依赖评估者经验,建议多人交叉评审或建立校准样本 维护成本:25 项准则需持续跟进框架更新(如 OpenSSF 版本迭代) Python 依赖:自动化脚本需 Python 3.6+ 及 PyYAML,对纯 Node.js 环境不够友好 适用人群 技能开发者:自检代码质量,提前发现阻塞性问题 平台审核员:建立标准化准入门槛,降低生态风险 技术管理者:量化团队交付质量,追踪改进趋势 开源贡献者:为第三方技能提交客观评估报告 常规风险 | 风险类型 | 说明 | 缓解措施 ||----------|------|----------|| 误报漏报 | 自动化扫描无法识别逻辑漏洞 | 强制人工代码走读 || 评分漂移 | 不同评估者标准不一致 | 建立评分校准机制 || 工具依赖 | eval-skill.py 本身存在 bug | 版本锁定 + 回归测试 || 安全盲区 | 高级威胁(如供应链投毒)未覆盖 | 结合 SkillLens 等专业工具 | 原始说明 Evaluate Clawdbot skills for quality, reliability, and publish-readiness using a multi-framework rubric (ISO 25010, OpenSSF, Shneiderman, agent-specific heuristics). Use when asked to review, audit, evaluate, score, or assess a skill before publishing, or when checking skill quality. Runs automated structural checks and guides manual assessment across 25 criteria.
AI 技能质量把关专家
Clawdbot 技能质量评估器,结合 ISO 25010、OpenSSF 等框架,通过自动化检测 + 25 项人工评分,为技能发布前提供可量化的质量把关。
skill-evaluator 是一款面向 Clawdbot 生态的专业技能审计工具,采用「自动化检测 + 人工评分」双轨模式,在技能发布前完成质量、可靠性与就绪度的全面评估。其评估框架融合 ISO 25010 软件质量标准、OpenSSF 安全最佳实践、Shneiderman 交互设计八法则以及面向 AI Agent 的新型启发式指标,形成 8 大类别、25 项具体准则的评分体系。
通过 eval-skill.py 脚本执行 6 类结构性检查:文件结构合规性、YAML frontmatter 完整性、描述质量、脚本语法、依赖审计及凭据扫描。支持 JSON 输出便于 CI/CD 集成,verbose 模式供深度调试。
依据 references/rubric.md 对 25 项准则逐项 0-4 分评分,涵盖:
| 分数段 | 结论 | 行动 |
|——–|——|——|
| 90-100 | 优秀 | 放心发布 |
| 80-89 | 良好 | 可发布,记录已知问题 |
| 70-79 | 可接受 | 修复 P0 阻塞项后发布 |
| 60-69 | 需改进 | 修复 P0+P1 后发布 |
| <60 | 未就绪 | 需重大重构 |
EVAL.md 标准化报告,便于版本追踪与团队协作| 风险类型 | 说明 | 缓解措施 |
|———-|——|———-|
| 误报漏报 | 自动化扫描无法识别逻辑漏洞 | 强制人工代码走读 |
| 评分漂移 | 不同评估者标准不一致 | 建立评分校准机制 |
| 工具依赖 | eval-skill.py 本身存在 bug | 版本锁定 + 回归测试 |
| 安全盲区 | 高级威胁(如供应链投毒)未覆盖 | 结合 SkillLens 等专业工具 |
Evaluate Clawdbot skills for quality, reliability, and publish-readiness using a multi-framework rubric (ISO 25010, OpenSSF, Shneiderman, agent-specific heuristics). Use when asked to review, audit, evaluate, score, or assess a skill before publishing, or when checking skill quality. Runs automated structural checks and guides manual assessment across 25 criteria.
本站提供的资源转载自国内外各大媒体和网络,仅供试玩体验;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该游戏内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。
上一篇
(11933期)Beszel Check – 轻量家庭服务器监控
下一篇
(11931期)Skanetrafiken Trip Planner – 斯科讷实时公交·跨境哥本哈根
还没有玩家留言,来抢沙发吧~
登录后即可发表你的资源评测、评分,与其他玩家交流