（3696期）Eval Skills – AI技能单元测试与质量门禁平台

AI技能单元测试与质量门禁平台 AI技能单元测试框架，填补LangSmith/DeepEval在L1技能级评测的空白，支持技能发现、评估、选择与CI/CD质量门禁。 使用说明 核心用法 eval-skills 是一个框架无关的 AI Agent 技能单元测试工具包，专注于 L1 级别（单个技能） 的质量保障。与 LangSmith、DeepEval 等侧重代理级/轨迹级评估（L2-L3）的平台不同，本工具针对单个技能进行基准测试，确保每个构建块在进入代理流水线前即达标。 主要能力模块 Find - 按关键词、标签、适配器类型搜索技能 Create - 从模板生成技能脚手架（HTTP请求/Python脚本/MCP工具） Eval - 核心命令，支持并行执行、多轮运行、多格式报告 Select - 基于多维度策略（完成率、错误率、延迟、成本）筛选排序技能 Run - 一键化执行「发现→评估→选择→报告」完整流水线 Report - 格式转换与回归对比（report diff 检测版本退化） Init/Config - 项目初始化与配置管理 显著优点 填补市场空白：唯一专注 L1 技能级评测的开源框架 工程化完备：内置 CI/CD 质量门禁（--exit-on-fail）、SQLite 持久化存储、多格式报告（JSON/Markdown/HTML） 灵活的评估机制：支持 5 种评分器（精确匹配/包含/JSON Schema/LLM裁判/自定义），可配置并发、超时、重试策略 多维技能选型：通过策略 YAML 实现业务导向的技能筛选，非单纯技术指标排序 框架无关：通过 Adapter 层支持 HTTP、子进程、MCP 等多种协议 潜在局限 生态成熟度：内置基准集有限（仅 4 个），重度依赖用户自定义 benchmark MCP 支持滞后：标注为 Phase 2 功能，当前版本可能未完全实现 学习曲线：策略配置、自定义评分器等高级功能需深入文档 LLM 裁判成本：依赖外部 LLM 的评估方式可能带来不可忽略的 token 消耗 适合人群 AI Agent 平台团队：需标准化技能准入流程 MLOps/LLMOps 工程师：构建 CI/CD 中的技能质量门禁 技能开发者：需在发布前自测、对比多版本性能 技术选型决策者：需在多个候选技能间做数据驱动的选择 常规风险 评估即生产：HTTP 适配器默认调用真实端点，误操作可能导致生产环境负载或费用 基准代表性：自定义 benchmark 设计不当会导致评估结果与实际场景脱节 数据持久化：SQLite 存储默认本地路径，多机协作场景需额外配置同步机制 超时配置：默认 30s 超时对某些复杂 LLM 调用可能不足，需根据实际调整 原始说明 AI Agent Skill unit testing framework. A framework-agnostic toolkit for discovering, scaffolding, selecting, evaluating, and reporting on AI skills. Use this...