上一篇
(5594期)todoist latest – 命令行极速管理 Todoist 任务
下一篇
(5592期)Daily Hot Push – 每日10条重要新闻,自动推送飞书
实测驱动的Skill持续优化系统 借鉴Karpathy autoresearch理念,对SKILL.md进行结构评分+效果验证的自主优化循环,通过git版本控制实现可回滚的持续改进。 使用说明 核心用法 darwin-skill 是一套受Karpathy autoresearch启发的自主skill优化系统,核心流程为「评估→改进→实测验证→人类确认→保留或回滚」。当用户触发"优化skill"、"skill评分"、"自动优化"等关键词时启动。 8维度评估体系(总分100) 结构维度60分:Frontmatter质量、工作流清晰度、边界条件覆盖、检查点设计、指令具体性、资源整合度 效果维度40分:整体架构、实测表现(关键差异点——用测试prompt跑真实输出对比baseline) 三阶段工作流 Phase 0.5:设计2-3个测试prompt,用户确认后进入评估 Phase 1:基线评估,生成评分卡,等用户确认 Phase 2:hill-climbing优化循环,每轮只改一个维度,用独立子agent重跑测试,总分严格提升才保留,否则git revert 关键设计 棘轮机制:只保留改进,自动回滚退步 评分独立性:效果维度必须用子agent或干跑验证,避免「自己改自己评」 人在回路:每个skill优化完展示git diff和分数变化,等用户确认再继续 探索性重写:连续瓶颈时可选全盘重构,突破局部最优 显著优点 实测驱动:不只看写得规不规范,更看改完后实际跑出来的效果是否更好 可解释性强:每轮改动单一维度,归因清晰,results.tsv完整记录历史 风险可控:git分支隔离,revert而非reset,用户随时可介入回滚 与花叔生态对齐:尊重中文为主、简洁为上的风格 潜在缺点 资源消耗大:每个skill需跑2-3次子agent测试,全量优化成本较高 测试prompt质量依赖人:设计不佳会导致优化方向偏差 效果评分主观性:即使子agent评分,「输出质量」判断仍有主观成分 收敛速度不确定:局部最优时需要探索性重写,增加不确定性 适合人群 拥有5个以上skills、需要系统化管理质量的中高级用户 愿意投入时间理解评估逻辑、参与人在回路确认的技术型用户 追求"可测量改进"而非"感觉变好"的数据驱动型用户 常规风险 过度优化:可能为追求分数提升而牺牲skill简洁性(有文件大小150%约束缓解) 测试泛化不足:测试prompt覆盖不全时,优化后的skill在真实场景中可能退化 子agent失败降级:资源不足时退化为干跑验证,评分可靠性下降 git操作依赖:环境若无git或分支冲突,可能中断流程 原始说明 Autonomous skill optimizer inspired by Karpathy's autoresearch. Evaluates SKILL.md files using an 8-dimension rubric (structure + effectiveness), runs hill-c...
实测驱动的Skill持续优化系统
借鉴Karpathy autoresearch理念,对SKILL.md进行结构评分+效果验证的自主优化循环,通过git版本控制实现可回滚的持续改进。
darwin-skill 是一套受Karpathy autoresearch启发的自主skill优化系统,核心流程为「评估→改进→实测验证→人类确认→保留或回滚」。当用户触发"优化skill"、"skill评分"、"自动优化"等关键词时启动。
Autonomous skill optimizer inspired by Karpathy's autoresearch. Evaluates SKILL.md files using an 8-dimension rubric (structure + effectiveness), runs hill-c…
本站提供的资源转载自国内外各大媒体和网络,仅供试玩体验;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该游戏内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。
上一篇
(5594期)todoist latest – 命令行极速管理 Todoist 任务
下一篇
(5592期)Daily Hot Push – 每日10条重要新闻,自动推送飞书
还没有玩家留言,来抢沙发吧~
登录后即可发表你的资源评测、评分,与其他玩家交流