（503期）senior-prompt-engineer – 专业级提示词工程与评估工具箱

专业级提示词工程与评估工具箱 一套专业的Prompt Engineering工具集，提供提示词优化、RAG评估和Agent编排功能，帮助开发者提升LLM应用质量与效率。 使用说明 核心用法 Senior Prompt Engineer 是一套面向AI应用开发者的专业工具集，包含三大核心组件： Prompt Optimizer（提示词优化器）：分析提示词的Token效率、清晰度和结构问题，生成优化版本并估算成本。支持提取Few-shot示例、验证输出格式，帮助开发者从"能用"到"好用"。 RAG Evaluator（RAG评估器）：系统性评估检索增强生成系统的质量，测量上下文相关性、答案忠实度、检索精确率等关键指标，输出可操作的改进建议。 Agent Orchestrator（Agent编排器）：解析Agent配置文件，验证工具注册状态，生成ASCII或Mermaid格式的工作流可视化图，并估算Token消耗成本。 显著优点 零依赖设计：仅使用Python标准库，无第三方包引入风险，部署极其轻量 专业方法论：内置Prompt Engineering最佳实践，涵盖Few-shot设计、结构化输出、Chain-of-Thought等成熟模式 量化评估能力：提供Token计数、成本估算、清晰度评分等可度量指标，告别"感觉优化" 可视化支持：Agent工作流可导出为Mermaid图表，便于文档沉淀和团队沟通 工作流完整：从基线分析→问题识别→模式应用→效果对比，形成闭环优化流程 潜在缺点与局限性 静态分析为主：工具仅做本地文本分析，无法直接调用LLM进行A/B测试验证 无实时反馈：优化建议基于规则启发，实际效果仍需用户自行验证 评估数据依赖：RAG评估需要用户自行准备标注好的测试集，上手有一定门槛 功能边界清晰：专注于Prompt层优化，不涉及模型微调、向量数据库选型等底层决策 适合的目标群体 AI应用开发者：正在构建基于LLM的产品功能，需要系统性地提升提示词质量 Prompt Engineer：专职从事提示词设计与优化，需要标准化工具支撑工作流 RAG系统建设者：需要量化评估检索和生成环节的表现，定位优化方向 Agent框架开发者：设计多工具协作的Agent系统，需要验证配置合理性 技术团队Lead：希望建立团队内部的Prompt Engineering规范和质量门禁 使用风险 性能风险：处理超大提示词文件（如数万Token）时可能占用较多内存，建议分批处理 路径安全：工具读取用户指定的文件路径，需确保输入路径可信，避免意外访问敏感文件 评估偏差：RAG评估指标基于算法计算，与人工判断可能存在差异，建议作为参考而非唯一标准 版本兼容：配置文件格式（YAML/JSON）需符合工具预期，升级时注意Schema变更 原始说明 This skill should be used when the user asks to "optimize prompts", "design prompt templates", "evaluate LLM outputs", "build agentic systems", "implement RAG", "create few-shot examples", "analyze token usage", or "design AI workflows". Use for prompt engineering patterns, LLM evaluation frameworks, agent architectures, and structured output design.