（14441期）Ad Test Designer – 科学严谨的广告实验设计平台

科学严谨的广告实验设计平台 来自 Aaron Zhu 营销技能套件的专业AB测试工具，基于统计学原理设计广告创意/落地页实验，提供样本量计算、显著性判定与决策框架，确保营销决策的科学性与可复现性。 使用说明 核心用法 Ad Test Designer 是一款专注于付费广告 A/B/n 测试与增效测试设计的专业工具。其核心功能涵盖两大模式：测试设计模式用于规划新实验，包括构建可证伪假设、设计变量隔离的变体矩阵、确定主/次指标与护栏指标，以及基于统计功效进行样本量与测试周期规划；结果解读模式用于分析已完成实验，读取效应量、置信区间、统计显著性标志、实际业务显著性标志及护栏状态。 使用时只需提供测试目标（如"设计两个落地页 hero 变体的 A/B 测试"）、基准转化率、期望检测的最小提升幅度（MDE），或上传测试结果 CSV 文件。工具支持直接响应（direct-response）、潜客开发（prospecting）、增量利润（incremental-profit）三种 ROAS 画像，并自动应用双比例 z 检验、Mann-Whitney U 检验或 Bootstrap 置信区间等统计方法。 显著优点 统计严谨性：严格区分统计显著性（statistical flag）与实际业务显著性（practical-effect flag），避免 p-hacking 和事后假设修改；内置多重比较校正与序贯检验控制。 决策安全边界：明确区分"统计助手输出"与"业务决策"，要求必须存在预设的决策Owner和预提交的行动规则才能给出推荐，否则返回 decision: UNDECIDED，防止自动化决策风险。 变量隔离设计：强制要求每个变体只改变一个变量（标题、钩子、主图、CTA、落地页），确保胜者可归因，符合科学实验的黄金标准。 数据来源中立：支持纯手动数据输入，不依赖特定广告平台 API，用户可导出任意平台（Google Ads、Meta 等）的自有数据进行分析，降低 vendor lock-in。 完整文档链路：与 ad-creative-builder（生成变体）和 paid-measurement-loop（追踪已上线改动）形成技能闭环，支持测试全生命周期管理。 潜在缺点与局限性 不生成创意变体：明确声明不负责制作广告素材，需配合 ad-creative-builder 使用，增加了多技能协作的认知负担。 依赖用户输入质量：样本量计算需要用户提供准确的基准转化率、流量数据和 MDE 假设，若输入偏差会导致设计失效。 统计方法局限：主要为频率学派方法（z 检验、功效分析），未明确支持贝叶斯实验设计或 Thompson 采样等现代在线学习算法。 地理相关性低：元数据显示 geo-relevance: low，可能未针对不同市场的季节性、文化差异做特殊适配。 护栏规则前置要求：护栏指标的停止规则必须在测试前声明，事后发现的异常无法强制止损，需人工介入。 适合的目标群体 增长营销经理：需要系统化验证广告创意、落地页改动的实际效果 数据驱动的产品营销人员：希望用统计学语言与数据科学团队对话 中小广告代理商：缺乏专职数据科学家，需要标准化测试框架服务多个客户 电商运营团队：频繁进行促销页面、结账流程的 A/B 测试优化 内部营销效能团队：需要建立可复用的实验文化与知识库 常规使用风险 性能风险：样本量计算可能需要调用外部 Python 脚本（experiment.py），若未正确配置 CLAUDEPLUGINROOT 环境变量会导致计算失败。 数据依赖项：结果解读完全依赖用户手动导出的 CSV 数据质量，若导出时存在归因窗口不一致、重复计数或格式错误，会导致误判。 版本漂移风险：技能版本为 19.0.0，但营销平台 API（Google Ads、Meta）频繁变更，手动导出流程可能因平台 UI 更新而失效。 决策延迟风险：严格的 Owner + 预提交规则可能导致测试完成后无法立即行动，需等待审批，在追求速度的场景中可能造成机会成本。 记忆持久化风险：结果保存需用户主动确认，若忘记保存则无法形成测试知识库，历史设计难以追溯复用。 原始说明 Use when the user asks to "design an A/B test", "set up a creative/landing test", "run an incrementality test", or "is this result statistically and practica...