（2265期）WrynAI Skill – 智能多页爬取与结构化提取

智能多页爬取与结构化提取 WrynAI 提供企业级多页面爬取与结构化数据提取能力，支持 JavaScript 渲染站点与智能反爬策略，适合竞品调研与知识库构建。 使用说明 核心用法 WrynAI Web Crawling Skill 基于官方 Python SDK 构建，提供六大使用模式：基础网站爬取、文档定向爬取、搜索+爬取流水线、单页内容提取、带重试机制的健壮爬取、以及 JavaScript 密集型 SPA 站点爬取。API 采用硬限制设计（单次最多 10 页、深度 3 层），支持两种渲染引擎（SIMPLE 静态 / STEALTH_MODE 浏览器），并内置智能列表提取、截图捕获等高级功能。 显著优点 多模态内容提取：原生支持 text/markdown/structured/links/title 五种输出格式，结构化数据包含层级标题、内外链标记等元信息 企业级健壮性：内置 RateLimitError、TimeoutError、ServerError 等细粒度异常体系，提供指数退避重试策略与自动资源清理 JavaScript 友好：STEALTH_MODE 引擎可渲染 React/Vue/Angular 应用，解决现代 SPA 的内容不可见问题 精准 URL 过滤：includepatterns / excludepatterns 支持正则风格路径匹配，适合文档站、博客、后台页面的定向抓取 搜索联动能力：内置 SERP 数据解析，可直接将搜索结果转化为爬取任务，实现「搜索-采集-分析」一体化 潜在缺点与局限 硬性规模限制：单次爬取上限 10 页、深度 3 层，大规模站点需多次调用并自行维护 URL 队列 成本与速率：API 调用存在速率限制，高频场景需实现客户端节流与队列管理 robots.txt 合规：SDK 自动遵守 robots.txt，部分敏感或受限页面无法强制抓取 动态内容延迟：部分异步加载内容即使在 STEALTH_MODE 下也可能因超时设置不当而遗漏 商业服务依赖：完全依赖 WrynAI 第三方服务，存在 API 变更、价格调整或可用性风险 适合人群 竞品分析师：需快速提取对手网站结构与内容 技术写作者：批量抓取文档站生成离线知识库 SEO 从业者：采集 SERP 结果进行排名与内容分析 产品经理：监控竞品功能更新与定价变动 数据工程师：构建轻量级外部数据 ETL 管道 常规风险 | 风险类型 | 说明 ||---------|------|| API 密钥泄露 | WRYNAIAPIKEY 需妥善保管，避免硬编码提交至版本控制 || 目标站点封禁 | 高频爬取可能触发目标站点防护，建议配合 rate limiting 与代理策略 || 法律合规 | 抓取受版权保护内容或绕过反爬机制可能违反 CFAA、GDPR 等法规 || 数据准确性 | JavaScript 渲染结果可能因页面状态差异而不一致，需验证关键字段 || 服务中断 | 第三方 API 故障将直接影响业务连续性，建议设计降级方案 | 原始说明 Perform advanced web crawling and content extraction with multi-page crawling, search result parsing, pattern filtering, and screenshot capture using the Wry...