（3276期）wrynai-skill – 企业级网页爬虫与内容提取

企业级网页爬虫与内容提取 基于 WrynAI 官方 SDK 的专业网页爬取工具，支持多页深度爬取、智能内容提取和搜索集成，助力用户高效构建知识库与数据采集 pipeline。 使用说明 WrynAI Web Crawling Skill 是一款面向开发者和数据工作者的专业网页数据采集工具，基于 WrynAI 官方 Python SDK 构建，提供从基础页面抓取到复杂单页应用（SPA）渲染的全方位爬取能力。 核心用法方面，该技能提供六种主要使用模式：基础网站爬取支持设置最大页面数（硬限制10页）和深度（最多3层）；文档站点爬取可通过 URL 模式过滤精准提取特定章节内容；搜索+爬取管道模式能够先执行搜索引擎查询再自动抓取 Top 结果；内容提取模式支持文本、Markdown、结构化数据、链接等多种格式的精准提取；健壮性爬取模式内置自动重试、速率限制处理和错误恢复机制；针对 React/Vue/Angular 等 JavaScript 密集型站点，提供 Stealth Mode 引擎进行浏览器级渲染。 显著优点包括严格的安全边界设计，通过硬编码限制（MAXPAGES=10, MAXDEPTH=3）防止资源滥用；完善的错误处理体系，细分 AuthenticationError、RateLimitError、TimeoutError 等异常类型；支持智能列表提取和截图捕获等高级功能；所有代码示例遵循安全最佳实践，使用环境变量管理 API Key，避免敏感信息硬编码；内置速率限制保护机制，强制要求用户实施延迟策略。 潜在缺点与局限性主要体现在 API 硬限制上，单次爬取最多10页且深度仅限3层，不适合大规模站点全量镜像；依赖外部 WrynAI API 服务，存在网络延迟和第三方服务可用性风险；JavaScript 渲染模式（Stealth Mode）显著增加响应时间和 API 调用成本；对于需要身份验证的私有内容或受 robots.txt 严格限制的网站无法访问。 适合的目标群体包括需要进行竞品分析的市场研究人员、构建文档知识库的技术写作者、执行内容迁移项目的网站管理员、进行学术研究数据收集的科研人员，以及需要自动化网页数据提取的 Python 开发者。特别适合处理公开文档站点、博客文章、产品目录等结构化内容的采集任务。 使用风险主要涉及 API 配额和成本管理，用户需自行注册 WrynAI 账号获取 API Key 并承担调用费用；网络请求存在固有的超时和失败风险，需合理配置 timeout_ms 参数（建议简单页面30秒、复杂JS站点90秒）；虽然 skill 本身无恶意代码，但用户需确保爬取目标符合当地法律法规和网站服务条款，避免未经授权的数据采集。 原始说明 Perform advanced web crawling and content extraction with multi-page crawling, search result parsing, pattern filtering, and screenshot capture using the Wry...