（3645期）Website Scraper Pro – 单页网页抓取·Markdown/JSON·JS渲染

单页网页抓取·Markdown/JSON·JS渲染 基于 Crawl4AI 的本地网页抓取工具，支持单页 Markdown 提取、JS 渲染、JSON 结构化输出及关键词筛选，无内置 AI 处理。 使用说明 核心用法 Website Scraper Pro 是一个基于 Crawl4AI 的本地网页抓取工具，专为单页内容提取设计。用户通过 uv run 命令直接调用主脚本，无需配置复杂环境即可快速获取目标网页的干净 Markdown 或结构化 JSON 数据。 主要功能模式 基础抓取：uv run ... <URL> → 输出纯净 Markdown JS 渲染支持：--js 参数启用浏览器引擎，应对 SPA/动态渲染页面 关键词筛选：--query "<TEXT>" 实现页内内容定位，全程无 LLM 介入 结构化输出：--format json 返回包含 title、url、markdown、links、metadata 的标准化 JSON 显著优点 零配置启动：uv run 自动解析脚本内联依赖块，隔离安装 crawl4ai，避免全局环境污染 确定性行为：查询筛选与输出格式完全基于规则，排除 AI 幻觉风险 轻量高效：单页聚焦设计，无递归爬取开销，适合快速提取文档、博客、落地页内容 开源生态：依托 GitHub 活跃项目 Crawl4AI，持续获得社区维护 潜在缺点与局限性 单页限制：不支持站点级递归爬取、站点地图生成或深度链接追踪 无 AI 能力：内置零摘要、零合成、零问答功能，需外部处理原始内容 认证壁垒：不支持登录态、Cookie 注入或交互式表单提交 浏览器依赖：JS 模式需额外执行 Playwright/Chromium 安装命令 网络约束：依赖目标站点可访问性，对反爬机制敏感页面可能失败 适合人群 开发者与数据工程师：需要快速将网页内容转为 LLM 友好格式 内容聚合者：批量提取文章、文档、博客的纯净文本 自动化工作流构建者：在管道中嵌入确定性网页抓取节点 隐私敏感用户：本地执行、无云端 API 调用、数据不出境 常规风险 法律合规：抓取前需确认目标站点 robots.txt 与服务条款，避免侵权 频率控制：高频请求可能触发 IP 封禁，建议配合延时与代理 内容漂移：页面结构变更可能导致 Markdown 提取质量下降 依赖维护：Crawl4AI 与 Playwright 版本迭代可能引入破坏性变更 原始说明 Run a local script to scrape a single web page into clean markdown or deterministic JSON with Crawl4AI. Use when: user needs direct page retrieval from a URL...