（6096期）Webfetch Md – 智能网页抓取，一键转 Markdown

智能网页抓取，一键转 Markdown 智能网页抓取工具，自动提取正文并转为 Markdown，保留图片链接，适合内容归档与知识管理。 使用说明 WebFetch MD 综合评估 核心用法 WebFetch MD 是一款基于 Node.js 的网页内容抓取与转换工具，核心功能是将任意网页 HTML 智能提取正文后转换为标准 Markdown 格式。支持三种使用方式：作为 OpenClaw 工具集成调用、通过 CLI 命令行直接使用、或作为 Node.js 模块嵌入项目。CLI 输出统一 JSON 格式，包含标题、Markdown 正文、图片链接列表等元数据，便于二次处理和自动化工作流。 显著优点 智能内容识别：采用优先级算法自动识别正文区域（article/main 标签 → 语义类名 → ID 回退），有效过滤导航、广告、页脚等干扰元素 图片完整保留：自动将 HTML 图片转为 Markdown  格式，相对路径智能补全为绝对路径 多场景兼容：同时支持工具集成、命令行、模块引用三种模式，适应不同技术栈需求 输出结构化：统一 JSON 格式返回，包含 success 状态、字数统计、图片数量等元数据，便于后续处理 依赖成熟：基于 cheerio（jQuery 风格 HTML 解析）和 turndown（专业 HTML→Markdown 转换），技术栈稳定可靠 潜在局限 动态内容限制：基于静态 HTML 抓取，无法处理 JavaScript 渲染的内容（如 SPA、动态加载评论区） 反爬风险：虽模拟 User-Agent，但缺乏代理池、请求频率控制等高级反爬机制，高频调用易被目标站封禁 提取精度波动：依赖启发式规则识别正文，非标准博客/新闻站点可能出现提取不全或混入无关内容 格式丢失：复杂表格、交互组件、嵌套样式等可能丢失或简化 适合人群 知识管理用户：构建个人知识库，将网络文章归档为 Markdown 开发者/自动化工程师：集成到 RAG、内容采集、AI 训练数据准备等流水线 内容创作者：快速获取参考文章的纯文本版本，便于改写和引用 研究者：批量抓取网页内容进行文本分析和主题建模 常规风险 法律合规：需遵守目标网站的 robots.txt 和服务条款，禁止抓取付费/受版权保护内容 IP 封禁：无内置限流机制，连续抓取同一域名可能导致 IP 被临时或永久封禁 内容安全：抓取内容未经脱敏处理，可能包含恶意链接或不当信息，需人工审核后使用 依赖维护：依赖 cheerio/turndown 的更新，长期需关注供应链安全 总体评价 WebFetch MD 是一款轻量实用的网页内容提取工具，在静态博客、新闻、文档类网站表现优异，适合作为内容采集链路的第一环。对于动态渲染站点或大规模商业采集场景，建议搭配 headless 浏览器或专业爬虫框架使用。 原始说明 Fetch any webpage and convert its main content into clean Markdown format, preserving image links and resolving relative URLs.