（6843期）Clean Content Fetch – 智能提取网页正文，一键转Markdown

智能提取网页正文，一键转Markdown 智能网页正文提取工具，自动去噪转Markdown，支持现代网页、博客、新闻及小红书抓取，优于常规fetch 使用说明 核心用法 clean-content-fetch 是一款专注于网页正文提取与内容清洗的专用技能。其核心工作流为：通过 scrapling 库解析目标网页，按优先级命中 article/main/.post-content/[class*="body"] 等语义化选择器，使用 html2text 将 HTML 转为干净 Markdown，最终按指定字符数截断输出。支持 --json 结构化输出与 stderr 调试信息，便于集成与排障。 显著优点 智能去噪：针对现代网页设计，优先识别语义化标签，有效过滤导航栏、广告、侧边栏等噪音 多场景覆盖：原生支持博客、新闻、公告、微信公众号及小红书笔记页（含短链解析） 现代网页适配：基于 scrapling+curl_cffi+playwright 技术栈，对动态渲染页面有更好兼容性 输出友好：标准 Markdown 格式，便于后续 AI 总结、知识库入库或文档归档 轻量化回退：语义选择器未命中时自动回退到 body，保证基础可用性 潜在缺点与局限性 复杂交互盲区：无法处理需登录、点击授权、滚动加载或会话状态维持的页面 反爬对抗有限：虽支持 browserforge 指纹伪装，但非专业反爬方案，高防护站点可能触发限制 依赖环境较重：需 Python 虚拟环境 + Chromium 浏览器内核，首次部署成本高于纯 HTTP 请求 选择器策略固化：内置优先级列表虽覆盖常见场景，但特殊架构站点可能需手动调整 适合人群 需要批量抓取公开文章、博客、新闻正文的开发者与内容运营 希望将网页快速转为 Markdown 供 AI 处理的知识管理用户 小红书内容研究者（笔记文案提取） 对常规 fetch 效果不满、追求更高提取质量的场景 常规风险 合规边界：仅限公开可访问内容，严禁用于登录后数据、私有资源或绕过权限控制 频率控制：批量抓取时需自行实现限速与重试，避免对目标站点造成压力 内容版权：提取内容的使用需遵守原站点的版权声明与 robots.txt 约定 依赖安全：playwright 与 browserforge 涉及浏览器自动化，建议在隔离环境中运行，避免与敏感系统混用 原始说明 获取干净、可读的网页正文内容，适合现代网页、博客、新闻、公告和微信公众号文章抓取；支持网页正文提取、内容清洗、去噪、Markdown 输出，适用于普通 fetch 效果不佳、页面噪音较多或动态渲染干扰的场景。Clean content fetch for modern web pages, article ext...