开通会员

(10574期)Smart Web Fetch – 智能网页抓取,Token 立省 80%

10.0 综合评分
4.1 kB 文件大小
2026-10-04 更新时间

智能网页抓取,Token 立省 80% 智能网页抓取技能,通过多级清洗服务自动获取干净Markdown,替代内置web_fetch,节省50-80% Token消耗 使用说明 核心用法 Smart Web Fetch 是一款专为 Agent 设计的网页内容获取工具,通过调用 Jina Reader、markdown.new、defuddle.md 等清洗服务,将原始 HTML 转换为干净的 Markdown 格式。使用时只需运行 python3 {baseDir}/scripts/fetch.py "URL" 即可获取清洗后的内容,支持 --json 参数输出包含元信息的结构化数据。 显著优点 Token 大幅节省: 清洗后内容比原始 HTML 减少 50-80% 的 Token 消耗,有效降低 LLM 调用成本 四级降级策略: Jina → markdown.new → defuddle.md → 原始内容,确保服务高可用性 零配置成本: 无需 API Key,全部使用免费服务,即插即用 内容纯净: 自动去除广告、导航栏、脚本等噪音,输出可直接使用的 Markdown 强制替代机制: 可通过配置 deny: ["web_fetch"] 强制 Agent 使用本技能 潜在局限 依赖第三方服务: 清洗服务均为外部依赖,存在服务不稳定或变更接口的风险 内容完整性: 部分动态渲染页面(SPA、大量 JS 内容)可能无法完整抓取 频率限制: 免费服务通常存在调用频率限制,高频场景下可能受限 格式一致性: 不同清洗服务输出格式略有差异,可能影响下游处理逻辑 适合人群 需要频繁获取网页内容的 AI Agent 开发者 对 Token 成本敏感、希望优化 LLM 上下文长度的用户 追求简洁工作流、不愿维护复杂爬虫逻辑的技术团队 常规风险 隐私泄露风险: 目标 URL 会被发送到第三方清洗服务,敏感链接不建议使用 内容篡改可能: 清洗服务可能过滤或修改部分原文内容,关键信息需二次验证 服务不可用: 若全部降级服务失效,将回退到原始 HTML,Token 消耗激增 原始说明 智能网页抓取技能 - 替代内置 web_fetch,自动使用 Jina Reader / markdown.new / defuddle.md 清洗服务获取干净 Markdown。支持多级降级策略,大幅降低 Token 消耗。当 Agent 需要获取网页内容时使用本技能替代 web_fetch。

开通会员
安全无毒 已通过安全检测,请放心下载 无毒 无插件 人工检测

智能网页抓取,Token 立省 80%

智能网页抓取技能,通过多级清洗服务自动获取干净Markdown,替代内置web_fetch,节省50-80% Token消耗

使用说明

核心用法

Smart Web Fetch 是一款专为 Agent 设计的网页内容获取工具,通过调用 Jina Reader、markdown.new、defuddle.md 等清洗服务,将原始 HTML 转换为干净的 Markdown 格式。使用时只需运行 python3 {baseDir}/scripts/fetch.py "URL" 即可获取清洗后的内容,支持 --json 参数输出包含元信息的结构化数据。

显著优点

  1. Token 大幅节省: 清洗后内容比原始 HTML 减少 50-80% 的 Token 消耗,有效降低 LLM 调用成本
  2. 四级降级策略: Jina → markdown.new → defuddle.md → 原始内容,确保服务高可用性
  3. 零配置成本: 无需 API Key,全部使用免费服务,即插即用
  4. 内容纯净: 自动去除广告、导航栏、脚本等噪音,输出可直接使用的 Markdown
  5. 强制替代机制: 可通过配置 deny: ["web_fetch"] 强制 Agent 使用本技能

潜在局限

  • 依赖第三方服务: 清洗服务均为外部依赖,存在服务不稳定或变更接口的风险
  • 内容完整性: 部分动态渲染页面(SPA、大量 JS 内容)可能无法完整抓取
  • 频率限制: 免费服务通常存在调用频率限制,高频场景下可能受限
  • 格式一致性: 不同清洗服务输出格式略有差异,可能影响下游处理逻辑

适合人群

  • 需要频繁获取网页内容的 AI Agent 开发者
  • 对 Token 成本敏感、希望优化 LLM 上下文长度的用户
  • 追求简洁工作流、不愿维护复杂爬虫逻辑的技术团队

常规风险

  • 隐私泄露风险: 目标 URL 会被发送到第三方清洗服务,敏感链接不建议使用
  • 内容篡改可能: 清洗服务可能过滤或修改部分原文内容,关键信息需二次验证
  • 服务不可用: 若全部降级服务失效,将回退到原始 HTML,Token 消耗激增

原始说明

智能网页抓取技能 – 替代内置 web_fetch,自动使用 Jina Reader / markdown.new / defuddle.md 清洗服务获取干净 Markdown。支持多级降级策略,大幅降低 Token 消耗。当 Agent 需要获取网页内容时使用本技能替代 web_fetch。

免责声明

本站提供的资源转载自国内外各大媒体和网络,仅供试玩体验;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该游戏内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。

上一篇 (10575期)WeChat Article Reader – 智能提取公众号正文 · 自动绕过验证 下一篇 (10573期)bitbucket-automation – Bitbucket 智能运维自动化专家

玩家评论

10 /10
0 人评分 · 0 条评论
写下我的评测

还没有玩家留言,来抢沙发吧~