（5389期）Baoyu Url To Markdown – 网页归档利器，一键转 Markdown

网页归档利器，一键转 Markdown 基于 Chrome CDP 的网页转 Markdown 工具，支持 X/Twitter、YouTube、Hacker News 等站点适配，可处理登录验证与媒体下载，适合内容归档与研究。 使用说明 核心用法 baoyu-url-to-markdown 是一款基于 baoyu-fetch CLI 的网页内容提取工具，通过 Chrome DevTools Protocol (CDP) 驱动浏览器，将任意 URL 转换为结构清晰的 Markdown 文档。核心工作流程为：解析用户输入 URL → 调用 Chrome CDP 渲染页面 → 应用站点特定适配器提取内容 → 输出 Markdown 或 JSON。 主要功能特性： 站点适配器：内置 X/Twitter 线程、YouTube 字幕、Hacker News 讨论及通用页面（Defuddle）四种适配器，自动识别站点类型 交互等待模式：支持 --wait-for interaction 处理登录态、CAPTCHA 等人工干预场景，超时可配置（默认10分钟） 媒体下载：可选下载图片/视频到本地 imgs/、videos/ 目录并自动重写 Markdown 链接 灵活输出：支持标准输出、指定文件路径、JSON 格式，以及调试模式输出完整网络日志 首选项配置：通过 EXTEND.md 管理媒体下载策略、默认输出目录，支持项目级/用户级/ XDG 配置三级作用域 显著优点： 真实浏览器渲染：基于 Chrome CDP 而非纯 HTTP 请求，可执行 JavaScript、处理动态加载内容，规避传统爬虫的渲染限制 站点定制化：专用适配器针对 X 线程结构、YouTube 字幕 DOM 等做精准提取，输出质量优于通用 readability 方案 人工干预能力：交互等待模式填补了 headless 工具无法处理登录墙的空白，扩展了可用场景 自包含归档：媒体下载 + 独立目录结构（{domain}/{slug}/）使单条 URL 的内容完整可移植 潜在缺点与局限性： 外部依赖重：必须安装 Bun 运行时及 Chrome/Chromium 浏览器，环境配置门槛较高 资源消耗大：每次调用启动 Chrome 实例，内存和 CPU 开销显著高于轻量级 HTTP 客户端 质量不确定性：文档明确指出"默认 headless 捕获视为临时结果"，部分站点在 headless 模式下会返回差异化内容，需人工校验 首选项阻塞设计：首次使用强制交互式配置，无法静默初始化，自动化场景受限 维护负担：适配器需随目标站点改版持续更新，X、YouTube 等平台的反爬策略可能影响稳定性 适合人群： 研究人员、记者、知识管理者：需要归档完整网页内容（含动态加载的评论区、字幕） 开发者、技术写作者：构建文档站、生成静态内容，需程序化提取 clean markdown 有登录态需求的用户：需抓取会员内容、个人 timeline 等需身份验证的页面 常规风险： 法律合规：批量抓取 X/Twitter、YouTube 等平台内容可能违反 ToS，存在账号封禁风险 隐私泄露：Chrome profile 复用可能残留登录态，共享环境需注意数据隔离 内容完整性：依赖浏览器渲染意味着页面广告、追踪脚本同样执行，敏感场景需配合隐私配置 存储膨胀：默认媒体下载策略若设为"始终下载"，长期运行将产生大量本地文件 原始说明 Fetch any URL and convert to markdown using baoyu-fetch CLI (Chrome CDP with site-specific adapters). Built-in adapters for X/Twitter, YouTube transcripts, H...