（6342期）Media Crawler – 多平台公开数据采集与研究工具

多平台公开数据采集与研究工具 基于 MediaCrawler 的开源多平台数据采集工具，支持小红书、抖音等7大平台内容抓取，提供 WebUI 可视化操作与多种数据存储格式，适合学术研究用途。 使用说明 核心功能 MediaCrawler 是一款开源的多平台公开信息采集工具，基于 Python 技术栈开发，支持小红书、抖音、快手、B站、微博、贴吧、知乎七大主流内容平台的数据采集。该工具提供三种主要采集模式：关键词搜索采集（按关键词抓取相关帖子/视频）、指定内容详情抓取（通过 ID 精准获取特定帖子）、创作者主页采集（批量获取指定创作者的历史内容）。 技术实现上采用 Playwright 浏览器自动化框架模拟用户行为，支持二维码/手机号等多种登录方式并自动缓存登录态，降低频繁登录封禁风险。数据输出支持 CSV、JSON、JSONL、Excel、SQLite、MySQL、MongoDB 等七种格式，默认按平台分类存储于 data/ 目录下。WebUI 可视化界面（基于 FastAPI + Uvicorn）让非技术用户也能便捷操作。 显著优点 平台覆盖广：一站式覆盖短视频、图文、社区、问答等多类型平台 采集维度全：支持内容正文、评论、二级评论、创作者信息全链路抓取 使用门槛低：一键安装脚本 + WebUI 界面，无需深入理解代码 数据格式灵活：多种导出格式适配后续分析、入库、可视化需求 局限性与风险 法律合规风险：数据采集涉及平台用户协议，过度抓取可能触发平台反爬机制或法律纠纷 稳定性依赖：依赖 Playwright 浏览器驱动，平台页面结构变更需及时更新选择器 登录态限制：部分平台（如抖音）对登录设备、IP 有风控策略，可能触发验证或限制 道德边界：抓取用户评论、个人主页信息涉及隐私边界，需严格限定研究用途 适合人群 学术研究人员（社交媒体分析、传播学研究）、市场调研员（竞品内容监测）、数据工程师（搭建测试数据集）。不适合用于批量搬运内容、监控竞争对手商业数据等违规场景。 常规风险提示 务必遵守《网络安全法》《数据安全法》《个人信息保护法》及平台用户协议 建议配置合理采集频率与并发数，避免对平台服务器造成压力 采集结果禁止用于非法用途、侵犯他人合法权益或商业化违规传播 原始说明 基于 MediaCrawler 的多平台公开信息采集工具，支持安装、命令行运行、WebUI、结果定位与常用任务模板。