（5603期）clawtv – AI视觉驱动的Apple TV智能遥控

AI视觉驱动的Apple TV智能遥控 基于Claude视觉的Apple TV智能遥控器，支持自然语言控制与Plex直连，实现零成本手动命令与AI自主导航双模式。 使用说明 核心用法 ClawTV 是一款将 AI 视觉能力与 Apple TV 遥控深度融合的智能家居工具。其核心工作流分为三层：最上层是 AI Agent 模式（do 命令），用户用自然语言描述目标（如"打开 Netflix 播放怪奇物语"），系统自动截取电视屏幕、调用 Claude Vision API 分析 UI 状态、决策下一步操作并执行遥控指令，形成"观察-思考-行动"的闭环，最多 20 步完成任务；中间层是 Plex 直连模式，识别到 Plex 相关指令时直接调用 Plex API 绕过视觉循环，实现秒级零成本播放；底层是 手动遥控模式（cmd//type//launch），提供传统遥控器按键、文本输入和应用启动能力，完全零 API 成本。 截图支持三种技术栈：QuickTime AirPlay 镜像（最快 0.6 秒，但 DRM 应用会强制断开）、Xcode 开发者截图（兼容 DRM，约 2.5 秒）、以及配套的 Lookout tvOS 应用（100 毫秒级，但仅限自身 UI）。系统通过自动降级策略平衡速度与兼容性。 显著优点 自然语言交互革命：彻底摆脱传统遥控器的方向键迷宫，老人儿童均可直接表达意图。视觉推理能自适应不同应用的 UI 变化，无需维护脆弱的 XPath 或坐标脚本。 成本智能优化：Plex 目标自动识别并走直连通道，仅 2 次 API 调用；视觉模式采用 Haiku 4.5 模型处理常规步骤，遇困自动升级 Sonnet 4.5；滑动窗口仅保留最近 2 张截图、JPEG 压缩至 800px 质量 50、系统提示缓存复用，综合降低 70% 以上 token 消耗。 隐私可控设计：手动命令完全不触碰外部 API，敏感操作可全程本地执行；截图本地留存便于审计；依赖均为成熟开源库（pyatv、plexapi），无黑箱组件。 生态开放：支持任意 tvOS 应用（通过 bundle ID 启动），Plex 集成兼容自建服务器与远程访问，架构上预留了 Lookout 等第三方截图后端扩展接口。 潜在缺点与局限性 DRM 内容壁垒：Netflix、Disney+、YouTube 等启用 HDCP 保护的应用会强制终止 QuickTime 镜像，导致视觉模式失效。虽可降级至 Xcode 方法，但 2.5 秒延迟显著降低 AI 决策流畅度，且需保持 Xcode 窗口常驻内存。 成本不可控风险：do 命令的循环机制理论上可能消耗全部 20 步（约 $0.10-0.20），若遇网络卡顿、UI 异常或目标未找到，费用产生但任务失败。虽有预算建议，但无硬性熔断机制。 截图隐私悖论：视觉模式的核心价值依赖屏幕内容上传，即使用户信任 Anthropic，截图中仍可能暴露观看历史、搜索偏好、甚至账户信息。本地存储的截图历史若未定期清理，亦构成隐私隐患。 macOS 生态锁定：依赖 QuickTime、AppleScript、Xcode 等苹果专属技术栈，Windows/Linux 用户无法使用；Apple TV 需与 Mac 处于同一局域网，无法远程控制。 凭证管理粗放：Plex Token 与设备配对凭证以明文 JSON 存储，虽受 Unix 权限保护，但无系统钥匙链集成，恶意进程以用户身份运行即可读取。 适合的目标群体 Plex 自建媒体库用户：直连模式提供极致性价比的语音控制体验 智能家居极客：希望将 Apple TV 纳入 HomeKit/自动化工作流的技术爱好者 无障碍需求家庭：视力或操作不便成员可通过自然语言操控电视 开发与测试人员：需批量验证 tvOS 应用 UI 的自动化测试场景 隐私敏感型用户：愿意牺牲 AI 便利性，使用零成本手动命令完成核心操作 使用风险 性能依赖项：QuickTime 镜像会劫持电视音频至 Mac，且显示红色录制边框，必须通过 disconnect 命令恢复，遗忘将导致体验断裂。DRM 应用的自动降级可能因 Xcode 窗口未就绪而失败。 API 依赖稳定性：Anthropic 服务中断或速率限制将直接瘫痪 AI 模式，虽可回退手动命令，但丧失核心卖点。Claude 模型的视觉理解错误可能导致循环陷入死胡同。 网络拓扑敏感：Apple TV 休眠、WiFi 切换、防火墙规则变化均会中断 Companion 协议连接，需重新执行扫描-配对流程。 截图存储膨胀：高频使用下 ~/.clawtv/screenshots// 可能积累大量 PNG 文件，长期未清理将占用磁盘空间并增加隐私暴露面。 原始说明 AI-powered Apple TV remote that uses vision to autonomously navigate apps, play content, control playback, and manage settings.