（9911期）Linux GUI Control – Linux 桌面自动化控制中枢

Linux 桌面自动化控制中枢 基于 xdotool/wmctrl/dogtail 的 Linux 桌面自动化工具集，支持窗口管理、键鼠模拟、无障碍 UI 解析及截图，适用于 X11/GNOME 环境的非浏览器应用控制。 使用说明 核心功能 Linux GUI Control 是一套面向 Linux 桌面环境（X11/GNOME）的自动化控制技能，整合了 wmctrl、xdotool、dogtail 三大工具链，实现从窗口管理到 UI 交互的完整工作流： 主要能力 | 维度 | 实现工具 | 典型场景 ||------|---------|---------|| 窗口管理 | wmctrl | 激活、移动、调整大小、列举窗口 || 输入模拟 | xdotool | 鼠标点击、键盘输入、快捷键触发 || UI 解析 | dogtail (AT-SPI) | 提取应用的无障碍树结构，定位按钮/输入框 || 视觉辅助 | scrot | 截图供视觉模型分析（fallback 方案） | 显著优势 文本优先交互：通过 accessibility API 直接读取 UI 层级，减少对截图/Vision 的依赖，降低延迟与成本 Electron 兼容：提供 --force-renderer-accessibility 启动方案，覆盖 VS Code、Discord、Chrome 等现代应用 脚本化封装：guiaction.sh 与 inspectui.py 封装复杂命令，降低使用门槛 分层降级策略：文本 UI 解析失败时自动回退视觉分析，保证任务完成率 局限性与风险 | 类别 | 说明 ||------|------|| 显示协议限制 | 仅支持 X11，Wayland 环境（如较新 Ubuntu/Fedora 默认）需切换或无法使用 || 无障碍依赖 | 目标应用需暴露 AT-SPI 接口，部分闭源软件或自定义 UI 框架不支持 || 坐标脆弱性 | xdotool click 依赖绝对坐标，窗口位置变动会导致操作失败 || 权限要求 | 需访问 X11 display 和 accessibility bus，容器/远程环境配置复杂 || 安全边界 | 输入模拟可被恶意利用，敏感操作（密码输入）存在泄露风险 | 适用人群 自动化测试工程师：构建 Linux 桌面端的 E2E 测试流水线 运维/DevOps：批量配置 GUI 应用、无人值守安装向导 辅助技术开发者：基于无障碍接口构建屏幕阅读器或自动化工具 AI Agent 系统：为 LLM 提供结构化桌面环境感知与操作能力 常规风险 误操作风险：脚本错误可能导致错误窗口激活或意外点击（建议操作前 wmctrl -l 确认目标） 状态同步问题：UI 树缓存与实际界面可能不同步，高频操作需配合延时 Electron 启动参数遗忘：未加 --force-renderer-accessibility 将导致 dogtail 无法解析现代应用 原始说明 Control the Linux desktop GUI using xdotool, wmctrl, and dogtail. Use when you need to interact with non-browser applications, simulate mouse/keyboard input, manage windows, or inspect the UI hierarchy of applications on X11/GNOME. Supports: (1) Clicking/typing in apps, (2) Resizing/moving windows, (3) Extracting text-based UI trees from apps (A11y), (4) Taking screenshots for visual analysis.