（10030期）Windows Control – Windows 桌面自动化，像人类一样操控

Windows 桌面自动化，像人类一样操控 Windows 桌面自动化技能，支持鼠标键盘控制、窗口管理、UI 元素读取和对话框处理，实现类人交互。 使用说明 核心功能 Windows Control 是一款完整的 Windows 桌面自动化工具，提供从基础到高级的全面控制能力。核心功能包括：鼠标点击与移动（支持左右键、双击、拖拽）、键盘输入（文本输入和快捷键组合）、屏幕截图（Base64 PNG 输出）、以及窗口管理（聚焦、最小化、最大化、关闭）。 显著优势 智能 UI 交互是该技能的最大亮点。通过 Windows UI Automation 技术，可直接读取窗口文本和 UI 元素（按钮、链接、输入框等），无需依赖 OCR 即可获得精准的结构化数据。支持按名称点击元素，彻底摆脱坐标依赖。新增的对话框处理模块可自动识别并操作保存/打开对话框、消息框等常见弹窗。 浏览器增强功能针对网页内容提取进行了优化，可获取标题、正文、按钮、链接等结构化信息，支持 JSON 输出便于程序处理。 潜在局限 平台锁定：仅支持 Windows 系统，macOS/Linux 用户无法使用 分辨率依赖：坐标系统基于绝对屏幕位置，多显示器或分辨率变更时需重新校准 OCR 可选依赖：read_region.py 需要额外安装 Tesseract，否则无法使用 权限要求：部分窗口（如 UAC 弹窗）可能因系统安全限制无法自动化 适用人群 自动化测试工程师：需要模拟用户操作进行端到端测试 RPA 开发者：构建桌面自动化工作流 AI Agent 开发者：为 LLM 提供 Windows 环境感知和操作能力 效率工具用户：批量处理重复性桌面任务 风险提示 该技能具备直接控制系统的能力，存在误操作风险（如意外关闭重要窗口、错误输入敏感数据）。建议配合 FAILSAFE 机制（移动鼠标到左上角可紧急停止），并在关键操作前截图确认状态。对于生产环境使用，建议增加操作确认层或限制敏感窗口的访问权限。 原始说明 Full Windows desktop control. Mouse, keyboard, screenshots - interact with any Windows application like a human.