UI-TARS Desktop
一个基于视觉语言模型的 GUI 代理应用程序,允许用户通过自然语言控制电脑。
UI-TARS Desktop
UI-TARS Desktop 是一个基于视觉语言模型(VLM)驱动的图形用户界面(GUI)代理应用程序,旨在通过自然语言交互,让用户以简单、直观的方式控制电脑操作和执行任务。它的目标是消除对繁琐手动输入的依赖,将人与计算机的交互提升到更高层次。
核心功能
自然语言控制桌面:
用户可以通过简单的自然语言命令,比如:
“打开浏览器并搜索最新的新闻。”
“整理桌面上的所有文件夹。”
“播放我收藏的音乐。”
“关闭当前运行的软件并清理内存。”
智能上下文理解:
应用程序能够根据用户环境和上下文自动识别任务。例如:
当用户说“打开我的项目文件”时,系统会自动联想最近访问过的项目文件夹或常用路径。
如果用户说“帮我写一篇邮件”,应用会启动邮件客户端并切换到撰写模式。
操作级别的精细化控制:
结合视觉语言模型,UI-TARS 可以直接分析桌面信息,包括图标、窗口位置以及具体的文本内容,实现点击按钮、拖拽文件等操作。例如:
“将桌面上的‘报告.docx’拖到 D 盘的‘工作’文件夹中。”
“在 Photoshop 中调整当前图片的亮度为+20%。”
插件与扩展支持:
支持与第三方软件集成,如 Office 套件、设计工具 (Photoshop/Figma)、开发工具 (IDE/Git) 等。
可自定义插件,用于特定需求的深度优化。
语音、文字多模态输入:
用户既可以通过语音下达指令,也可以通过键盘输入文字命令,适配不同使用场景。
任务自动化与脚本整合:
支持将常见任务流程保存为宏或脚本,通过一句话快速触发。
如:“每天早上7点打开天气预报网站,并提醒今天的温度。”
https://github.com/bytedance/UI-TARS-desktop