农夫导航大全 字节Seed开源UI-TARS-1.5:基于视觉言语模子构建的多模态智能体
IT之家 4 月 18 日音讯农夫导航大全,IT之家从豆包大模子团队获悉,UI-TARS-1.5 昨日认真发布并开源。这是一款基于视觉-言语模子构建的开源多模态智能体,大要在造谣天下中高效扩充千般任务。
色无极电影相干的辘集如下:
GitHub:https://github.com/bytedance/UI-TARS
Website:https://seed-tars.com/
Arxiv:https://arxiv.org/abs/2501.12326
UI-TARS-1.5 基于字节此前建议的原生智能体决议 UI-TARS,通过强化学习进一步增强了模子的高阶推理才智,使模子大要在“行动”前先进行“想考”。
该版块的模子中,团队还展示了一个新的愿景:以游戏为载体来增强基础模子的推理才智。与数学、编程等领域比较,游戏更多依赖直不雅的、学问性的推理,金发美女并较少依赖专科知识,因此,游戏常常是评估和进步过去模子通用才智的梦想测试场景。
据先容,UI-TARS 是一个原生 GUI 智能体,具备确切操作电脑和手机系统的才智,同期,还可操控浏览器、完成复杂交互任务。UI-TARS-1.5 大要达成精确 GUI 操作,基于团队在四个维度的本事探索:
视觉感知增强:依托大界限界面截图数据,模子可表示元素的语义与险峻文,造成精确神气。
System 2 推理机制:在手脚前生成“想维(thought)”,扶助复杂任务的多步筹划与决策。
合股手脚建模:构建跨平台尺度手脚空间,通过确切轨迹学习进步手脚可控性与扩充精度。
可自我演化的磨练范式:通过自动化的交互轨迹收罗与反想式磨练农夫导航大全,模子执续从空虚中校正,相宜复杂环境变化。