苹果悄然进军大模型领域，其最新多模态模型ferret-ui或将改变游戏规则？| 编译：赖文昕
大模型技术引爆科技圈，巨头与新兴企业展开激烈角逐。OpenAI、Anthropic和Mistral等新秀的崛起，证明了在大模型时代，传统巨头并非占据绝对优势。
近期，苹果叫停了耗资数十亿美元、历时十余年的自动驾驶项目，并裁减了美国总部600多名员工，另有近2000名员工转投AI部门。然而，在主流智能手机厂商中，苹果却迟迟未推出自研大模型，这与以往的领先地位形成鲜明对比。
4月8日，苹果发布了名为“Ferret-UI”的新研究成果，这是一个能够理解并执行手机屏幕任务的多模态模型。该模型专为增强对移动端UI的理解而设计，具备引用、定位和推理功能。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
论文链接：https://www.php.cn/link/6d16b39c4bdd5c238d55ea70055b4846
六个月前，苹果与哥伦比亚大学合作发布了多模态大模型“Ferret”，展现出强大的图文关联能力。“Ferret-UI”则更专注于移动端应用和用户交互。
研究团队表示，Ferret-UI能够有效理解和交互用户界面（UI），弥补了现有通用多模态大模型的不足。
UI任务性能超越GPT-4V
Ferret-UI的亮点在于其对UI的专注。苹果团队对比了Ferret-UI-base、Ferret-UI-anyres、Ferret和GPT-4V在各种UI任务上的表现，并在高级任务中加入了开源模型Fuyu和CogAgent进行对比。
在基础UI任务测试中，Ferret-UI在大多数任务上表现出色，尤其是在与iPhone相关的任务中，除了“查找文本”任务外，它全面超越了Ferret和GPT-4V。
在OCR、图标识别和控件分类等任务上，Ferret-UI的平均准确率分别达到72.9%、82.4%和81.4%，远高于GPT-4V的47.6%、61.3%和37.7%。在安卓任务中，GPT-4V的性能显著下降，尤其是在定位任务上，这可能是由于安卓UI元素更小、更密集造成的。
值得注意的是，在OCR任务中，模型预测的是目标区域旁的文本，而非目标区域内的文本。Ferret-UI能够准确预测部分被遮挡的文本，即使OCR模型返回错误文本也能做到。
在查找文本、图标和控件等定位任务中，Ferret-UI同样表现优异。在高级UI任务（如详细描述、感知对话、交互对话和功能推断）中，Ferret-UI与GPT-4V不相上下，甚至在某些任务上超越了后者。与开源模型Fuyu和CogAgent相比，Ferret-UI在大多数任务上均取得领先，尤其是在iPhone平台上优势明显。
Perplexity
Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要
302
查看详情
尽管训练数据中未包含安卓数据，Ferret-UI在安卓平台上的高级任务中也展现出不错的性能，表明其具有跨操作系统UI知识迁移能力。
Anyres技术解决屏幕长宽比差异难题
Ferret-UI的成功离不开“任何分辨率”（anyres）技术的创新。这项技术旨在解决移动设备屏幕长宽比多样化的问题。
Ferret-UI-anyres在Ferret-UI-base的基础上，增加了
额外的细粒度图像特征，包括预训练图像编码器和投影层，用于生成整个屏幕的图像特征。
对于每个基于原始图像长宽比获得的子图像，都会生成额外的图像特征；对于具有区域引用的文本，视觉采样器会生成相应的区域连续特征。大型语言模型（LLM）使用全图表示、子图表示、区域特征和文本嵌入来生成响应。
Ferret-UI-anyres架构
传统模型通常需要固定大小的输入，而移动设备屏幕大小和长宽比各异，anyres技术通过将屏幕分割成多个子图像，并对每个子图像进行放大来捕捉更多细节，从而适应不同屏幕尺寸。
这种方法不仅适用于不同长宽比的屏幕，还提高了模型对UI元素细节的识别能力，能够突出显示屏幕上的小型对象，如图标和文本，从而提高识别和定位精度。
苹果团队采用分层实验方法，从简单到复杂逐步提升模型能力，从基础的识别和分类任务开始，逐步过渡到需要更高层次理解的对话和推断任务，最终使其能够处理复杂的UI交互。
从基础的识别和分类到高级的描述和推断，Ferret-UI能够在真实世界的UI交互中提供准确有效的响应。结合anyres技术处理不同分辨率的屏幕，进一步增强了其有效性和用户体验。
结语
在大模型竞争激烈的环境下，科技巨头需要不断调整战略和产品布局。苹果的Ferret-UI、Ferret以及旨在改善语音助手交互的ReALM，都显示出苹果在大模型领域的持续投入。Ferret-UI能否推动iPhone引入AI，并帮助苹果重回领先地位，值得期待。
以上就是苹果发布多模态模型 Ferret-UI，部分手机 UI 任务超越 GPT-4V的详细内容，更多请关注其它相关文章！
# 系列产品
# 如何搞外贸网站推广代理
# 培训网站推广公司有哪些
# 网站建设技巧大全
# 湖州seo网站建设
# 建设网站后的维护
# 宁波网站建设加盟
# 什么是网站建设的费用
# Seo141
# 谷歌seo中文链接
# 微营销推广码
# 数百
# 操作系统
# 俄罗斯
# 是在
# 的是
# 保时捷
# 开源
# 长宽
# 多模
# 2025
# ai
# 苹果
# iphone
相关栏目：
【
企业资讯168 】
【
行业动态50218 】
【
媒体报道120512 】
相关推荐：
type-c输入接口是什么
征信不好如何恢复信誉度 征信不好恢复信誉度的方法
openwrt有哪些功能
typescript有什么作用
为什么有的夸克带电
j*a怎么存放数组中
单片机怎么定义字符长度
如何使硬盘升级固态硬盘
命令行如何打开打印机
如何查找固态硬盘
制冰机power1灯亮是什么意思
苹果16有哪些款式的
苹果16有哪些bug
五十铃x-power是什么意思
为什么夸克无法注销账户
单片机*计步器怎么用
cos150度等于多少
单片机是怎么复位的
如何使用程序编译 执行的命令
typescript如何标记私有方法
市盈率中1stdv是什么意思
通配符的用法
忐忑不安是什么意思
春运提前抢票攻略
openwrt有什么用
高市盈率是什么意思
华为5g手机掉了怎么定位找回
什么是typescript
typescript怎么写游戏
debian和ubuntu的区别是什么
如何4k对齐固态硬盘
如何显示固态硬盘
市盈率为负数是什么意思
进口超级维特拉三门版power是什么意思
typescript中如何定义json
early什么意思
什么网址不能域名解析
平仓是什么意思?
干股是什么意思
得物怎样降低手续费 得物如何降低手续费教程
苹果16哪些会降价的
划水是什么意思
苹果16系统有哪些系列
5r是多少钱
一年多少周
车子上面nfc功能是什么意思
汽车中控导航机power线是什么意思
怎么用typescript 写js
春运抢票软件哪个最好用
arp命令如何使用
