冒失通过语音辅导自动本质多样运用秩序的操作，如预订餐厅、订购机票或驱动导航系统。这一切的终了收货于苹果公司的一项翻新研究。该研究中提到的中枢期间是名为"Ferret-UI"的先进模子，它挑升野心用于明白和观念iOS开垦的用户界面。Ferret-UI不仅冒失识别屏幕上的图标、小部件和翰墨，还能分析它们之间的空间布局和功能意旨。

不错向Ferret-UI发问，条目它综合一个截图的本体，态状某个交互元素的功能，甚而瞻望特定UI元素是否可点击。增强Ferret-UI的屏幕观念才略，并整合算作本质功能，这个模子有望颐养为一个万能的开垦惩处助手。这一卓绝象征着移动开垦UI观念的新期间，依赖于多模态大说话模子（LLM）的深度学习期间。

通用的多模态大型说话模子还是在多个规模赢得了显赫确立，但它们在观念和有用处理用户界面交互方面仍有待种植。Ferret-UI则针对这一挑战，开垦出了一种新的MLLM，具备援用、基础和推理的特色。为了适当UI屏幕的很是比例和细小元素，Ferret-UI遴荐了“浪漫区分率”期间，以放大细节并优化视觉特征的索要。每个屏幕会被分割成两个子图像，笔据其原始标的进行处理，然后再送入LLM进行分析。

为了检修Ferret-UI，研究东谈主员从一系列基础UI任务中用心挑选了样本，如图象征别、文本搜索和小部件操作。这些任务被升沉为辅导情势体育游戏app平台，附加了精准的区域标注，以促进准确的援用和本质。此外，还创建了高等任务的数据集，涵盖细心的态状、情境对话和功能推理，以种植模子的推理才略。历程这么的检修，Ferret-UI展现出对UI屏幕的罕见观念和本质复杂辅导的才略。