苹果AI与谷歌Gemini合作任务,端侧模型能够直接在设备上直接运行,快速给出响应。而针对复杂的推理和大规模任务,系统则会转向私有云计算,确保算力充足。并且,为了充分发挥苹果芯片的潜能,苹果还在端侧设备上更进一步,设计了两种端侧模型。标准端侧模型:满足绝大多数日常基础智能任务。高级端侧模型(第二代高效端侧模型):专为配备高性能苹果芯片的系统而优化。其中,高级端侧模型不仅能够高效理解文本与图像,语音理解和生成也很强大。它实现了极高准确度的系统解听写 ,更强的自然语言理解能力,甚至人声也能传递更细腻的情感。此外,新架构中还引入了系统调度器,成为整个系统的指挥官。它的工作流,有以下三个核心。Spotlight语义索引:全新的语义索引,能真正理解内容背后的含义。多年前的照片,前几天随手的笔记,都能通过语义关联快速检索。应用动作箱:调度器可以「工具箱」中抽取合适工具,来完成复杂的请求,比如读取特定邮件、编辑一组照片,用户无需在不同应用之间手动切换。屏幕感知:实时感知当前屏幕上正在显示什么、用户在做什么,在恰当的时刻提供帮助。
