先回顾下 iOS 平台在刷新率和触摸采样率的历史:

很多人的印象里, iPad Pro 2017 是移动平台上最早使用高刷新率的设备, 直接定义了 Pro Motion 这个高刷新率的体验.

但是实际情况是: iPad Pro 初代其实就有了动态屏幕刷新率: 为了降低 12.9 寸大屏对电池续航的冲击, 在画面静止的时候会减半到 30Hz 刷新率(驱动版). 并且为了实现更低的笔触延迟, 支持了 120Hz 的输入刷新率.

2017 年 iPad Pro 引入 120Hz Pro Motion, 其实是为了缓解大屏幕响应速度较慢的问题, 从而有效降低输入延迟, 特别是提升 Apple Pencil 的使用体验. 但是此时的 Pro Motion 仍然只是在几个刷新率之间切换.

到了 iPhone X 升级为了OLED 面板, 120Hz 的触摸采样率搭配更高的响应速度, 实际上相比原先的 LCD iPhone 在触摸体验上有了显著提升. 

Apple Watch Series 5 为了实现低功耗常亮屏幕, 引入了 LTPO 显示面板, 允许刷新率降低到 1Hz, 从而减少常亮显示的功耗.

如今, iPhone 13 Pro 将 120Hz 的 Pro Motion 体验带到了手机, 而且带来了 Adaptive Sync.

但是更高的刷新率可能会耗费更多的电力, 因此整体的优化策略可以用 Apple 这句话简单概括:

在你需要时提供高帧率，在不需要时为你省电，这才是我们为你贴心提供的方案。

概念解释

解释这句话之前, 还是得明确两个概念: 屏幕刷新率和绘制速率.

绘制速率代表你的 CPU、GPU 产生画面的速率, 比如说传统的 UI 都是 60fps; 视频内容里, 电影是 24fps, 流媒体常见是 29.97/30fps; 游戏的帧率通常取决于 GPU 性能, 一般最高帧率以屏幕帧率(常见为 60)或者其一半(30)为限(所谓目标帧率). 很显然产生越多的画面, 就需要 CPU+GPU 耗费更多的电力; 同理, 降低绘图速率就能有效省电.

屏幕刷新率代表屏幕像素改变的速率. 比如常见 60Hz 就代表一秒钟要改变 60 下, 每下间隔约 16.67ms, 通过降低这个速率就可以降低屏幕的耗电量.

LTPO: 刷新率下探的功臣

但是传统 LTPS 像素存在漏电的问题, 这会导致像素的内容无法长时间维持, 需要外部信号以相对较高的频率对像素的电容进行充电以维持内容, 这就导致 LTPS 面板刷新率无法进一步下降. 而 LTPO 解决了这个问题, 在外部信号刷新率极低的时候也能维持住画面, 从而降低功耗.

Adaptive Sync: 自适应同步

有的朋友说, Android 有可变刷新率.

没错, Android 确实有根据交互和内容去动态调整刷新率的机制. 比方说你在看视频, 屏幕刷新率会匹配视频帧率, 这是自适应内容匹配; 当你戳屏幕交互的时候, 刷新率会立刻恢复, 这是自适应交互.

但问题是, Android 是固定帧率的可变刷新率.

这句话听上去比较绕, 我用一张图表示:

这张图表示两种屏幕刷新率的状态, 可以看到屏幕的刷新周期是固定的. 当绘制速率不够的时候, 可能 120Hz 屏幕的两帧都显示的是相同的内容.

而自适应同步屏幕的刷新周期则可以自由变化, 比如这块屏幕的刷新周期从 8-25ms 不等, 说明刷新率可以在 40-120Hz 变化.

我们知道 PC 和游戏机上有所谓 FreeSync/G-Sync/VRR 之类的技术, 他们的作用其实就是让屏幕刷新去匹配绘制速率, 从而避免因为两者不一致出现画面撕裂, 或者是为了避免撕裂引入垂直同步, 导致输入延迟增大.

另外一个很有用的场景就是当游戏中的场景出现变化: 比如从场景复杂度较低的野外转向城市, 那么游戏的帧率可能会出现变化, 自适应同步就能实现两种场景的顺滑切换.

自适应同步技术已经能支持最新的 iPhone Pro/iPad Pro, 以及连接了支持 FreeSync 显示器的 Mac, 从而带来更爽更流畅的游戏体验.

A15: 强劲性能和出色效能

刚才主要都是围绕屏幕显示方面, 想要搞清楚实际体验, 我们还是得搬出 PC 上衡量输入延迟的 timeline chart:

这是 PC 上一种最差情况的输入延迟的示意图. 

mouse lag 对应移动平台的触摸延迟, 这和触摸 IC 的性能(包括但不限于采样率)相关

CPU Time 对应 CPU 处理输入并做出反应的延迟, 自然 CPU 越强, 这个延迟就越低

GPU Time 代表 GPU 绘制的延迟, 这在游戏中更为突出, 更高的 GPU 性能就能降低延迟

Frame Transmission 代表传输的延迟, 和显示器本身的刷新率规格相关(16.67 ms 相当于 60Hz)

buffer vsync: 代表垂直同步缓冲的延迟, 即通过这个延迟达到显示器刷新率匹配内容渲染速率, 从而避免画面撕裂的情况, 目前的 FreeSync/G-Sync/VRR 等技术能通过动态显示器刷新率实现两者的同步, 从而避免掉这个延迟

LCD Response time: 屏幕响应延迟, 这和屏幕本身的材质还有驱动形式有关, 就比如目前的折叠屏的响应总是慢的吓人.

很显然, 120Hz 能大幅度降低每一帧的传输延迟, 更高的采样率也能让画面更「跟手」. 但是 CPU+GPU 在这个 timeline 中也占据了很大一部分, 所以不能光说 120Hz 就一定更「跟手」, 也许因此你会感觉到画面很流畅, 但是如果说 CPU 不能完全带的动, 轻则「流畅但是不跟手」, 重则出现掉帧卡顿.

所以光靠高刷屏幕不见得体验就一定好, 还需要处理器够劲, 系统软件优化足够到位, 中间任何一环掉链子, 都会出现很多厂商 120Hz 但是实际体验还是拖泥带水的问题.

有的朋友可能会说: 既然要流畅, 那我们就让 SoC 频率更高, 加强散热, 做大电池, 这样总爽了吧?

然而移动平台上的能耗控制又是一个很复杂的问题. 理论上确实可以这么做, 但是机器的重量、发热都会不理想.

所以这代 A15 引入了 LPDDR5 内存, GPU 规格提升到了 5 核心, CPU 仍然维持 2 性能+ 4 效能的设计, 不管是性能还是效能核心都是业界的顶级水平.

更重要的是在于团队合作:

iOS 15: 从动画到手势, 深度优化

前面说了游戏等应用支持了自适应同步, 但是传统 App 仍然遵循的是固定刷新率变化, 这就涉及到一个问题: 当动画进行到一半的时候, 刷新率突变了, 如何避免动画出现进度跳跃.

CADisplayLink: 动画流畅、稳定的核心

Apple 在前两年推出了针对可变刷新率屏幕的定时器: CADisplayLink, 为可变刷新率场景带来了一系列变化.

第一个改进是更好的稳定性, 从而避免传统定时器受到系统 jitter 的影响.

第二个改进是, 完全根据屏幕刷新进行触发, 保证在不同刷新率下的动画速率一致.

第三是帮助实现在刷新率突变的时候维持正确的动画进度, 防止突然跳变.

另外 iOS 15 中, 每个触控手势的速度会根据你手指移动的速度动态调整, 从而让操作更爽快.

Cell Prefetching: 内容加载, 抢先一步

我们在使用 App 的时候经常会见到各种横向和竖向滚动的元素交互: 随着手指的移动, 新的内容也会加载出来, 旧的内容占据的资源会被释放.

这就涉及到两个问题:

如果手指运动的太快, 那么可能会碰到很多未加载的区域, 用户不得不等待

在设备性能受限的情况下, 交互和加载同时进行, 可能会引发卡顿

所以在新的 iOS 15 SDK 中(包括 macOS Catalyst), list 和 collection 的元素部件有了改进的预加载行为.

有了预加载之后, 可以避免出现滚动过快导致到尽头出现大量未加载和到底的尴尬情况. 

更重要的是, 这样的改变改善了性能和功耗表现, 让你在 120Hz 高刷下滚的更爽, 但不必让 CPU 维持高频率去保持流畅. 

总结

从上面一系列技术里, 我们得以窥见 Apple 如何处理好体验和续航的关系. 我们看到的是 iPhone 13 Pro 从屏幕到 SoC, 从 iOS 到 App, 都已经为迎接低功耗高刷做好准备.

目前唯一需要补上的短板, 就是 iPhone 的常亮屏幕功能, 希望 WWDC22 能一览真容.