渲染
渲染阶段只做一件事:把已经测量好的矩形与颜色变成后端能吃的绘制调用。所有布局决策在此之前已经完成,渲染过程中不再做测量。
帧循环
后端:设置 root.rect = 整屏
后端:root.component.render()
├─ 把整屏矩形分发给 Overlay 层子节点
├─ 逆序渲染所有子节点
└─ 重算悬停与朗读
每个 Screen:dataStore.frame { buildFinish -> build(); buildFinish(); delegate.render() }
后端:按自己的帧末机制提交绘制
dataStore.frame 负责推进帧号、记录帧起始时间(动画的插值基准),并始终完成耗时统计;过期 local 属性只在整帧成功后清理,构建或绘制失败时保留到下一次成功帧或 Screen/Root 关闭。build() 重新执行用户 DSL、重建组件树、完成布局。buildFinish() 关闭 DSL 构建耗时统计,之后 delegate.render() 才是真正的绘制。
屏幕的 frame 耗时分为建树/测量布局与后续绘制两段,供调试叠层显示。后者仍包含框架的组件渲染遍历,并非仅后端代码;根节点帧末的延迟排序/重放还在这个屏幕计时之外。完整 UI CPU 要以 root 区间统计,不能直接把屏幕叠层的 backendRenderTimeMs 当作整个后端耗时。
为什么每帧重建
重建而不是 diff,是为了让”UI 是 state 的纯函数”这件事成立:用户不需要手写更新逻辑,也不需要框架维护一份复杂的 patch 算法。代价集中在分配与遍历上,因此前面几章的取舍(共享上下文对象、身份哈希缓存、ifEmpty 短路)都是围绕”让逐帧重建足够便宜”展开的。
绘制顺序
容器用 children.asReversed() 遍历。绘制是覆盖式的,先画的在下层,所以声明靠前的组件绘制在更上层。这与事件命中的正序遍历结合,给出统一直觉:”写在前面 = 在上面 = 先被点到”。
层级之间也遵循同一规则:Tooltip/IME 层被前插到子节点列表头部,Overlay 层紧随其后,主树在最后——于是 z 序是 提示层 > Overlay 层 > 主树。
完整的实现面、文字接口链及平台语义归属见渲染接口边界。
基础图元
后端有四个图元重载,属于两个基础图元。绝大部分内容走四边形:四个角各带一个颜色(左上、右上、左下、右下)。几何上可以拆成两个三角形,但那只是栅格化分片;颜色始终由四角在未变换矩形的局部坐标里定义的同一个双线性场决定。四边形有两种重载:无纹理的五参数形式,以及必须同时给出非空 ImageHolder 与图像像素空间 uv 的带纹理形式。ImageHolder.empty 是合法的“没有图像”输入,不会退化成无纹理填充。
backend.renderQuad(rect, lt, rt, lb, rb)
backend.renderQuad(rect, lt, rt, lb, rb, image, uv)
四角颜色的完整语义见渐变与合成:四角在未变换矩形上定义一个编码 sRGB、预乘浮点的双线性场,两个三角形都必须评估同一个场,对角线不得产生裂缝、折痕、重复覆盖或透明度突变。
由此确定的约定:
- 四个角与三角形的对应关系固定,后端不必做几何推断,直接提交即可;
- 参数全是 value class 或已有引用,因此这两个重载的核心调用侧不为参数生成临时对象或数组。四边形最初用”顶点列表 + 每个顶点的
Pair/Position/装箱颜色”,实测纯色矩形 648 B/次、贴图矩形 1056 B/次(约 25 个对象);九宫格一次绘制要发 9 个贴图矩形、文本选区是每个选中字符一个矩形,会成倍放大; - UV 处于图像像素空间,允许越界,平铺与九宫格策略依赖它;
- 坐标空间与
Measure、Position、Rect、鼠标位置、根节点矩形一致,原点左上、Y 轴向下; - 目标矩形、图片名义尺寸和所有坐标必须有限且可转成 Float;无效时跳过整笔调用,不能画出半笔;
Rect与uv只在调用期间借用,可能是调用方马上就会改写的MutRect;延迟后端必须当场取值或复制。
纯色矩形、渐变矩形、贴图矩形都是这些重载的扩展函数,自身不分配。它们是扩展而不是接口成员:后端无法覆写,要加平台快速路径就在 renderQuad 里判断,这样所有调用方一起受益。
三角形列表
四边形能表达的只有矩形及其仿射像——平行四边形。任意三角形不在其中:仿射映射把平行线映成平行线,所以矩形的四个角永远映成平行四边形;想靠”让第四个角与第三个角重合”退化成三角形,需要的是奇异映射,而奇异映射会把整个平面压成一条线。因此接口的第二个绘制图元是三角形列表,同样有无纹理与带纹理两个重载:
backend.renderTriangles(vertices, colors) // 每顶点 x, y
backend.renderTriangles(vertices, colors, image) // 每顶点 x, y, u, v
backend.fillPolygon(points, colors) // 便捷形式:凸多边形展开成三角扇
顶点使用 MeasureArray(底层 DoubleArray),颜色使用 ColorArray(底层 IntArray),因此没有逐顶点对象或装箱。设 N = colors.size:无纹理要求 vertices.size == 2N,带纹理要求 vertices.size == 4N,两种都要求 N % 3 == 0;两数组为空是合法空绘制。结构错误在查询资源和写入命令前抛出 IllegalArgumentException,用除法/余数判断,避免 N * stride 溢出。坐标或 UV 非有限、Float 转换溢出、目标矩形或图片名义尺寸无效时,整笔调用跳过。
三角形内部按重心权重插值。与四边形一样,三个顶点色先按各自 alpha 预乘,再在编码 sRGB 空间用浮点插值;带纹理重载把采样 texel 乘到这个预乘渐变上。完整规则见渐变与合成。
它是 DslRootRenderer 的成员,所以没有”取不到就不画”的分支:组件直接调用即可。框架自身只在演示页与三角取色板里用它,三角取色板复用根自己的暂存数组,不逐帧重建。延迟绘制的后端必须自己拷一份所需值;renderQuad 的顶点数固定,可以存进字段。
带纹理重载的资源行为统一:空引用或待就绪不画;确认缺失、来源不支持或加载失败时使用后端缺图纹理,保持同一几何、UV、颜色和四 Measure 步长,绝不在失败时改走无纹理。资源加载状态不进入公共接口。
后端必须保留绘制时的裁剪与变换语义。延迟绘制可以记录状态、将变换烤入顶点,或在状态切换时提交;框架不要求统一的提交方式,见调用顺序与批处理。
裁剪
withScissor 的矩形按当前局部坐标解释。进入作用域时后端快照四边与完整局部到输出变换,映射四个角,再与已有的输出裁剪求精确交集;旋转、切变、反射与合法的正 w 透视都按真实投影形状裁剪,包围盒只能作为轴对齐情形的加速。空/无效矩形、非有限或奇异变换、映射角 w <= 0 都是空裁剪并失败关闭,作用域内不画任何内容;block 仍执行一次,正常退出与异常都会恢复先前裁剪。完整契约、示例与验收要求见裁剪与变换作用域。
绘制被裁剪,事件命中也被裁剪——装饰器覆写 testHit,在子树自己的坐标空间里用同一个矩形做包含测试,嵌套装饰器自然形成交集,保证”看不见的地方点不到”。
需要注意 renderScissor(只裁绘制)与 scissor(裁绘制并裁输入)语义不同:scissor 的输入裁剪只作用于按下/拖放/滚轮,移动与松开始终透传(理由见事件)。
变换
Transform 是 3×3 齐次矩阵,Float 精度,按行主序存储,向量右乘(v' = M·v)。乘法带透视除法,因此也支持投影。
组合方向
A * B 是矩阵乘积 A·B,作用顺序是 B 先、A 后。
组件的 transform 是相对父节点的。要把一个组件映射到 Screen 空间,需要沿链自下而上组合:
world = 祖先变换 * ... * 父变换 * 自身变换
relativeTransform(parent) 正是做这件事:从自身向上回溯到 parent,逐层用 child.transform * 累计。返回 null 表示 parent 不是祖先。
empty 的快速路径
isEmpty 用的是引用相等(this === empty)而不是逐元素比较单位矩阵。因此:
- 默认的
Transform.empty会短路掉乘法与求逆,常见情况下零开销; - 工厂函数对”单位取值”直接返回
empty(平移量为 0、缩放为 1、旋转为 0、切变为 0、透视系数为 0),所以这些退化调用也是免费的; - 只有用构造器显式写出的单位矩阵不会被识别为空,会走完整计算。
这是把”判断便宜”换成”零判断成本”的取舍:绝大多数组件用默认值,因此让它免费是划算的。变换装饰器另有一层保护——传入单位取值时直接返回自身,不产生包装对象。
逆变换
invert() 也以 isEmpty 短路,其余情况计算行列式与伴随矩阵。奇异矩阵(例如缩放系数为 0)没有逆,此时返回单位矩阵:命中测试退化为”未变换”,而不是把 Infinity / NaN 扩散到整棵子树。
参与变换的操作
子节点渲染时会应用变换;渲染路径与事件路径都会把鼠标位置换算进子树自己的坐标空间,因此命中测试、悬停判定与渲染期读取鼠标的组件看到的是同一个坐标系。
当前只有变换装饰器与 relativeTransform 会读取组件的 transform 属性;如果自定义组件直接覆写 transform,坐标换算(命中、相对矩形)会生效,但常规渲染路径不会自动应用它。
颜色
Color 是包装 Int 的 value class,通道为 RGBA8888,红在最高字节、透明度在最低字节——与常见的 ARGB 排列相反。argbInt / abgrInt 提供换序,序列化存的是原始 rgbaInt。
通道值恒在 0..255:
- 用整数构造时钳制(大于 255 截到 255,负数变 0,不环绕);
- 用浮点构造时按
(x * 255).toInt()向零截断(0.5f得到127),NaN 截断为 0,因此不会逸出取值范围;
混合运算
逐通道整数运算:
| 运算 | 公式 | 用途 |
|---|---|---|
mixedWith | a * b / 255 | 乘法混色,主题色叠加 |
screenWith | 255 - (255-a)(255-b)/255 | 滤色,提亮 |
averageWith | (a + b) / 2 | 平均 |
over | 非预乘 source-over | 正常透明叠加 |
over 的合成前先算 outA = srcA + dstA*(255-srcA)/255,再按 outA 归一化各通道;outA 为 0 时直接返回全透明黑。归一化保证结果是”非预乘”的,可以直接再参与下一次混合。
插值刻意用两端加权和(begin*(1-p) + end*p)而不是”起点加差值”,因为差值的钳制会破坏中间色。
这些是 Color 的通用整数运算,不参与图元内部的颜色插值。四边形与三角形使用另一套规则:编码 sRGB、按 alpha 预乘、浮点插值,再对目标做一次 source-over,见渐变与合成。
颜色作用域
主题色是构建期概念,组件在自己的构造表达式里就把它求解成普通 Color 值,渲染阶段完全没有颜色逻辑。作用域与混色规则见 上下文。
顶点与图像
ImageHolder 只承载资源标识与宽高比信息,不承载目标尺寸——目标尺寸由 Modifier 决定。UV 使用的是以图像为单位的坐标,常见写法是按资源的名义尺寸给(例如 16.px),高清资源包也能得到相同比例。
绘制策略(裁剪、平铺、拉伸、九宫格)决定了从目标矩形到 UV 的映射;平铺与九宫格会产生越界 UV,因此后端必须启用纹理环绕而不是钳制。详见 图像。
渲染能力现状
下面分别记录裁剪、批处理与其它着色器效果的现状。图元渐变已使用后端自己的颜色场计算;这不代表文字、物品和整个子树都进入同一条自定义管线。
旋转与透视下的裁剪
withScissor 在进入时快照四边与完整变换,映射四角后与已有输出裁剪求精确交集;内层变换不会移动已生效的裁剪。包围盒不能替代最终覆盖,空或无效输入仍执行块一次,并抑制其中的绘制。两个作用域都必须在正常与异常退出时恢复状态。完整契约见裁剪与变换作用域,后端实现与验收进度见渲染接口边界。
具体管线属于后端:Java2D 与 canvas 可使用形状裁剪;MC 可以使用统一的模板测试约束不同着色器。临时目标必须保留原有颜色、深度和混合语义,不能把裁剪范围改成透明隔离组。平台之间不要求外缘抗锯齿逐像素相同。
调用顺序与批处理
DslRootRenderer 不提供 flush()。框架以调用顺序表达覆盖关系,后端负责使每个像素的结果等同于按该顺序绘制。像素相交的绘制保持先后,不相交的绘制可以换位;同批次内保持图元顺序,半透明重叠也能正确混合。
后端可以立即绘制、录制有序命令,或在上述约束下重排合批。矩阵已烤入顶点时,变换作用域不必切断批次;使用硬件 scissor 时,裁剪状态切换仍需提交先前绘制。平台自绘、不可记录的状态和帧末由后端处理提交边界。
优化必须比较总成本:录制、排序、校验、提交的 CPU 时间,以及实际绘制调用和 GPU 时间。减少批次并不自动代表帧更快。MC 后端的原序与优化模式共享录制、重放代码,可以对同一份顶点和起始颜色、深度缓冲区做片段级像素对照;原生绘制在片段之间执行一次。读回像素的验收模式不用于计时。
开发用 demo 产物里的 TestRenderScenesPage 顺序运行工作台、设置、文本、容器物品、嵌套滚动、多纹理图库、移动虚拟列表和调色板。默认每页 650 帧,前 200 帧预热、随后 400 帧采样,截图放在采样之后;帧驱动保证滚动轨迹可复现。kotlinmcui.bench.scene 可固定枚举场景,kotlinmcui.bench.reverse=true 反转顺序,kotlinmcui.bench.frames 可缩短单独的像素验收运行。性能统计和像素读回应分开运行,具体计时由后端提供。
其它着色器效果
圆、圆角、软阴影、任意遮罩目前都没有原语:只能预先做纹理走九宫格,或者用 fillPolygon 拿多边形逼近。着色器可以解析地做(圆在片元里算距离与边缘覆盖率,连纹理都不需要),但覆盖范围只限我们自己提交的几何:
- 文字:
1.20.1的文本顶点本来就写进我们传给字体的顶点消费者,换成自己的着色器最便宜;26.x的文字管线由原版的状态类决定,要自己发字形四边形; - 物品与平台底纹:需要处理原生管线。硬边覆盖可由统一模板测试限制;软效果还需专门的遮罩或合成机制,并保留原有混合语义。
后面这两条只针对 MC 后端。”绘制即状态”的后端(Java2D、canvas)没有这个缺口:裁剪是图形状态,文字与图像一并受它约束。
26.x 的顶点消费者只能写固定属性(位置 / 颜色 / UV / 法线 / 线宽),自定义顶点数据的承载方式仍需评估。当前 1.20.1 后端的图元渐变使用独立 GL 程序与顶点格式,着色器源码随代码打包;扩展到文字、平台底纹或其它版本时,仍需分别处理生命周期与平台集成。