[Bug] CI UT 整体超时 60 分钟：pkg/sql/plan race 测试未完成就被 timeout kill

[Ariznawlll]

环境

Field	Value
PR	#26430
CI Run	https://github.com/matrixorigin/matrixone/actions/runs/30891209862/job/91933473903
Runner	amd64-mo-shanghai-8c16g

问题

UT 整体在 Makefile 中设了 timeout 60m，执行到 pkg/sql/plan race 测试 shard 1/8 时触发 60 分钟超时，被 timeout 命令 kill（exit code 124）。

08:29:48  UT 开始 (race check)
08:30:02  Run light race-test packages (parallelism 6)
09:15:23  Run exclusive race-test packages serially
09:25:04  Run heavy race-test packages (parallelism 3)
09:29:42  Run pkg/sql/plan race shard 1/8 (1531 tests, 192 tests/shard)
09:29:44  make: *** [Makefile:388: ut] Error 124  ← 60 分钟超时

分析

• PR test: add Data Branch issue BVT coverage #26430 没有修改 pkg/sql/plan，不是 PR 引入的
• pkg/sql/plan 有 1531 个测试，分成 8 个 shard，仅跑到 shard 1/8 就超时了
• 之前的 light/exclusive/heavy 测试已经用了 ~55 分钟，留给 sql/plan 的时间不够
• 这是 UT 整体时间膨胀的问题，不是某个测试特别慢

Makefile 超时设置

@cd optools && timeout 60m ./run_ut.sh UT $(SKIP_TEST)

建议

1. 加大整体超时至 90 分钟或 120 分钟
2. 或者减少 pkg/sql/plan 的测试数量 / 分更多 shard
3. 或者优化 heavy race-test 的执行时间

[daviszhen]

• 8c / 16 GiB 限制下，192 项 pkg/sql/plan race shard 通过。

场景 Wall time Go 测试执行 内存峰值
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━ ━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━
首次 race 编译 + shard 1/8 约 87s 11.544s 2.6 GiB
───────────────────────────────── ─────────── ───────────── ────────────────────
race 构建缓存命中后，同一 shard 14.761s 11.249s 未触及 16 GiB 限制

限制方式：taskset -c 0-7 固定 8 核，systemd transient service 设置 MemoryMax=16G、禁用 swap；测试无 OOM。

结论：

• pkg/sql/plan 的 192 项 shard 在 8c16g 下本身不是分钟级测试：缓存命中后约 15 秒。
• 首次进入该包时，race 编译会使首 shard 增至约 87 秒。
• 以“1 次首次构建 + 7 次约 15 秒 warm shard”粗估，8 个分片顺序完成约 3 分钟；这是估算，具体取决于各片测试分布。
• CI 在剩余约 2 秒时才启动 shard 1/8，必然是整体 60 分钟预算耗尽，不是该 shard 自身超时。

─ Worked for 5m 21s ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────

› 依据你的评估, issue 的问题是 pkg/sql/plan ut造成的吗

• 不是根因。pkg/sql/plan 只是最后暴露整体预算耗尽的测试包。

证据：

• CI 启动该 shard 后约 2 秒就被外层 timeout 60m 杀掉。
• 本地 8c16g 下，同等 192 项 shard 缓存命中也需约 15 秒；首次 race 编译约 87 秒。
• 因此当时即使换成多数其他非瞬时测试包，也会超时。

更准确的归因是：前序 light/exclusive/heavy race 阶段已耗尽 60 分钟预算，pkg/sql/plan 没有获得足够执行时间。它确实为整个 UT 还需要约数分钟的尾部工作量，但不是“某个 plan 测试异常慢导致 60 分钟超时”。