Skip to content

[Draft] feat: introduce suite-based training regression framework - #261

Open
Chamberlain0w0 wants to merge 1 commit into
masterfrom
feat/test_infra
Open

Chamberlain0w0 wants to merge 1 commit into
masterfrom
feat/test_infra

Conversation

@Chamberlain0w0

@Chamberlain0w0 Chamberlain0w0 commented Nov 5, 2026 •

Copy link
Copy Markdown
Collaborator

概述

引入新的训练回归测试框架,替代集中式 test_config.json 的主要执行职责,同时保留旧入口用于经典测例迁移兼容。

主要改动

  • 新增按模型、场景、资产和套件组织的 tests/regression/ 框架。
  • 新增统一运行入口:
    ./scripts/run_all_tests.sh
    ./scripts/run_all_models.sh
  • 默认与上一次成功运行的日志对齐 loss 和吞吐,并保存 commit、环境、命令、原始日志和结构化报告。
  • 支持 smoke、pr、nightly、perf、release 五类套件。
  • 迁移经典测例,并新增 Qwen3 重计算、多进程及 Mixtral EP/EDP 测例。
  • perf 改为独立 PROFILE_MODE=ON 的 kernel profiling 套件。
  • 增加可选 deep 模式,支持参数/梯度、checkpoint、LoRA、LR 和 oracle 检查。
  • 修正 LLMC loader 的模型配置恢复。

验证

  • Python 自测:185 项通过,3 项跳过。
  • CPU 编译、CTest 和深度 PR 测试通过。
  • clang-format、Black、clang-tidy、IWYU 检查通过。
  • 当前尚未完成完整 GPU 套件和 CI runner 部署。

旧 test_config.json 和旧入口暂时保留,仅用于迁移校验和兼容。

@Chamberlain0w0 Chamberlain0w0 changed the title [WIP] feat: introduce suite-based training regression framework [Draft] feat: introduce suite-based training regression framework Nov 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant