trainer删掉了epoch的逻辑

[wjdmyby98k]

您好，我看了部分源码里面的trainer，发现都是改掉了epoch的逻辑，按照step去训练，那如果我想还是按照epoch去训练，应该怎么修改呢？其次是weighter模块貌似默认是关闭liger kernel的，但是一般训练都会开启liger kernel加快训练速度，然而开启以后会有一些优化，拿不到每个样本的loss，只有每个batch的loss，weighter内部会直接不生效，这块有考虑支持一下batch weighter嘛，感谢！

[haolpku]

感谢关注 DataFlex！针对这两个问题：

关于 epoch vs step：

DataFlex 的核心是动态样本选择，粒度天然在 step 级别——如果按 epoch 组织，"一个 epoch"到底指原始数据集还是动态采样后的数据会有歧义。而且大模型 SFT / continue pretrain 场景基本都是单 epoch（甚至 sub-epoch）训练，用 max_steps 控制训练预算更贴近实际习惯。

如果确实需要按 epoch 训练，可以用 数据集大小 / batch_size 换算成对应的 max_steps，效果等价。

关于 Liger Kernel 与 Batch Weighter：

您的观察很准确。现有 weighter 依赖 per-sample loss，和 Liger Kernel 的 fused loss 天然冲突。我们实测发现，强行拿回 per-sample loss / gradient 会让 GPU 利用率明显下降，属于算法固有的瓶颈。

因此我们目前的规划是：不在 sample-level weighter 里强行兼容 Liger，而是设计一套基于数据簇（cluster-based）的加权算法——在簇级别打分调度，既保留动态选择效果，又能兼容 Liger 等 fused 优化。稳定后会集成进主仓库，欢迎持续关注 🙏

[wjdmyby98k]

感谢您的回复！

1. dataflex其实默认就是按照单轮epoch去设计的，用step更能体现动态采样的本质，也并不保证每一条数据都采样到，只采样认为重要的数据。当dataloader迭代完了，step哪怕还没更新完，训练也自动结束了。我们的业务场景下是会训练多个epoch，所以还是得嵌套一个epoch循环，每一轮都重新初始化一下dataloader才行。

[haolpku]

您好，可以尝试一下#50
加入了epoch逻辑。我们测试好之后会merge