请问咱们软件考虑了 训练框架或者CPU侧的耗时了嘛 目前

[zcuuu]

请问咱们软件考虑了 训练框架或者CPU侧的耗时了嘛 目前

[HuangHuang-MT]

目前没有对host overhead的建模。
所以在shape较小等情况下，由于host bound的存在，性能估计的误差相对较大。

[zcuuu]

那请问后续有对host overhead的建模的计划吗

[HuangHuang-MT]

等我们完成multi stream的建模后，会尝试对典型的host bound场景做一些抽象。