说华为昇腾910B跟英伟达A100性能接近,还有人不信,这不智谱AI认证来了:910B性能略弱于A100
ChatGLM-6B大模型:
微调训练:基于910B+ Pytorch性能8卡,性能 1951 tokens/s(A100:1863 tokens/s), 910B/A100性能比0.99;(这里好像哪个数据不对,应该华为是1851,但是被打错成了1951)
在线推理:基于910B+ Pytorch性能性能1卡,性能46 tokens/s(3090:25.7 tokens/s), 910B/3090性能比1.79。
GLM-130B大模型:
微调训练:基于910B+ Pytorch性能8机64卡,性能 116.7 tokens/s/卡(A100:144.4 tokens/s/卡), 910B/A100性能比0.808;
精度:loss下降情况,loss收敛,与GPU对齐,收敛比最大误差低于1%。
所以相当于华为未雨绸缪,知道9000S出来后,打压会进一步升级,所以索性AI方面硬件也实现了突破,我只能说这波华为上大分!

评论列表