PaddleFormers大模型高性能训练套件 正式发布❗🎉
⭐技术亮点
模型覆盖全面:100+ 主流大语言模型和视觉语言模型的训练能力支持,涵盖了ERNIE-4.5、ERNIE-4.5-VL、DeepSeek-V3、GLM-4.5系列、Qwen2/3系列、Qwen3-VL等前沿模型,还提供了OCR文档领域特色模型PaddleOCR-VL的完备训练能力。
高性能训练:实现了FP8低精度训练与高性能算子优化、通信计算重叠优化、精细化存算均衡等策略,大幅提升大模型训练的计算、通信和存储效率。在DeepSeek-V3、GLM-4.5-Air等模型上,训练性能明显超越Megatron-LM。
便捷开箱即用:训练参数可通过yaml文件与CLI统一配置,仅需一行命令即可启动完整训练流程,大幅提升开发效率与整体使用体验。
国产硬件适配:支持昆仑芯P800、天数天垓150、沐曦C550等国产计算平台,并提供基于128卡昆仑芯P800全参数微调DeepSeek-V3,是最少国产算力资源的全参数微调方案。