PaddleFormers大模型高性能训练套件

PaddleFormers大模型高性能训练套件 正式发布❗🎉
⭐技术亮点
模型覆盖全面:100+ 主流大语言模型和视觉语言模型的训练能力支持,涵盖了ERNIE-4.5、ERNIE-4.5-VL、DeepSeek-V3、GLM-4.5系列、Qwen2/3系列、Qwen3-VL等前沿模型,还提供了OCR文档领域特色模型PaddleOCR-VL的完备训练能力。
高性能训练:实现了FP8低精度训练与高性能算子优化、通信计算重叠优化、精细化存算均衡等策略,大幅提升大模型训练的计算、通信和存储效率。在DeepSeek-V3、GLM-4.5-Air等模型上,训练性能明显超越Megatron-LM。
便捷开箱即用:训练参数可通过yaml文件与CLI统一配置,仅需一行命令即可启动完整训练流程,大幅提升开发效率与整体使用体验。
国产硬件适配:支持昆仑芯P800、天数天垓150、沐曦C550等国产计算平台,并提供基于128卡昆仑芯P800全参数微调DeepSeek-V3,是最少国产算力资源的全参数微调方案。
*
您的姓名:
*
请输入您的手机号码:
*
您的身份是:
算法工程师/研究员
AI 产品经理
研究人员
技术负责人/架构师
老师/学生
其他
*
单位全称(如:百度在线网络技术有限公司):
*
您使用/计划使用大模型高性能训练套件PaddleFormers的主要诉求为?【多选题】
AI业务转型及AI业务落地需求,服务客户项目交付
提升企业内部业务开发效率、降低生产成本
提升个人技术能力
其他
*
您目前处于大模型应用的哪个阶段?(基于PaddleFormers或其他大模型训练微调工具)
调研阶段,尚未开始训练
正在尝试微调/训练模型
已在实际业务中使用微调模型
已部署并服务用户
基座大模型目前已满足需求应用中,当前阶段仅为初步了解
其他
*
您目前下载使用过的文心4.5系列开源模型:【多选题】
ERNIE-4.5-300B-A47B-Base
ERNIE-4.5-300B-A47B
ERNIE-4.5-21B-A3B-Base
ERNIE-4.5-21B-A3B
ERNIE-4.5-VL-424B-A47B-Base
ERNIE-4.5-VL-424B-A47B
ERNIE-4.5-VL-28B-A3B-Base
ERNIE-4.5-VL-28B-A3B
ERNIE-4.5-0.3B-Base
ERNIE-4.5-0.3B
还未下载过文心4.5系列模型
*
您目前最需要基于PaddleFormers微调或训练的大模型是?【多选题】
ERNIE 系列
Qwen 系列
LLaMA 系列
GLM 系列
Phi 系列
Gemma 系列
其他
*
您之前使用过哪些大模型训练框架?【多选题】
Hugging Face Transformers
Megatron-LM
DeepSpeed
Colossal-AI
FairScale
‌LLaMA-Factory‌
ms-swift
unsloth
其他
*
您计划将基于PaddleFormers微调后的大模型应用于哪些业务场景?【多选题】
智能客服/对话系统
内容生成(文案、代码等)
多模态理解(图像、文档、视频)
智能搜索/推荐
企业知识库/问答
科研实验/算法研究
其他(请注明)
*
  1. PaddleFormers最吸引您的是哪方面能力?

【多选题】
高性能训练(超越 Megatron-LM)
支持国产芯片(昆仑芯、天数智芯等)
丰富的模型支持(ERNIE、Qwen、GLM 等)
全流程训练支持(预训练、SFT、DPO 等)
易于部署(支持 Safetensors、vLLM 等)
开源生态完善,与 Hugging Face 兼容
其他(请注明)
*
您使用的训练硬件主要为:
【多选题】
NVIDIA
昇腾
昆仑芯
海光
寒武纪
燧原
天数智芯
其他
问卷星提供技术支持
举报