PaddleMIX-多模态理解大模型性能优化

·多模态理解大模型性能优化:飞桨通用优化策略:基于飞桨自研分布式并行,结合低比特权重量化和多卡并行推理策略,实现多模态大模型高效推理;Qwen2.5-VL 高性能推理:采用高性能算子融合策略与高效注意力算法,引入Token拒绝采样策略,显著提升推理效率,模型解码速度提升110%DeepSeek-VL2 高性能推理:通过高效MLA机制与长序列注意力机制量化加速,在保障精度下大幅提升计算性能,动态图推理相比PyTorch提升3倍以上。

·5月26日(周一)实战营将带你从环境准备开始,实操体验基于PaddleMIX框架的多模态理解理解大模型推理加速,感受PaddleMIX在模型推理方面的强大优势。

*
您的姓名:
*
请输入您的手机号码:
*
您的身份是:
数据科学家
机器学习工程师
软件开发工程师
嵌入式系统工程师
产品经理
企业负责人
项目负责人
研究员/学者
老师
学生
其他
*
公司全称(如:百度在线网络技术有限公司):
*
您基于什么需求使用/计划使用PaddleMIX?【多选题】
企业有AI业务转型、AI业务落地需求,主要服务客户项目交付
希望快速提升企业内部业务开发效率、降低生产成本
希望快速提升个人算法能力
*
您/您所在单位的AI技术方向:
【多选题】
图像理解
文档理解
图表理解
视频理解
多模态检索
文生图
文生视频
图像编辑
视频编辑
多模态数据生成
多模态数据清理
其他
*
您计划将PaddleMIX应用于哪些领域:【多选题】
政企服务
工业制造
能源电力
交通
智慧城市
金融
教育
医疗
文化传媒
电商
运营商
仓储物流
建筑工程
其他
*
您使用的训练硬件主要为:
【多选题】
NVIDIA
昇腾
昆仑芯
海光
寒武纪
燧原
天数智芯
其他
*
您使用的推理硬件主要为:【多选题】
NVIDIA
Intel
昇腾
昆仑芯
寒武纪
燧原
天数智芯
登临
其他
问卷星提供技术支持
举报