数据中心大模型训练的流水线并行优化方法及装置

被引：0

专利类型：

发明

申请号：

CN202410466707.5

申请日：

2024-04-18

公开(公告)号：

CN118069375B

公开(公告)日：

2024-06-18

发明(设计)人：

李丹熊典钱岭

申请人：

清华大学中移（苏州）软件技术有限公司

申请人地址：

100084 北京市海淀区清华园1号

IPC主分类号：

G06F9/50

IPC分类号：

G06N20/00

代理机构：

北京清亦华知识产权代理事务所(普通合伙) 11201

代理人：

黄德海

法律状态：

实质审查的生效

国省代码：

江苏省常州市

引用

下载

收藏

法律状态

法律状态公告日	法律状态	法律状态信息
2024-06-11	实质审查的生效	实质审查的生效IPC(主分类):G06F 9/50申请日:20240418
2024-05-24	公开	公开
2024-06-18	授权	授权

共 50 条

[1] 数据中心大模型训练的流水线并行优化方法及装置 [P].

李丹 ;

熊典 ;

钱岭 .

中国专利 :CN118069375A ,2024-05-24

[2] 大模型流水线并行训练容错方法及相关设备 [P].

刘圆 ;

郑超 .

中国专利 :CN119917168A ,2025-05-02

[3] 一种加速大模型训练的异步多向流水线并行方法 [P].

陈岭 ;

余文杰 .

中国专利 :CN119250147A ,2025-01-03

[4] 一种多模态大模型的流水线并行训练方法 [P].

李传坤 ;

刘文杰 ;

刘晓东 ;

郭志鹏 ;

方铭 ;

张昕怡 .

中国专利 :CN120179416A ,2025-06-20

[5] 一种多模态大模型的流水线并行训练方法 [P].

李传坤 ;

刘文杰 ;

刘晓东 ;

郭志鹏 ;

方铭 ;

张昕怡 .

中国专利 :CN120179416B ,2025-08-12

[6] 一种加速大模型训练的异步多向流水线并行方法 [P].

陈岭 ;

余文杰 .

中国专利 :CN119250147B ,2025-04-04

[7] 用于大规模模型训练的流水线并行划分与内存优化方法 [P].

张盛 ;

刘方明 ;

马月 ;

王博闻 ;

贺澎 ;

岳知润 .

中国专利 :CN119336489A ,2025-01-21

[8] 基于流水线并行的大语言模型数据高效预处理方法及系统 [P].

马静 ;

王福喜 ;

钱宝生 ;

周娜 ;

候晨蕾 ;

贾怡恬 .

中国专利 :CN118963992A ,2024-11-15

[9] 面向分布式大模型流水线并行训练的边缘计算方法及装置 [P].

王小西 ;

郭棉 ;

朱军 ;

王其宏 ;

宋人强 ;

郭发 ;

谭笑丹 ;

段霞光 ;

罗涛 ;

杨天 ;

廖峰 .

中国专利 :CN119829254A ,2025-04-15

[10] 基于梯度感知参数冻结的大模型流水线并行训练方法及系统 [P].

乔林波 ;

郑浩 ;

梁鹏 ;

时彦琦 ;

杨凯翕 ;

李东升 .

中国专利 :CN118568499A ,2024-08-30

← 1 2 3 4 5 →