一种进行模型剪枝无损加速大语言模型推理的方法及系统

被引:0
专利类型
发明
申请号
CN202411236951.9
申请日
2024-09-05
公开(公告)号
CN118780372B
公开(公告)日
2025-03-25
发明(设计)人
仝其胜 陈其宾 姜凯 李锐
申请人
山东浪潮科学研究院有限公司
申请人地址
250000 山东省济南市高新区浪潮路1036号s02楼
IPC主分类号
G06N5/04
IPC分类号
G06N5/045 G06F40/16
代理机构
济南尚本知识产权代理事务所(普通合伙) 37307
代理人
宋迪
法律状态
授权
国省代码
山东省 济南市
引用
下载
收藏
共 50 条
[1]   一种进行模型剪枝无损加速大语言模型推理的方法及系统 [P]. 
仝其胜 ;
陈其宾 ;
姜凯 ;
李锐 .
中国专利 :CN118780372A ,2024-10-15
[2]   一种大语言模型推理加速方法及系统 [P]. 
赵策 ;
王亚 ;
屠静 ;
李伟伟 ;
周勤民 ;
张玥 ;
雷媛媛 ;
孙岩 ;
潘亮亮 .
中国专利 :CN118133969B ,2024-07-09
[3]   一种大语言模型推理加速方法及系统 [P]. 
赵策 ;
王亚 ;
屠静 ;
李伟伟 ;
周勤民 ;
张玥 ;
雷媛媛 ;
孙岩 ;
潘亮亮 .
中国专利 :CN118133969A ,2024-06-04
[4]   一种基于参考的大语言模型推理加速方法及系统 [P]. 
仝其胜 ;
陈其宾 ;
姜凯 ;
李锐 .
中国专利 :CN118211649A ,2024-06-18
[5]   大语言模型的推理方法、大语言模型的训练方法 [P]. 
马占宇 ;
周涵 ;
吴文权 .
中国专利 :CN120450050A ,2025-08-08
[6]   一种大语言模型的推理加速方法、装置、设备及介质 [P]. 
刘纹石 .
中国专利 :CN119440817A ,2025-02-14
[7]   一种大语言模型推理加速方法、装置、系统及介质 [P]. 
沈东崎 .
中国专利 :CN119067221A ,2024-12-03
[8]   一种大语言模型高并发量推理方法及系统 [P]. 
花福军 ;
王波 ;
罗钦 ;
徐孟宇 ;
窦瑞琳 .
中国专利 :CN120181245A ,2025-06-20
[9]   一种大语言模型高并发量推理方法及系统 [P]. 
花福军 ;
王波 ;
罗钦 ;
徐孟宇 ;
窦瑞琳 .
中国专利 :CN120181245B ,2025-09-09
[10]   基于大语言模型进行情境问题推理的方法及相关设备 [P]. 
曹健 ;
徐伟辰 ;
赵新宇 ;
曹喜信 ;
张兴 .
中国专利 :CN119476467A ,2025-02-18