网易首页 > 网易号 > 正文 申请入驻

北京汽车制造厂(青岛)申请基于混合粒度知识蒸馏的车载大模型部署专利,知识蒸馏后的模型更适合部署在车载系统中

0
分享至

金融界2024年12月18日消息,国家知识产权局信息显示,北京汽车制造厂(青岛)有限公司申请一项名为“一种基于混合粒度知识蒸馏的车载大模型部署方法”的专利,公开号CN 119129651 A,申请日期为2024年9月。

专利摘要显示,本发明公开了一种基于混合粒度知识蒸馏的车载大模型部署方法,包括:对预训练大模型中的粗颗粒和细颗粒度的结构进行掩码的初始化;初始化低秩矩阵,这些矩阵用于在蒸馏训练过程中替代模型的原始权重参数进行更新;设置模型损失函数,包括知识蒸馏损失和正则化损失;模型训练过程中,保持预训练模型的参数不变,仅更新低秩矩阵和掩码参数;训练完成后进行模型评估,检查知识蒸馏后的模型是否满足性能要求;如果评估结果不满意,返回至训练步骤进一步优化;将低秩矩阵和掩码参数固定,将这些参数依据掩码融入到原始模型中。通过本发明知识蒸馏后的模型可以以小尺寸获得大模型的能力,更适合部署在资源受限的车载系统中,以提供高效的计算性能。

本文源自:金融界

作者:情报员

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
亏惨了!鹤岗首批购房者纷纷选择撤离!主要有这几个方面不适应

亏惨了!鹤岗首批购房者纷纷选择撤离!主要有这几个方面不适应

魔都姐姐杂谈
2024-12-21 16:02:55
确诊晚期,已全身转移!浙江女子懵了: 完全没感觉! 医生痛心:错过太多次机会

确诊晚期,已全身转移!浙江女子懵了: 完全没感觉! 医生痛心:错过太多次机会

FM93浙江交通之声
2024-12-21 16:16:00
网传江苏一村发布搬迁公告,补偿标准最低500元起!引发网友热议

网传江苏一村发布搬迁公告,补偿标准最低500元起!引发网友热议

火山诗话
2024-12-21 10:00:59
向太直接讽刺张兰,评论一片热闹,张颖颖发文:和老巫婆势不两立

向太直接讽刺张兰,评论一片热闹,张颖颖发文:和老巫婆势不两立

影视口碑榜
2024-12-21 14:38:23
景甜的旧照片!景甜大学时就很高贵,水汪汪的大眼睛,精致的五官

景甜的旧照片!景甜大学时就很高贵,水汪汪的大眼睛,精致的五官

人情皆文史
2024-11-17 00:53:48
医保集采,外企为什么集体退出?

医保集采,外企为什么集体退出?

孟大夫之家1
2024-12-20 18:29:05
精准逃顶!初代大网红,成了房地产最后赢家

精准逃顶!初代大网红,成了房地产最后赢家

大猫财经Pro
2024-12-16 19:36:31
《九重紫》大结局!boss居然是皇后,苗安素人设崩塌,五叔完犊子

《九重紫》大结局!boss居然是皇后,苗安素人设崩塌,五叔完犊子

祝晓塬
2024-12-23 00:30:50
普京败局已定,伊朗惨遭重创

普京败局已定,伊朗惨遭重创

现代小青青慕慕
2024-12-19 08:24:28
千万不要共情孩子过了头!看完这篇你就明白了|推荐

千万不要共情孩子过了头!看完这篇你就明白了|推荐

新东方家庭教育
2024-12-16 10:16:58
CBA积分榜最新排名出炉:广厦第1辽宁第6 广东已被挤到第10

CBA积分榜最新排名出炉:广厦第1辽宁第6 广东已被挤到第10

篮球快餐车
2024-12-23 01:07:52
俄罗斯首次发起“斩首行动”,基辅防空形同虚设,安全局官员归西

俄罗斯首次发起“斩首行动”,基辅防空形同虚设,安全局官员归西

碳基生物关怀组织
2024-12-21 17:38:05
好消息!汪希霖说今年过年想回北京,想陪张兰一起过春节!

好消息!汪希霖说今年过年想回北京,想陪张兰一起过春节!

祝晓塬
2024-12-22 22:30:32
新会稳居首位,鹤山反超台山!江门各地2024年1-10月财政收入排行

新会稳居首位,鹤山反超台山!江门各地2024年1-10月财政收入排行

蓝色海边
2024-12-22 22:01:36
杜兰特很不开心!不止因为太阳125-133不敌活塞,更因以下四点!

杜兰特很不开心!不止因为太阳125-133不敌活塞,更因以下四点!

田先生篮球
2024-12-22 15:43:21
48岁翁帆现身香港,朴素打扮难掩少女之姿,代替杨振宁看望老友

48岁翁帆现身香港,朴素打扮难掩少女之姿,代替杨振宁看望老友

西瓜爱娱娱
2024-12-20 10:49:44
湖南1男子为父报仇,玩弄仇人妻子10年,一夜屠尽仇家13口

湖南1男子为父报仇,玩弄仇人妻子10年,一夜屠尽仇家13口

风飘飘而吹衣
2024-12-22 10:59:18
中国大唐党组:坚决拥护党中央决定

中国大唐党组:坚决拥护党中央决定

新京报
2024-12-21 20:51:09
拒绝悬挂中国国旗,中国运动员全体退赛,主办方却发出威胁

拒绝悬挂中国国旗,中国运动员全体退赛,主办方却发出威胁

美人茶话会
2024-12-13 07:50:19
王海波会见石景山区委书记常卫

王海波会见石景山区委书记常卫

靓仔情感
2024-12-23 07:02:25
2024-12-23 09:35:00
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
4907196文章数 542789关注度
往期回顾 全部

汽车要闻

直面78S挑战 蔚来ET9售价66万元起

头条要闻

牛弹琴:特朗普威胁要"收回"巴拿马运河 中国又躺枪了

头条要闻

牛弹琴:特朗普威胁要"收回"巴拿马运河 中国又躺枪了

体育要闻

逆潮流而行!灰熊已成NBA最另类球队

娱乐要闻

赵丽颖化淡妆、唐嫣戴帽子,相差4岁状态不一样

财经要闻

起底黑色产业链:信息黑洞出卖个人隐私

科技要闻

GPT-5受阻,OpenAI成功为自己制造了危机

态度原创

亲子
游戏
房产
教育
手机

亲子要闻

孩子身高体重不达标,不一定吃得少长得慢,而是这6个“诱因”

《堡垒之夜》或将迎来《细胞分裂》联动内容

房产要闻

如何稳坐广州东销冠之位?新世界星辉,以高质生活交出了满分答卷!

教育要闻

如何将中华优秀传统文化融入心理健康教育?

手机要闻

传闻 iOS 19 将兼容这些 iPhone

无障碍浏览 进入关怀版