北京
分享至
金融界2024年10月24日消息，国家知识产权局信息显示，中国移动通信集团四川有限公司及中国移动通信集团有限公司申请一项名为“一种模型训练方法、装置、电子设备、芯片及介质”的专利，公开号CN 118797340 A，申请日期为2024年4月。
专利摘要显示，本公开提供一种模型训练方法、装置、电子设备、芯片及介质。该方法包括：获取原始训练语料的输入序列；通过线性变换对输入序列进行处理，得到输入序列的第一查询向量、第一键向量和第一值向量；根据第一查询向量、第一键向量和第一值向量，通过索引确定第一权重、第二权重和第三权重；将第一权重、第二权重和第三权重进行组合，得到多个参数组，其中，多个参数组两两之间存在相同元素；根据多个参数组和输入序列，确定输入序列的注意力词向量，注意力词向量用于训练基于注意力机制的模型。通过本公开提供的技术方案，解决了待训练模型中注意力机制部分的权重参数量大，训练成本高的问题，降低了待训练权重参数的数量，降低了模型训练的成本。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
