北京
分享至
金融界2024年10月29日消息，国家知识产权局信息显示，北京卓视智通科技有限责任公司申请一项名为“一种视频理解方法、系统、电子设备和存储介质”的专利，公开号CN 118823630 A，申请日期为2024年6月。
专利摘要显示，本发明涉及多模态大模型技术领域，具体公开一种视频理解方法、系统、电子设备和存储介质，包括：按照预设抽帧间隔对视频进行抽帧，得到多个视频帧并编码，得到多个初始编码特征；计算每两个时间相邻的初始编码特征的余弦相似度，并将余弦相似度不大于第一阈值的初始编码特征确定为目标编码特征；当目标编码特征的数量不小于第二阈值时，构建初始时序编码特征并压缩，得到目标时序编码特征；对目标时序编码特征进行映射，得到映射编码特征，并将映射编码特征与目标视频的问题文本token序列输入至训练好的大语言模型，得到回答文本。本发明能够有效提取视频的重要变化信息，避免了信息丢失，从而提升了大语言模型对于视频理解的准确率与效率。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
