北京
分享至
金融界2024年12月18日消息，国家知识产权局信息显示，苏州元脑智能科技有限公司申请一项名为“显存页分配方法、装置、计算机设备及存储介质”的专利，公开号 CN 119127506 A，申请日期为2024年9月。
专利摘要显示，本发明涉及计算机技术领域，公开了显存页分配方法、装置、计算机设备及存储介质，该方法包括：在接收到显存页请求的情况下，根据显存页请求确定显存页的目标数量；根据目标数量从空闲显存页表中确定预设数量个目标显存页组合，将预设数量个目标显存页组合中的空闲显存页分配给显存页请求，并更新空闲显存页表，其中，空闲显存页表用于确定空闲显存页，目标显存页组合包含若干连续的空闲显存页。本发明解决了从分配的显存页读取键值缓存时，需要手动修改内核代码进行多次分段读取，影响大型语言模型的计算效率的问题。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
