腾讯最近真的猛,产品增长快不算,模型也库库发布
3D、视频和 LLM 在GitHub上总Star数都超过2.6万了
刚才发布了混元 T1 推理模型的正式版,推理速度极快(首字秒回)而且支持超常文本处理
模型基于混元Turbo S训练
而且这次的正式版比前段时间上线腾讯元宝的混元T1-preview在各项测试上都有大幅提升
混元T1已在腾讯云官网上线,输入价格为每百万tokens 1元,输出价格为每百万tokens 4元。
混元 Turbo S 这个模型也很有意思,采用Hybrid-Mamba-Transformer融合模式,应该是业界首次将混合Mamba架构无损应用于超大型推理模型。
Mamba 架构相较于 Transformer 可以处理更长的上下文,同时可以大幅降低推理时的内存占用和算力成本。
混元T1能有效解决长文推理中常见的上下文丢失和长距离信息依赖问题。同时,混合Mamba架构针对长序列处理进行了专项优化,通过高效的计算方式,在确保长文本信息捕捉能力的同时大幅降低资源消耗。
他们这个混合架构可以确保长文本信息捕捉能力的同时大幅降低资源消耗,在相近的激活参数量下,实现了解码速度提升2倍。而且首字时延低于1秒,实际应用中可以做到秒回。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.