商汤绝影登陆慕尼黑车展 大模型赋能智能座舱|慕尼黑车展

汽势Auto-First|刘天鸣

2023慕尼黑车展上，“智能汽车时代的通用人工智能核心供应商”商汤绝影完成欧洲首秀，开启国际化新征程。本届慕尼黑车展上，商汤绝影展示了智能座舱大模型产品体系，以大模型技术直击多种出行痛点，带来安全舒适、极简交互以及个性懂你的智能座舱体验。

当下的智能汽车虽然有很多的传感器，包括摄像头，麦克风，激光雷达，但是各种不同类型的传感器信号不能很好进行融合，多模态的数据处于一种割裂的状态。更为关键的是，车机的决策和控制模块均是基于规则，它不能针对不同的环境和个人给出个性化的输出，整个给终端用户的体验是较为机械，交互的界面也是比较呆板和繁琐。

随着大模型的出现以及与智能汽车的深度结合，智能座舱体验不再割裂，而是像人一样拥有了记忆、逻辑、知识和五官感受。商汤绝影基于大模型设计了记忆模块，让系统可以记住与用户沟通的点点滴滴。大模型让系统有了自己的逻辑和思维方式。知识库的挂载可以让系统成为某一个领域的专家，帮助用户解决实际问题。多模融合可以让系统看到和听到用户的状态和指令。

商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚表示，“商汤绝影自诞生起就蕴含着国际化的基因，在多年的创新与实践中逐步发展成为驾、舱、云三位一体的架构体系，如今走向全球恰逢其时。此次车展可以说是AGI时代一个令人兴奋的新起点，我们期待将长期沉淀的大模型技术能力和量产经验带给全球客户，让智能座舱变成暖心懂你的好管家，让智能驾驶变成安全可靠的老司机，共同开启人机共驾的新体验。”

以商汤日日新大模型产品作为底座，绝影打造了以车舱大脑为核心的全新智能座舱架构，具体分为底层支撑、操作系统、智能应用以及智能交互四个层次。首先在底层支撑分为车端、云端：车端包括了摄像头和各种感知硬件，它们能够全面感知包括娱乐在内的各种车内状态，也包括各种长短记忆模块；在云端，则依托强大的AIDC基础设施以及日日新大模型的加持。

基于车舱大脑充分的信息融合，发挥它决策和推理的能力，协同调动车内各种资源，去控制车内各个部分及APP，产生输出强大丰富的内容，能够生成车内智能化的操作系统。

得益于智能决策系统车舱大脑，智能车舱从安全、娱乐、教育、效率等4个场景出发，打造出10+项应用，大幅提升驾乘安全性，并丰富舱内的娱乐体验，提供智能化的教育服务，还包括大幅度优化在车内的操作并提高工作效率。

最终，通过虚拟助手(数字人)的方式，打破人机交互边界，实现拟人化的交互，为车主提供更懂你，有思想，有逻辑的车载管家。

在智能座舱里，商汤通过视觉、听觉等多模态融合，全方位感知用户需求，通过标签化数据记录用户习惯和偏好，提供专属个性服务。同时，商汤还通过大模型强大的环境理解、逻辑思维和内容生成能力，带来更懂用户的“车舱大脑”，以及可支持形象、语音快速定制的数字人进行拟人化交互。

具体来说，商汤绝影智能车舱大模型产品体系为车企提供多种场景内的解决方案：其中有针对已有场景的一些升级，比如车载语音中闲聊的大模型解决方案，同时车舱团队还创新了不同场景下大模型在车舱内的应用，包含AI说明书，旅游攻略，创意音绘（利用文生图大模型来创作壁纸和音乐封面），驾乘守护（大模型结合DMS来缓解疲劳），多元sensechat（多角色闲聊），以及健康视诊（大模型进行健康问诊），为客户项目体验的优化提供丰富的感知能力。

除了智能座舱，商汤绝影作为国内第一批率先激活L2++级别自动驾驶量产的服务商，也在大模型的加持下，实现了核心技术的再度突破。

商汤联合团队提出的UniAD（Unified Autonomous Driving）自动驾驶通用算法框架获得2023年度CVPR最佳论文，首次将检测、跟踪、建图、预测及规划整合到一个基于 Transformer 的端到端网络框架下，实现多目标追踪准确率提升20%、车道线预测准确率提升30%、目标轨迹预测误差下降38%、规划误差下降28%。新算法的量产预计将于2023年四季度准备就绪，进一步提高绝影自动驾驶产品的行业竞争力。

今年上半年，绝影的量产业务实现了573%的同比增长，量产交付数量达到39万台车，规模量产也带动了单车毛利提高29%。新增定点数量达500多万台，累计定点车型160多款。