华栖云案例100讲｜上海交通大学-教学视频智能增强服务平台

项目客户及案例简介：

该项目服务于上海交通大学（下文简称“上海交大”），是我国历史最悠久、享誉海内外的高等学府之一，位列国家“双一流”“985工程”“211工程”重点建设高校。

此前，上海交大已建立校级云录播平台，但在课程观看、资源管理等方面缺少智能化应用。基于这一情况，华栖云为其打造了教学视频智能增强服务平台，对接原有云录播平台及视频资源共享应用平台，提供包含课件画面切片、PPT图片识别、视频语音识别、关键词提取、智能摘要等AI增强处理服务，赋能教学视频资源价值再造。

建设内容：

1.课件画面智能切片

对输入的包含课件画面的教学视频流，通过检测画面像素变化，识别连续且重复的帧，去重后进行图片抽帧，最终将视频中的课件切片生成为一张张PPT图片。同时，生成的PPT图片还可作为视频导航，点击PPT图片即自动跳转至视频对应时间进行播放。

2.图片语音文字识别

平台提供OCR识别技术，可对教学视频中板书、PPT图片进行文字识别并形成文本；提供语音识别和机器翻译技术，可对教学视频的音频内容进行处理并形成文本。形成的文本与视频时间一一对应，点击文可跳转至对应的视频片段进行播放。用户也可在线编辑生成的文本，进行修改校正，保证生成准确性。

3.关键词提取与检索

针对智能识别生成文本，平台提供进一步的分词处理功能。自动提取文本关键词，简洁、精准概括文段内容，并与视频时间对应，点击关键词自动跳转至视频对应时间进行播放。同时，支持用户对关键词进行自定义编辑，并可基于关键词进行教学视频检索，定位相应教学内容。

4.视频内容智能摘要

基于语言大模型的处理能力，可对课程视频的音频内容、视频画面文字进行智能分析，并对结果进行自然语言理解，最终生成课程视频智能摘要。摘要内容包含内容概要、内容关键词、段落总结、重点回顾四个部分，点击摘要内容跳转至对应的视频片段进行播放。

项目成果与价值：

1.便利课程观看

依托平台的文字识别与智能摘要等功能，可自动整理课堂内容，归纳重点，改变原有课程学习费时费力记录笔记、归纳重点容易出错的情况，便于知识学习与掌握。同时，提供点选相应识别生成的文字、图片播放对应视频片段的功能，让用户能够迅速找到需要的片段，便利课程学习。

2.高效资源管理

原有的视频资源平台汇集了众多教育资源，但缺乏智能的管理与分类方法，使得利用起来较为不便。平台提供关键词搜索功能，可将相关视频资源进行整合，使原本分散的视频资源被有效地盘活，形成了丰富多样、易于访问的教学资源库，效提升师生使用、管理的效率。

项目优势与亮点：

1.专业的多模态识别能力

平台基于华栖云自研专业大模型研发，该大模型侧重非结构化数据处理的业务场景，并通过海量教育行业相关的模型训练数据集进行训练，具有专业的媒体识别与理解能力。由此，平台可对教学视频中的语音、文字、PPT、黑板等对象进行更为准确的智能识别，保证专业度与可靠性。

2.与三方平台的灵活对接

平台设计并实现了统一规范的服务接口规范和标准，并具备多节点服务接入调度能力。具有灵活性与可扩展性。可根据客户的具体业务需求，动态扩展服务节点数量，确保系统能够持续提供稳定、高性能的服务，做到支持高性能、高可用、高并发业务场景。