网易首页 > 网易号 > 正文 申请入驻

AI视频开源霸主:全球首个开源Sora模型

0
分享至

Open-Sora 并非是 Open AI 发布的 Sora 开源版,而是由 Colossal-AI 组织发起的开源项目。该项目旨在高效地制作高质量的视频内容,并开放模型、工具和内容给所有人使用。

国产Sora率先于OpenAI推出,给开源社区带来了巨大震撼:全权重代码开源!只需16秒即可生成720p高清画质的视频,人物渲染极为逼真,电影级变焦效果令人惊叹。与此同时,美国的独角兽公司基于之前的权重,打造了一个数字宇宙,让乐高迷们兴奋不已。潞晨Open-Sora团队在720p高清文生视频质量和生成时长方面取得了突破性进展。

全新升级的Open-Sora 1.2不仅能够无缝生成各种风格的高质量短片,更令人惊喜的是,团队再次选择将全部内容开源,为开源社区带来了更多震撼。


该模型采用了流行的 Diffusion Transformer (DiT) 架构。作者团队以使用 DiT 架构的高质量开源文本生成图像模型 PixArt-α 为基础,加入时间注意力层,将其扩展到视频数据。具体来说,整个架构包括预训练的 VAE、文本编码器和利用空间-时间注意力机制的 STDiT(Spatial Temporal Diffusion Transformer)模型。


STDiT 的每层结构如图所示,采用串行方式在二维空间注意力模块上叠加一维时间注意力模块,以建模时序关系。时间注意力模块之后,交叉注意力模块用于对齐文本语义。相比全注意力机制,这种结构大大降低了训练和推理的开销。与同样使用空间-时间注意力机制的 Latte 模型相比,STDiT 更好地利用了预训练的图像 DiT 权重,从而在视频数据上继续训练。



在训练阶段,首先使用预训练的变分自编码器(VAE)对视频数据进行压缩,然后在压缩后的潜在空间中,与文本嵌入一起训练 STDiT 扩散模型。在推理阶段,从 VAE 的潜在空间中随机采样高斯噪声,并与提示词嵌入一起输入 STDiT,得到去噪后的特征,最后通过 VAE 解码器解码生成视频。


他们提出了一种掩码策略来支持图像和视频的条件化处理。通过设置不同的掩码,可以支持各种生成任务,包括:图生视频,循环视频,视频延展,视频自回归生成,视频衔接,视频编辑,插帧等。


他们认识到数据的数量和质量对打造高效能模型至关重要,因此专注于扩充和优化数据集。他们建立了一套自动化数据处理流程,遵循奇异值分解(SVD)原则,涵盖场景分割、字幕处理、多样化评分与筛选,并设立了完善的数据集管理系统和规范。


作者团队还提供了 Colossal-AI 加速系统,以提高 Sora 的训练效率。通过算子优化和混合并行等高效训练策略,在处理64帧、512x512分辨率视频的训练中,实现了1.55倍的加速效果。同时,得益于 Colossal-AI 的异构内存管理系统,单台服务器(8*H800)可以无障碍地进行1分钟1080p高清视频的训练任务。


安装部署




抱抱脸在线体验

https://huggingface.co/spaces/hpcai-tech/open-sora


对于研究视频生成和内容创作的研究人员和开发者来说,Open-Sora 是一个宝贵的资源。它不仅提供了模型的实现,还包含了运行和测试模型所需的所有工具和指令。

感谢关注~, 带你学习AI,了解AI

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黑龙江局地特大暴雪已破纪录!降雪大风持续,断崖式降温开启!

黑龙江局地特大暴雪已破纪录!降雪大风持续,断崖式降温开启!

鲁中晨报
2024-11-27 09:40:24
致敬!前NBA球员杰拉德-格林将自己扑防科比的画面文在了右臂

致敬!前NBA球员杰拉德-格林将自己扑防科比的画面文在了右臂

直播吧
2024-11-27 10:15:25
外交部:坚决反对七国集团损害中国主权干涉中国内政

外交部:坚决反对七国集团损害中国主权干涉中国内政

新京报
2024-11-27 16:20:11
以下9条是退休族“犯糊涂”的表现,一条不占聪明人,值得钦佩

以下9条是退休族“犯糊涂”的表现,一条不占聪明人,值得钦佩

苗苗情感说
2024-11-27 11:34:37
一天两包烟顿顿八两酒,坚决不听医生劝阻的李琦,如今竟然大变样

一天两包烟顿顿八两酒,坚决不听医生劝阻的李琦,如今竟然大变样

百态人间
2024-11-26 19:14:55
用它煮碗“润肺汤”,越喝肺越好,孩子咳嗽、鼻炎统统拿下!

用它煮碗“润肺汤”,越喝肺越好,孩子咳嗽、鼻炎统统拿下!

今日养生之道
2024-11-27 21:30:07
电影《疯狂的外星人》官宣12月20日重映

电影《疯狂的外星人》官宣12月20日重映

界面新闻
2024-11-26 12:28:30
生殖功能较强的男人,通常有以下几个共性,若你全占,值得恭喜!

生殖功能较强的男人,通常有以下几个共性,若你全占,值得恭喜!

晓徙历史
2024-11-22 17:33:18
H级女优10秒运球片曝光!曾入选国手震撼百万网友

H级女优10秒运球片曝光!曾入选国手震撼百万网友

葫芦哥爱吐槽
2024-11-26 18:23:46
袈裟下的资本有多惊人?身披16万袈裟,名下18家企业,存款超30亿

袈裟下的资本有多惊人?身披16万袈裟,名下18家企业,存款超30亿

橘子大娱社
2024-11-25 21:30:03
46岁郝蕾暴瘦二十斤!穿粉色西装又飒又美,重回颜值巅峰

46岁郝蕾暴瘦二十斤!穿粉色西装又飒又美,重回颜值巅峰

南城无双
2024-11-22 00:55:56
耗资800亿,世界最大的北京大兴机场,如今沦为北漂“免费旅馆”

耗资800亿,世界最大的北京大兴机场,如今沦为北漂“免费旅馆”

慎独赢
2024-11-26 20:50:02
王朔:凡是找你借钱的人,90%的都是看你老实本分,以为你好欺负

王朔:凡是找你借钱的人,90%的都是看你老实本分,以为你好欺负

清风拂心
2024-11-24 15:15:03
13.6亿!“最扣”航司结束租房,启用新总部

13.6亿!“最扣”航司结束租房,启用新总部

选址中国
2024-11-27 17:29:29
5个“害人不浅”的家居产物!劝你尽早扔掉,等出了问题就晚了

5个“害人不浅”的家居产物!劝你尽早扔掉,等出了问题就晚了

平祥生活日志
2024-11-20 18:05:35
无锡曾混社会的人

无锡曾混社会的人

荷兰豆爱健康
2024-11-27 21:29:18
男女大乱斗不算啥,萝莉岛才是终极boss,16-18岁的少女备受欢迎

男女大乱斗不算啥,萝莉岛才是终极boss,16-18岁的少女备受欢迎

小故事娱乐
2024-11-27 15:33:43
嗑死了!玄彬和儿子应援孙艺珍,真CP天花板!

嗑死了!玄彬和儿子应援孙艺珍,真CP天花板!

娱乐顺风车666
2024-11-26 11:48:04
王超事件后续:护士妻子磕头认错,赔偿80万左右,丈母娘送回骨灰

王超事件后续:护士妻子磕头认错,赔偿80万左右,丈母娘送回骨灰

子芫伴你成长
2024-11-25 18:15:02
津媒谈张洪福落选国少:沉迷游戏经常熬夜,频繁出现训练迟到

津媒谈张洪福落选国少:沉迷游戏经常熬夜,频繁出现训练迟到

直播吧
2024-11-27 15:34:08
2024-11-28 07:36:49
带你学AI
带你学AI
分享最前沿AI知识,先进的AI工具
151文章数 3关注度
往期回顾 全部

科技要闻

利润暴跌40%后,三星芯片部门任命新负责人

头条要闻

特朗普宣布俄乌冲突问题特使人选 曾任白宫要职

头条要闻

特朗普宣布俄乌冲突问题特使人选 曾任白宫要职

体育要闻

网红主播踢顶级联赛 这是什么奇葩俱乐部

娱乐要闻

天呐鹿晗瘦了这么多,像漫画出来的

财经要闻

马光远:所有的房地产政策基本都到位了

汽车要闻

中国的超豪华车尊界S800 预售百万起/ L3级智驾

态度原创

艺术
游戏
时尚
亲子
军事航空

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

梦幻西游回归选号指南:想参与帮派联赛,角色怎么选?

10种秋冬配色方案,有效摆脱路人感!

亲子要闻

幼儿园毕业第一天就去爬泰山,8岁小男孩452天登顶泰山18次,长大后想攀登珠穆朗玛峰

军事要闻

黎以停火协议生效 以军警告

无障碍浏览 进入关怀版