李彦宏坚称不作念视频生成模子,中国版Sora到底值不值得作念?
近日,百度CEO李彦宏称“百度不作念Sora”的演讲被媒体曝光后,相关“中国版Sora到底值不值得作念”的话题又在微博、小红书等酬酢媒体激发浩荡争论。
李彦宏在里面谈话中称,Sora这种视频生成模子的进入周期太长,10年、20年都可能拿不到业务收益,不管多火爆,百度都不去作念。
反对的声息以为,这属于百度本人业务的问题。国内当今在视频生成模子上最有但愿的公司是快手和字节朝上,二者的业务离视频更近,待其视频生成弥散优秀之后会快速完成拉新,并带动用户体验提高。
快手和字节朝上是国内互联网大厂中积极布局视频生成大模子的公司。Sora发布后,快手便推出文生视频大模子“可灵”,其背后的工夫旨趣和OpenAI的Sora相同,都是把常用于视频生成东谈主工智能的扩散模子与Transformer架构相引诱,依托于快手短视频平台,领有大都可用于磨真金不怕火的视频数据。“可灵”发布几个月之后,字节朝上旗下火山引擎发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模子,面向企业阛阓开启邀测。
除字节朝上和快手以外,本年发布视频生成模子的公司还包括阿里云、Minimax、生数科技、智谱AI等公司。

国内视频生成模子规模天然看起来火热,但如实濒临着相配严峻的挑战,李彦宏对视频生成作念出的判断并非天方夜谭。
界面新闻从一位认真视频生成模子的工夫东谈主士处了解到,生成式AI工夫廉明幅裁汰视频生成的门槛,导致视频数据以20倍傍边的速率增长,对计较本钱和后果提议了严峻的挑战。以Sora模子为例,其磨真金不怕火和推理所需的算力需求分散达到了GPT-4的4.5倍和近400倍。
中国星河证券筹谋院的文告也分解,Sora对算力需求呈指数级增长。其笔据Sora参数限制推上演的磨真金不怕火单次算力需求或可达到2.6×10^24Flops,非常于GPT-3175B的8.2倍。当今Sora还在低级阶段,跟随不断迭代调优,其磨真金不怕火数据集限制将进一步增大,将来算力需求也会大幅加多。
上述工夫东谈主士还暗意,在编解码层和框架层,视频生成模子也濒临着诸多挑战。一方面是后果的问题,另一方面是在计较需求日益增长的情况下,能否生动惩处越来越复杂的需求。
这些都对视频生成模子酿成浩大考验,但其在买卖化上的场面仍然不够开畅,一定进程上使磨真金不怕火和推理本钱上的挑战更为严峻。
据界面新闻了解,当今视频生成模子的落地大多在影视制作、电商营销等规模,处于认识多于骨子的阶段。
快手曾高调推出由可灵深度参与制作的玄幻微短剧《山海奇镜之劈波斩浪》,并于近日聚合李少红、贾樟柯等9位著名导演,开动了十足依托视频生成大模子制作电影短片“可灵AI”导演共创遐想,试图以此来施展视频生成大模子在影视制作规模的可用性。
但《山海奇镜之劈波斩浪》整部影片并不是由AI一气呵成,而是使用可灵大模子的文生图和图生视频功能生成了好多时长5秒的分镜头,再由后期编著团队编著而成。其在本钱上举座的降幅不卓绝四分之一,远不如外界预期的那么大。
从快手近期的一系列看成来看,其仍然在为可灵AI的落地寻找更多运用场景。比如,快手试图通过资源和流量拓荒的形势,让品牌方、制作机构、媒体等需求方大概与AIGC创作家进行商务配合,以支捏使用可灵AI的创作家赢得变现契机。这在一定进程上响应了AIGC的变现并不像思象中的那么容易。
在这些挑战之下,视频生成模子规模的一个发展趋势是降本。天然好多公司依然在积极进入视频生成模子,但尽可能裁汰磨真金不怕火和推理本钱,一经是好多公司都在探索的标的。
在预惩处经由合伙视频的数据体式、提高数据质地、竣事数据秩序化、减少数据量以及惩处标注信息,则是其他一些公司降本的重心。抖音一位视频架构工夫认真东谈主暗意,超大限制视频磨真金不怕火数据集导致计较和惩处本钱激增、视频样本数据杂沓不皆,以及惩处链路设施多、工程复杂等,都让视频生成模子磨真金不怕火和推理本钱加多。同期,对GPU、CPU、ARM等多种异构算力资源的调整部署亦然挑战之一。
据界面新闻了解,豆包视频生成模子自研了多媒体惩处框架BMF来应付模子磨真金不怕火的算力本钱挑战,该决议可使用大都潮汐资源,为模子磨真金不怕火提供支撑。
除此以外,通过自研芯片在同等视频压缩后果下竣事视频大模子磨真金不怕火和推理本钱裁汰,是部分互联网大厂遴荐的标的。而一些AIGC公司则在探索将低质地视频与高质地图像相引诱,在保险视频输出画质的基础上裁汰磨真金不怕火模子本钱的款式。当本钱真实降下来,视频生成模子的将来之路也会愈加赫然。

包袱编著:何松琳