AI修复100年前北京影像!这位网络博主如何做到
5月8日,博主@大谷Spitzer在微博上传了一段视频,他用人工智能技术修复了100年前北京民国初年的影像。画面中,城门大街上马车和行人来来往往,院门前两人见面打招呼先鞠躬作揖、集市里几名留着长辫子的青年好奇地张望着镜头……这段视频一经发布,就在全网掀起转发热潮。
开源算法搭配专业软件,多项AI技术修复老北京街景
“我一直在想,什么样的技术可以用来做一些对社会有意义同时又很有趣的事情。”@大谷Spitzer在视频中这样说道。
@大谷Spitzer是一位出生于北京的90后,目前在纽约从事独立游戏开发工作。据@大谷Spitzer透露,这段影像的源视频来自《人民日报》四年前发布的资料影片,由加拿大摄影师在1920-1929年间拍摄。
100多年前,随着欧美电影技术的发展,也有越来越多的外国人把摄影机对准中国社会,这些珍贵的影片保存了历史现场。但原视频是黑白影片,模糊且默声的画面多少会影响到人们的观影体验。
@大谷Spitzer说,他用AI完成了上色、修复帧率、扩大分辨率等步骤来处理影像。 据科技自媒体“HyperAI超神经”考证,这段视频使用DAIN 插帧算法进行帧率修复、ESRGAN方法进行分辨率增强、DeOldify项目为视频上色,还用VirtualDub 软件对视频进行了老电影降噪部分的处理。
在处理后的视频中,人们可以清楚地看见生活优渥的大宅主人驱赶在院门前停留的乞丐,生意不错的小吃摊占据着闹市的广场中心,入城出城的“客流”比较多,还有络绎不绝的香客甚至郑重的殡葬仪式。
@大谷Spitzer还从网络找来音效。视频的背景曲目是北京民乐大师的作品,其中道教音乐来自北京白龙观的录音影像。网友@睡到天荒地老表示:“特别喜欢寺庙那段,梵音入耳,感觉闻到了百年前北京城的烟火味。
最后,一段时长十分钟的视频,就这样通过开源算法和软件的结合呈现在观众眼前 。视频的修复效果从网友们的反应便可见一斑:
@请你一直暗恋我:“不是概念的,宏观的,文字的,被描述的,被审视的。完全打破我的模糊想象,被触动了。”
@慕雲凌風LEQ:“感谢你给我看了一个100年前的vlog……真的太牛逼了,博物馆应该收藏你的作品!而且大量的背景环境音也费心了!很精致。”
@天天猫蹄机:“视频里刚出门的这个人怎么也想象不到一百年后会有一个人躺在床上拿着一个神奇的物品能够观察到他们当时的一举一动吧。”
AI 修复老片并非新技术,《三毛流浪记》《倚天屠龙记》皆有运用
@大谷Spitzer在微博文案中说,他修复影像的技术管线参考自开发人员Denis Shiryae 的影像修复教程。
南都科创记者搜索后了解到,今年2月,Denis Shiryaev就曾在视频网站Youtube中上传他用神经网络增强的4K高清版《火车进站》,这是“现代电影之父”卢米埃尔兄弟1896年在法国巴黎放映了全世界第一部电影。
125 年前的《火车进站》采用了 35 mm 格式胶片制作。由于当时的胶片技术尚未成熟,画面里景物都比较模糊,火车在驶来的同时还带有明显的拖影。但现在,经过AI处理的画面分辨率增强和插帧之后,这部老电影获得了 4K ~ 60fps 的画质,真实感大幅提升。
近几年,用AI修复老电影也在国内得到诸多运用。1949年版的《三毛流浪记》是新中国成立后第一部公映的国产电影,2019年,经过AI技术修复的《三毛流浪记》在上海国际电影节上映。 同年,《开国大典》在修复过程中也采用了AI技术。
“这其实已经从商业上证明了,技术能够带来新价值。”阿里巴巴资深技术专家江文斐说。
在老片修复领域,人工智能技术的运用有一个从无到有的过程。 爱奇艺高级总监刘俊晖在接受《文汇报》采访时解释道,在AI开始“工作”之前,它必须经过大量的学习来搭建模型和推演算法:一方面,对照人工修复前后的影片;另一方面,在清晰的片子上加糊、加噪,人为模拟老片。通过这些基本素材,超分辨率、去噪锐化、修复污迹、色彩增强成为了人工智能技术助力老片修复的“基本技能”。
划痕修复、画面调色等仍需人工操作,AI修复电影需要完善技术
仔细的观众会在@大谷Spitzer视频开头画面旁的小字留意到这样一句话:“色彩为AI自我学习结果,不代表历史原色。” 这侧面反映了AI修复老片的一项技术瓶颈,即机器本身不具备艺术鉴赏能力,对于调色等主观的艺术创作,还需要人工来进行把握。
刘俊晖曾公开介绍,爱奇艺团队最初尝试通过AI技术修复老片时曾做过一个样片提交给中国电影资料馆的修复专家。高清、去噪、去划痕……该修复的他们都做了修复,但这段样本却直接被专家否定了。对方给出的意见是:AI修复后的视频画面整体颜色饱满,却丢失了电影本身的年代感。
同样地,据《中国新闻出版广电报》报道,电影《开国大典》有24万帧画面,修复用了4个多月时间。负责该影片修复工作的技术人员周苏岳表示:“正片工作量的90%靠AI技术来解决,但是人工部分花了90%的时间。” 尤其是对于镜头不稳定且胶片上有大量脏点、油污、划痕和变型的资料片,专业修复师可能一天也只能修一秒。
不过技术总是处于进步之中。2019年7月,AI服务提供商deepsense.ai曾用人工智能修复经典佳片《乱世佳人》。对于充满噪声和划痕的原始胶片,他们利用有监督的学习算法,通过神经网络训练模型,让机器学会消除瑕疵。此外,5G时代的到来也会为经典老片的传承带来更多新机遇, 因为高速网络会便利超高清的内容传输,激发人们对于移动观影的巨大需求。
技术也令人充满遐想,正如网友@知北游原在评论区留言所说:“一百年后,我们会不会也这样被后人感叹呢?”
出品:南都科创工作室
南都记者 任先博 实习生 郭静怡 综合报道
怎么提取视频中的音频?赶紧来试试这几款软件吧
随着多媒体应用的日益广泛,我们经常遇到需要从视频中提取音频的情况。无论是为了制作手机铃声、编辑音频素材,还是从视频中提取特定的对话,这都成为一个重要的需求。视频中的音频提取技术并非新鲜事物,但一直以来都未被普及,主要是因为提取工具相对复杂,需要专业技能。但现在,随着技术的发展和软件的不断优化,普通人也可以轻松地从视频中提取高质量的音频。
软件一:风云视频转换器
风云视频转换器是一款功能强大的视频转换工具,软件提供了多种音频格式供用户选择,满足了用户对于不同格式音频的需求。不仅支持快速转换,而且可以批量处理多个文件,大大提高了工作效率。采用了先进的编解码技术,确保提取出的音频质量高、音质清晰。所输出的音频文件,可以完美兼容各种设备,方便用户在不同设备上使用。
软件二:Format Factory
Format Factory:这是一款多功能的多媒体格式转换工具,除了支持视频转码,还具备强大的音频提取功能。它不仅可以快速从视频中提取音频,还可以进行音频格式的转换,以及进行音频质量的调整。此外,Format Factory还支持批量处理,大大提高了工作效率。
软件三:VirtualDub
VirtualDub:这是一款专门针对视频处理的软件,虽然界面相对专业,但其功能非常强大。除了基本的视频转码和剪切功能外,VirtualDub还支持从视频中提取音频,并提供了丰富的滤镜和效果器,可以满足专业人士的需求。
总的来说,视频中的音频提取已经不再是专业人士的专属技能,有了这些软件,普通人也能轻松完成。无论你是需要提取音频进行编辑、创作,还是想从电影中提取经典对话作为手机铃声,以上这些软件都能满足你的需求。
相关问答
MKV格式的视频文件用什么 软件 可以编辑?..._网络编辑_帮考网MKV格式的视频文件可以使用以下软件进行编辑:1.AdobePremierePro:这是一款功能强大的视频编辑软件,支持MKV格式的视频文件。2.FinalCutProX:...
画中画多个视频怎么对齐?一种方法是使用一个较大的视频作为主视频,并将其他视频调整到该视频之上,以确保它们在相同的位置。另一种方法是使用编辑软件的对齐工具,手动调整每个视频的...
什么 软件 能改变视频分辨率? - 183****1849 的回答 - 懂得视频编辑软件或者压缩软件如大家玩的最多的绘声绘影,专业一点的康能普士,premiere等压缩软件就很多了,网上随便搜一下,到处都是,视频压缩软件这是...
csgo怎么看自己急停的代码?CSGO游戏本身不提供查看自己急停的代码的功能。如果您想查看代码,需要使用第三方软件来分析并解码游戏文件。以下是一些可能有用的软件:1.CSGODemosManag...
usb摄像头怎么横屏?要将USB摄像头横屏,您可以尝试以下方法:1.调整摄像头的方向:如果您使用的是USB摄像头,您可以尝试调整摄像头的方向,使其朝向需要拍摄的方向。2.调整摄像...
如何去除下载电影里面的字幕?1可以通过特定软件或工具去除电影中的字幕。2电影中的字幕是以文本形式嵌入到视频中的,因此需要使用专门的软件或工具来进行去除操作。3一些常用的去除字幕...
笔记本的声音太小怎么办?另外,可以尝试更新音频驱动程序或者使用音频增强软件来提升音量。如果以上方法都无效,可能需要考虑更换笔记本或者联系售后服务解决问题。如果仍然太小,可以...
如何把MP4格式视频上的外挂字去掉?你可以请老牌的视频编辑工具VirtualDub帮忙,利用它的RegionRemove插件对字幕部分添加马赛克效果,以遮住字幕。①将下载的RegionRemove.rar文件解压到Virtua...
在快手上发影视剪辑肿么变现?-ZOL问答这个简单快手的段子视频是用aecs6视频后期特效软件制作的里面有各种特效包...②影视剪辑快手(VirtualDub)V1.7.0c1.3.0简体中文版影视剪辑快手(VirtualDu...
怎么播放vlp[回答]这个格式转换需要两个软件才行.VirtualDubMOD和MatroskaPackFull(主要是编码支持)和WINAVI8.0.因为MKV是个“组合”和“封装”的格式,所以看不...