码迷,mamicode.com
首页 > 其他好文 > 详细

AI 修复民国北京街景视频,火遍全网带你穿越

时间:2020-09-18 01:42:32      阅读:28      评论:0      收藏:0      [点我收藏+]

标签:管线   多个   关注   之一   正是   截图   微博   上海   艺术   

https://mp.weixin.qq.com/s/uXebWY0iOulK5zNYbHP0_g

By 超神经

内容概要:微博博主@大谷Spitzer 5 月 8 日上传了一段视频,在全网都掀起了转发热潮。他将一段加拿大摄影师于 1920-1929 年拍摄的民国年间的北京街景黑白视频,通过 AI 完成了上色、修复帧率和超分辨率,带网友们穿越回百年前,感受昔日繁华。

关键词:视频AI 智能上色 超分辨率 

微博博主@大谷Spitzer 5 月 8 日上传了一段视频,在全网都掀起了转发热潮。

技术图片

他将一段加拿大摄影师于 1920-1929 年拍摄的民国年间的北京街景黑白视频,通过 AI 完成了上色、修复帧率和超分辨率,带网友们穿越回百年前,感受昔日繁华。

穿越回民国:AI 还原百年前北京街景

原视频来自《人民日报》四年前发布的一段资料影像,由加拿大摄影师在 1920~1929 年间拍摄,至今正好是一百年整。

目前这段原片收藏于加拿大国家电影局。

整段视频时长 10:12,带领大家穿越回百年前的北京

公历 1920 年也就是民国九年,正是中华民国的北洋政府时代。

技术图片
片段截图:北京街景

这段时间中,中国也相继发生了「废除二十一条运动」、「孙中山逝世」、「段祺瑞宣告成立临时政府」等重要的历史事件。

技术图片
片段截图:北京人见面打招呼

正值第一次世界大战结束,中国获得了短暂的喘息,也正是这几年里,国内的早期工业获得了不错的增长机会。

90 后的独立游戏开发者@大谷Spitzer

该项目的作者,是一位 90 后的独立游戏开发者胡文谷,出生于北京,本科毕业于中国人民大学的艺术学、研究生毕业于纽约视觉艺术学院,目前在纽约从事独立游戏开发的工作。

技术图片

胡文谷(微博:@大谷Spitzer)作为艺术家,音乐家,程序员和游戏设计师,他从事游戏开发和音乐工作已超过10年。

代表作:《漫展模拟器》《Eddy紫》等,Eddy Violet 是他的 50 多个游戏作品之一,在中国获得了 10 万次下载。

技术图片
作品集:http://dgspitzer.my-style.in/gameportfolio/

这段视频通过 AI 完成了上色、修复帧率、超分辨率的部分。

音效来自网络,背景曲目北京民乐大师的作品,其中道教音乐来自北京白龙观的录音影像。技术管线参考自 Denis Shiryae 的影像修复教程。

技术图片
视频截图:作者提出的修复前后对比

作者在 帧率修复 部分使用的是由上海交大博士 Bao Wenbo 开源的 DAIN 插帧算法(项目地址:https://github.com/baowenbo/DAIN

技术图片
DAIN 的架构示意图

给定两个时刻的输入帧,先估计光流和深度图,然后使用建议的深度感知流投影层生成中间流。

分辨率增强 部分使用了 ESRGAN,一个基于 GAN 的增强超分辨率方法。

视频上色 部分使用了 DeOldify ,这是一个是用于着色和恢复旧图像及视频的深度学习项目。由一位加州的艺术家工程师在 Github 上进行开源(项目地址:https://github.com/jantic/DeOldify

DeOldify 采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好,渲染也更逼真。

技术图片

还用 VirtualDub 软件对视频进行了老电影降噪部分的处理。

最后,这样一段时长十分钟的视频,就这样通过开源算法和软件的完美结合,呈现到了我们眼前,带领网友们穿越回民国,感受了一回北京的繁华街景。

—— 完 ——
技术图片
扫描二维码,加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解更多
更多精彩内容(点击图片阅读)
技术图片

AI 修复民国北京街景视频,火遍全网带你穿越

标签:管线   多个   关注   之一   正是   截图   微博   上海   艺术   

原文地址:https://blog.51cto.com/14929242/2533332

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!