翻新老电影神经网络的新功能解密

技术宅

视频清晰度和流暢度两个指标——了解分辨率和帧速率

经常在爱奇艺、优酷看视频的朋友都知道，如果你的网速较快，可以在播放界面点击画质切换，将视频画质切换到“高清540P”、“720P”、“1080P”等（图2）。

这些画质实际就是分辨率的简称，比如540P是960×540，在720P是1280×720，分辨率越高，视频画面就由越多的点组成，展示的画面细节就越丰富（图3）。

另外一个影响视频流畅度的参数为帧速率，视频的帧速率越高，画面就显得越流畅，特别是运动物体，就越不容易出现拖影。

老电影的脱胎换骨——神经网络的分辨率增强和插帧技术

在网友展示的“翻拍”老电影中，主要就是利用神经网络对原视频的分辨率和帧速率进行了提升。

首先是分辨率的增强，在传统的操作中如果我们需要将低分辨率图像或者视频扩展为高分辨率，使用的是插值算法。它的原理是基于目标分辨率中的点，将其按照缩放关系对应到原图像中，同时在图像边缘的模糊和锯齿间获得平衡。不过传统算法放大的图像（视频）很容易出现模糊和锯齿（图4）。

现在结合神经网络技术的插值算法则可以有效地避免这种现象的出现，比如https：//bigjpg.com/提供的放大图片技术（借助的正是神经网络技术）。它先制作一个机器训练模型，然后使用大量低分辨率的图像作为输入源并得到对应的高分辨率结果图像。接着通过神经网络，针对放大图片的线条、颜色、网点等特点，对放大算法不断调整和优化，最后生成一套最优的算法。这个算法可以保证放大后的图像色彩保留较好， 图片边缘也不会有模糊和锯齿，从而实现将低分辨率图片“无损”放大为高分辨率清晰图片（图5）。这次网友在视频“翻新”操作中使用的则是源于Gigapixel AI的技术，它使用的技术类似ht t p s： //bigjpg.com/，只不过它可以对视频每一帧的图像都进行无损放大，在大幅提高电影分辨率的同时画面又不会产生明显的模糊和锯齿（图6）。

其次则是结合神经网络的插帧技术。它也是先构建了一个可以感知视频运动加速度的网络模型，该模型会先通过大量的数据训练来感知物体运动轨迹，并在其中加入中间帧，从而提升帧速率让视频播放变得更为流畅。以抛橄榄球的运动视频为例，它的运动轨迹是一条抛物线，如果拍摄时视频的帧速率较低，那么在播放时是看不到球体运动的抛物线。现在结合神经网络就可以先计算出抛橄榄球运动的实际路径，然后在原视帧抛物线路径中间添加新帧，这样增加帧数后视频播放会更流畅，而且画面不会有任何违和感（图7）。

这次网友通过神经网络计算出原来电影中火车的运动轨迹，然后通过插帧技术将原来老电影的帧速率从20FPS提高了60FPS，再结合上述分辨率的提升，实现老电影变身。其画面流畅度和清晰度几乎可以与现在主流智能手机拍摄的视频相媲美，比如现在iPhone 11最高也只支持拍摄4K/60FPS的视频。

神经网络在图片/视频处理中更多应用

如上所述，借助神经网络我们可以对图片和视频进行分辨率和帧速率的提升。这些技术可以用在生活中的很多方面，比如我们可以使用它来提升老照片的清晰度，比如将抽屉里那些原来用傻瓜机拍摄的照片、保存时间比较久远的黑白模糊照片等，都可以扫描到电脑中，处理成为更加清晰的数码记忆。

当然我们也可以用神经网络来处理视频，比如华为Mate 30 Pro就可以将960FPS的视频插帧生成7680FPS的慢动作视频，在官方展示的视频中完美地演示一滴水从高处落到杯中并溅出水花的整个过程（图8）。它借助的正是手机内置的神经网络技术。