GIF 图是表达情绪的好方式,但在层层传播中总会被压缩,分辨率变低,图像模糊。为了提升用户的斗图体验,Gfycat 希望用机器学习来制作更高分辨率的 GIF 图。

在此之前,Google Brain 团队已经能够将低分辨率图片复原。这种方法基于深度学习和神经网络算法,使用了两种网络,「调节网络」用来将低分辨率图像的像素映射到高分辨率图像中,用人工智能来进行「图像插值」,另一个「先验网络」可以通过分析现有图像的像素信息来为目标图像添加细节。这两个网络结合就能输出高分辨率的图片。在没有其他信息的情况下,Google Brain 可以将一张 8x8 像素的图片还原为与原图较为接近的图。

为了提升GIF图的分辨率,这家公司用上了AI算法

图片来源:Google Brain

与还原低分辨率图片不同,GIF 图的还原主要是对视频进行识别,而不是图片。因为大部分 GIF 都可以找到与之对应的高清视频源,Gfycat 要做的就是利用机器学习让 GIF 图和视频更完美地匹配。

很多用户上传 GIF 图时不会注意分辨率,Gfycat 将用 AI 技术找到与 GIF 图匹配的视频。他们为 GIF 图中的每一帧创建了一个模型,然后与高清视频匹配,并分析出 GIF 图来自哪个片段,最后制作出高清 GIF 图代替原来的版本。

机器学习可以帮助将这一过程自动化,比如用户上传名人 GIF 图时经常忘记加标签,Gfycat 正在训练系统自动区分不同的面孔。

另一个优化方法是识别 GIF 图中的文字,Gfycat 根据统计分析 GIF 图中可能出现字幕的位置,然后识别出文字,并将其转化为数字文本,以方便和视频更好地做匹配。

其实除了低分辨率,GIF 图的质量还受水印的影响,不知道这会不会影响机器学习的识别。如果替换高清 GIF 图的方法能够实现的话,对整个 GIF 图市场会是一次巨大的革新。面对日活 3 亿的对手 Giphy,从技术上进行突破是个不错方法。